[分享]MYSQL中删除重复记录的方法_MySQL, Oracle及数据库讨论区_Weblogic技术|Tuxedo技术|中间件技术|Oracle论坛|JAVA论坛|Linux/Unix技术|hadoop论坛_联动北方技术论坛  
网站首页 | 关于我们 | 服务中心 | 经验交流 | 公司荣誉 | 成功案例 | 合作伙伴 | 联系我们 |
联动北方-国内领先的云技术服务提供商
»  游客             当前位置:  论坛首页 »  自由讨论区 »  MySQL, Oracle及数据库讨论区 »
总帖数
1
每页帖数
101/1页1
返回列表
0
发起投票  发起投票 发新帖子
查看: 1918 | 回复: 0   主题: [分享]MYSQL中删除重复记录的方法        下一篇 
youduoduo
注册用户
等级:新兵
经验:78
发帖:78
精华:0
注册:2011-11-26
状态:离线
发送短消息息给youduoduo 加好友    发送短消息息给youduoduo 发消息
发表于: IP:您无权察看 2014-12-22 15:27:17 | [全部帖] [楼主帖] 楼主

应用中有时候会有 删除表中重复记录的需求,现在在这里举个例子,分享下我的解决方案,如有不完善的地方,喜欢大家能留言给我,大家一起进步。
例子:

CREATE TABLE `users` ( `id` int(10) NOT NULL AUTO_INCREMENT, `name` char(50) NOT NULL, PRIMARY KEY (`id`) )


表中name字段存在重复,解决思路首先是如何找到重复的记录然后将其删除;或者用逆向思维,找到要保留的数据,将是剩下的数据删除。
一般有两个方法:

1. 是用中间表来实现
1) 使用 create table like 复制出来一个中间表 ,然后用insert into select 把不重复的表导入到中间表中,然后再用中间表替代旧表。 具体实现如下

create table tmp_users like users;
Insert into tmp_users select min(`id`), `name` from users group by name ;
drop  table users  ;
alter  table  tmp_users rename users;


2) 使用 create table select 直接复制出来一个含有数据的中间表 然后用中间表替代旧表。具体实现如下

create table tmp_users select min(`id`), `name` from users group by name ;
truncate table users;
insert into users select * from tmp_users;
drop table tmp_users ;


以上两种方法的区别就是 create table like 和 create table select 的区别 ,create table like 复制的表结构包含索引而 create table select 不包含索引,没有索引对业务影响很大,这个要特别留意的。还有就是create table like 和 create table select 复制的表没有把表的权限给copy过来。要事后从新设置下。数据量大的时候应该选择 create table select ,先倾倒数据事后再为表建立索引。
至于用中间表的数据更新旧表的策略,要么用drop旧表再rename中间表。要么清空旧表数据再导入中间表数据。数据量大的时候前面方法效率较高。
2. 用一条sql语句来实现
1)找到要删除的数据然后删除这些数据。具体实现如下,

delete users as a from users as a,( select min(id) , name from users group by name having count(name) > 1 ) as b where a.name = b.name and a.id <> b.id;


     加上 having count(name) > 1 可以避免扫描没有重复的记录,提高效率
2)找到要保留的数据 然后用not in 来删除不再这些数据中的记录。大家很容易就想到如下的sql语句:

delete from users where id not in ( select min(id) from users group by name );


但是mysql删 除动作不能带有本表的查询动作,意思是你删除users表的东西不能以users表的信息为条件所以这个语句会报错,执行不了。只要通过创建临时表作为查询条件。具体实现如下:

delete from users where id not in ( select * from ( select min(id) from users group by name ) );


--转自 北京联动北方科技有限公司




赞(0)    操作        顶端 
总帖数
1
每页帖数
101/1页1
返回列表
发新帖子
请输入验证码: 点击刷新验证码
您需要登录后才可以回帖 登录 | 注册
技术讨论