MYSQL里有几百万数据，但大多是重复的，真实的就180万，所以清除是很有必要的。这是一个高效的处理方式，用这个方式，几百万数据，十来分钟就全部去除重复了，请各位参考。
工具/原料
1
MYSQL
2
数据库
方法/步骤
1
第一步：从百万万数据表abc_123_1里提取出不重复的字段SFZHM对应的ID字段到TMP3表(可以对应的更改）代码如下：create table tmp3 as select min(id) as col1 from abc_123_1 group by SFZHM;
2
第二步：创建新表RES代码如下：CREATE TABLE `res` (`id` int(11),`sfz` char(20)) ENGINE=MyISAM;（数据可以对应的进行更改！）
3
第三步：把TMP3表ID对应到abc_123_1里需要提取的数据添加到RES表的SFZ字段代码如下：INSERT INTO res (sfz) SELECT sfzhm FROM abc_123_1,tmp3 where data_content_152.id=tmp3.col1（数据可以对应的进行更改！）
4
至此，就在MYSQL里实现了，给数据表data_content_152完全删除重复数据，把去重复后的数据导入到RES表。
注意事项
1
数据可以对应的进行更改！
2
建议自行手打而不是复制