mysql 大数据去重与复制

MySQL 提高大数据表查询重复记录的效率

如果数据量在1000万以上，我们普通日常的SQL获取重复数据基本就没反应了。其实我们可以用下列方法先建立一个临时表存储逾期数据

CREATE TABLE results_tmp AS (
SELECT phone FROM results GROUP BY phone HAVING COUNT(phone)>1
)

再通过多表联合查询，就很快出结果

SELECT * FROM results a,results_tmp b WHERE a.phone = b.phone 

MySQL将大数据表去从后存储

这个应用场景是当你想获取全部数据（不重复）, 但是不删除原有数据

INSERT IGNORE INTO results_unique   
(name,idcard,phone,b_id,created_at)   
(SELECT name,idcard,phone,b_id,created_at FROM results WHERE id > 37742460)