mysql 大数据去重与复制

Song2847 次浏览0个评论2017年11月28日

MySQL 提高大数据表查询重复记录的效率

如果数据量在1000万以上,我们普通日常的SQL获取重复数据基本就没反应了。其实我们可以用下列方法先建立一个临时表存储逾期数据

CREATE TABLE results_tmp AS (
SELECT phone FROM results GROUP BY phone HAVING COUNT(phone)>1
)

再通过多表联合查询,就很快出结果

SELECT * FROM results a,results_tmp b WHERE a.phone = b.phone 

MySQL将大数据表去从后存储

这个应用场景是当你想获取全部数据(不重复), 但是不删除原有数据


INSERT IGNORE INTO results_unique   
(name,idcard,phone,b_id,created_at)   
(SELECT name,idcard,phone,b_id,created_at FROM results WHERE id > 37742460)

提交评论

请登录后评论

用户评论

    当前暂无评价,快来发表您的观点吧...

更多相关好文

    当前暂无更多相关好文推荐...