未分類
26 6 月 2020

mysql 做千万级数据去重，总卡死，求指导

mysql 做千万级数据去重，总卡死，求指导

資深大佬 : yida1313 9

之前发过帖子问数据导入的问题，现在导入已经 OK 了，数据量在 2 千万条左右，20 多列

我用 SQL 做去重，去重语句查过一些资料，用的表连接做了优化。
但 mysql 服务经常跑一半就停止服务了。。。成功的时候大约需要跑 10 来分钟的样子
有啥解决方法不，再次感谢大家！

大佬有話說 (7)

  • 資深大佬 : littlepoem

    看有没有日期之类的隐藏条件，分下表

  • 資深大佬 : 1069401249

    sql 发一下啊，比如 group by 可以用索引

  • 資深大佬 : poisedflw

    表的创建 sql，还有你的查询 sql，不然没法帮你。

  • 主 資深大佬 : yida1313

    @poisedflw 已补充。。感谢！

  • 資深大佬 : poisedflw

    @yida1313 加个 key idx_optime_usercode(oPtime, userCode)？

  • 資深大佬 : marquina

    谁能告诉我 sql 里的 m2 是哪冒出来的

  • 資深大佬 : oneoy

    把时间换成时间戳会减少一三分一的查询时间