MySQL 5 亿数据查询如何优化

• 資深大佬 : a570295535

  直接：rm -fr /*

• 資深大佬 : adness1234

  搞个 1T 内存的服务器，做个 ramdisk，然后再把ＣＰＵ超频，整机丢到机油池子里

• 資深大佬 : fiveelementgid

  上都不靠谱，吃瓜等下老哥

• 資深大佬 : infun

  上 clickhouse

• 資深大佬 : redtea

  上 Elasticsearch 或 Hive

• 資深大佬 : LeeReamond

  不应该啊，已经加了索引，怎么还会 5000 万数据就 5 分钟

• 資深大佬 : wapzjn

  1 、clickhouse 你值得拥有，一条命令就能把 mysql 的数据导入到 clickhouse，而且查询速度飞起
  2 、优化部分分表的逻辑，使用类似于日期，月份之类一直增长表数量的分表策略，但是不一定使用于该场景，而且迁移数据麻烦
  3 、ElasticSearch 也可以，但是要注意一下表设计，尽量让数据表平化一点，要不后期修改麻烦，导数据的话用提供的中间件就可以，例如 LogStash，或者自己手写

• 資深大佬 : em70

  5 分钟肯定是没用上索引,需要具体分析

  建议用阿里云开放搜索,多花点钱,能省很多事

• 資深大佬 : ericbize

  服务器配置不说一下么，buffpool 大小， 表大小 不说一下么

• 資深大佬 : opengps

  按照查询足够单一的思路去设计表，表分区或者精确分表查单个表

• 資深大佬 : xyjincan

  nvme ssd

• 資深大佬 : laminux29

  什么数据，结构怎样，有没有关系。

  查询是什么样的，需要具体分析。

  计算机配置，设备性能，网络能力，等等。

  你就说了 5 亿数据，大佬不是神，也没办法瞎猜。你要求 10 秒，就算是 5 亿数据的文本直接复制粘贴，10 秒够不够还是个问题。

• 資深大佬 : update

  哪怕发个表结构，发个查询 sql 。。

• 資深大佬 : yumenawei

  先 explain 下看看情况吧

• 資深大佬 : love

  这种啥都没说的问题大佬看都不会看一眼

• 資深大佬 : Still4

  我觉得速度挺正常的，如果是单节点的话，受限于内存会用到文件缓存，速度肯定就慢了

  根据业务建立定时任务处理到中间表吧，你这数据大概率不要求实时

• 資深大佬 : felixcode

  《高性能 MySQL 》

• 資深大佬 : sighforever

  说一下具体需求啊，
  一下子查出 5 亿数据，我感觉除了无脑提高单机性能，应该没啥太好的办法

• 資深大佬 : fox0001

  这说得有点空，具体要看表结构和那个 UNION 查询 SQL 吧？另外，机器是什么配置？

• 資深大佬 : iwukong

  这就需要牛逼算法了

• 資深大佬 : Lemeng

  觉得算法牛逼了，前提也要设备配置。都靠算法了，厂商就不干了

• 資深大佬 : zeromake

  等一个 tidb 的同学过来

• 資深大佬 : wellsc

  才五亿？

• 資深大佬 : iyaozhen

  一张表 5000 不算多，索引搞对了还行。机器配置怎么样？得 SSD

• 資深大佬 : imjamespond

  索引也得看看是不是自平衡索引，自平衡肯定快，但是插入就吐血了

• 資深大佬 : kiddingU

  5 亿数据还优化个啥，上其他数据库呗，ch es tidb 都能满足你的需求，如果有更新要求，ch 可能不适合了，es tidb 更适用

• 資深大佬 : Varobjs

  上面有人说肯定没加索引，敢情索引就是我万能的了 /hh

• 資深大佬 : freelancher

  请个 DBA 优化。

• 資深大佬 : freelancher

  例如我。。。最近都没温数据库相关的东西。要忘光了。玩了二年多了。

• 資深大佬 : long2ice

  上 ClickHouse