一亿行的 MySQL 表，主键 ID 不连续，怎样随机取 30 行速度最快？

• 資深大佬 : huabalance

  不断 rand 直到取慢三十个 可能还要去重

• 資深大佬 : huabalance

  我是说 php 生成随机数。。。

• 資深大佬 : ahhui

  随机生成 30 个数字，WHERE ID >= 你的某个随机数字 LIMIT 1，执行 30 次查询，这样呢？

• 資深大佬 : honeycomb

  另外建一个索引表，从那个表里取随机值？

• 資深大佬 : leeyuzhe

  @ahhui 要去重啊，跟等于实际上是一样的，不断去取然后去重直到取满

• 資深大佬 : caola

  “`
  SELECT * FROM XXX
  WHERE id >= ((SELECT MAX(id) FROM XXX)-(SELECT MIN(id) FROM XXX)) * RAND() + (SELECT MIN(id) FROM XXX)
  limit 30;
  “`

  在网上抄来的

• 資深大佬 : Rocketer

  @caola 你这不是随机 30 个，而是自然排序取连续 30 个，只是起点随机而已

• 資深大佬 : codingadog

  我觉得只要 sql 里有 rand 就会慢。
  还是维护个 set，保存生成的随机数，然后生成满 30 个随机数每次取一个最快。

• 資深大佬 : bthulu

  每次随机三十个数, 数字间大小至少相差十万万, 比如[5001, 235555, 1053052, …], 然后查询 id>5001 limit 1 union id>23555 limit1 union id>1053052 limit1 …

• 資深大佬 : dafsic

  随机生成 100 个数，然后 query，结果中大概率会有 30 个

• 資深大佬 : caola

  @Rocketer #7 如果一定要很随机的话，可以把所有的 ID 保存到 redis 并维护这个 ID 列表， 然后 srandmember 命令去取

• 資深大佬 : rahuahua

  @leeyuzhe 这个方式去重不是问题，问题是要读取三十次数据库

• 資深大佬 : siweipancc

  不上 redis 还有个折衷的方法，额外生成一列 hash，生成索引，取 30 行列值>=随机生成的 hash 的就行了

• 資深大佬 : shyling

  增加一个存随机数的列 a 加 index，查询的时候再生成一个随机数 b，找 a 在 b 附近的 30 条

• 資深大佬 : Amayadream

  一般这种不符合常理的需求都不是原始需求，可以说一下你的原始需求是什么。

• 資深大佬 : aeli

  取最大最小 id，然后计算出差值，再在这个差值中，取 60 个随机数后排序，select * from id in( ( a1> and < a2 )or( a3 > < a4) ….)… 大概的思路吧，取两个值之间的一个。

• 資深大佬 : lovecy

  假设只有 100 条数据
  “`sql
  SELECT * FROM (SELECT * FROM xxx WHERE id > FLOOR(RAND()*100) LIMIT 1) AS n1
  UNION
  SELECT * FROM (SELECT * FROM xxx WHERE id > FLOOR(RAND()*100) LIMIT 1) AS n2
  UNION
  SELECT * FROM (SELECT * FROM xxx WHERE id > FLOOR(RAND()*100) LIMIT 1) AS n3
  #写 30 遍，查出来有重复的再查一次
  “`
  FLOOR(RAND()*100)，这一步可以先在代码里算出来，整个方法前提是要知道 id 的最大范围

• 資深大佬 : laminux29

  这种问题明显应该用空间去换时间，比如在数据录入时，就概率性地取出某些行，直接作为最终数据。

• 資深大佬 : xxxyh

  order by rand 全表扫描，还排序，如果对随机性要求不是很高的话，可以在取最大和最小 id，在应用层随机取 30 个 id，然后 select * from table where id > (随机出来的 id) limit 1，重复 30 次

• 資深大佬 : xxxyh

  如果一定要非常精确的随机的话，可以 select count(*) from table，然后在应用层随机出来 30 个 id，把这 30 个 id 排序，从最小的 [email protected] 开始,select * from table limit [email protected],1，从第二条开始 select * from table limit ([email protected] – [email protected]),1

• 資深大佬 : xxxyh

  如果一定要非常精确的随机的话，可以 select count(*) from table，然后在应用层随机出来 30 个 id，把这 30 个 id 排序，从最小的 [email protected] 开始,select * from table limit [email protected],1，从第二条开始 select * from table where id > (第一次取出来的 id) limit ([email protected] – [email protected]),1

• 資深大佬 : eastphoton

  既然主键 ID 没有更多规律，总得查一下或者干脆拿到所有 ID 才能得知具体某个 ID 存不存在这个信息了。。

  所有 ID 单独维护一份感觉比较合适，上 redis 或者自己维护个 set 。

  要么就用一些不那么随机的方案。

• 資深大佬 : hannibalm

  再建一个临时表，一列现有主键，一列从 1 开始的序号。然后随机抽 30 个。

• 資深大佬 : GTim

  @dafsic 这个目前是最优，不过 2 倍左右就可以了，如果不够再随机 2 倍去取

• 資深大佬 : bertonzh

  先加一个自增字段进去…

• 資深大佬 : zlowly

  mariadb.com 的 Knowledge Base 知识库上有一篇专门讲这个问题的文章，里面提到一些较快但没那么随机的方法，你可以搜索来参考下
  data-sampling-techniques-for-efficiently-finding-a-random-row

• 資深大佬 : stevenkang

  数据库不是用来存取数据的吗，用来做这些复杂的活干嘛。

  直接程序随机生成 ID 呗，如 #3 所说取满 30 个就行了。

• 資深大佬 : yixiugegegege

  SELECT *
  FROM `table` AS t1 JOIN (SELECT ROUND(RAND() * (SELECT MAX(id) FROM `table`)) AS id) AS t2
  WHERE t1.id >= t2.id
  ORDER BY t1.id LIMIT 30;

• 資深大佬 : Still4

  我觉得直接说业务吧，啥需求要一亿行里面去随机啊，上面说加自增字段也好，加表也好都是空间换时间，根源上如果需求可以变通的话根本就不需要这么做

• 資深大佬 : ivanMeng

  布隆过滤器吧，可以快速判断 key 是否存在，id 乱序的 mysql 聚族索引也没发挥出，又是随机的记录地址完全不相邻，更加缓慢，还有这问题本身就是问题 。1 亿的表 是否有读写分离？上层是否有缓存冷热数据分离？

• 資深大佬 : mosliu

  看你的数据 id 有多稀疏
  不是太稀疏的话
  先获取 3*稀疏倍数*2 个随机数 记为 idlist1
  然后按 id in idlist1 limit 30 取 架设取出 n 个
  然后不够的 再按缺少数量 取随机数 rand 循环（ 30-n ）次 {取 id>rand and not in （已取） limit 1}

• 資深大佬 : akira

  同意 25 的， 加个连续的自增字段，立马简单起来了

• 資深大佬 : love2020

  众所周知，随机数是一个难点

• 資深大佬 : fox0001

  @bertonzh #25
  @akira #32
  如果是静态数据，这是最简单的方法。然而主丢下问题就没有再回复了

• 資深大佬 : xcstream

  最快当然不用 mysql 直接写程序用偏移量读取数据文件

• 資深大佬 : ipwx

  说实话，如果原始 id 不是均匀分布的，那么 id >= RAND() 这种操作去取数字，得出来的结果也不是均匀分布的。

  很简单，举个例子：原始 id 是 1, 5, 6, 7 。那么用 id >= min(id) + rand() * (max(id) – min(id)) limit 1 取数字，每个数字被选取的概率为：

  1 = 4/7
  5 = 1/7
  6 = 1/7
  7 = 1/7

• 資深大佬 : ipwx

  生成第二列连续的 id 然后去取，就不会产生这种不均匀分布的问题了。

• 資深大佬 : ipwx

  1 亿 id 的 int 数组在内存中也就几个 gb 的事情。说实话，单独维护一个索引文件大概都容易搞得定。

• 資深大佬 : stevefan1999

  你要先定義什麼是隨機
  譬如我可以定義 generateRandomNumber() { return 4 }
  然後按照這個 random number 做 seed 開一個 LNG 然後生成一個次序…
  因爲隨機不代表不能重複啊 不過如果要去重那更加要命了

• 資深大佬 : xumng123

  将 id 放在一个数组里，随机取 39 个后，然后去查一下数据库。

• 資深大佬 : akira

  @fox0001 就算是动态数据，只要不是动态的太厉害，定时，例如每天，处理一下自增字段 应该没太大问题的

• 資深大佬 : renmu123

  搞点伪随机，数据量大了之后，谁也不知道你是真随机还是假随机了

• 資深大佬 : bthulu

  @akira 连续的自增字段怎么加, 你如何保证严格的连续性, 删除数据, 插入未提交等造成的不连续你怎么处理

• 資深大佬 : ckdxc

  随机行号,行不? 感觉不需要随机 id, round(count), 30 个行号必命中

• 資深大佬 : wakzz

  先看看业务，是不是必须要真随机。有很多业务实际上压根不需要真随机，搞个差一点的伪随机就够用了

• 資深大佬 : akira

  @bthulu 不需要严格保证的连续性呀