跳至主要內容
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?

4563博客

全新的繁體中文 WordPress 網站
  • 首頁
  • 从数据库中捞取某个字段和为特定值的记录
未分類
17 9 月 2020

从数据库中捞取某个字段和为特定值的记录

从数据库中捞取某个字段和为特定值的记录

資深大佬 : qmaker 7

假设表 t_pay 中有一个字段为 amount,int 类型;现在需要从表中随机捞取一批记录,满足 2000>sum(amount)>10000,请问有没有什么好的方法

大佬有話說 (9)

  • 資深大佬 : fuyufjh

    是性能关键的场景吗?
    是 –> 用 stored procedure 把结果写到临时表,然后一次 select 读取
    不是 –> 每次 select limit 100,不够就再来一批

  • 主 資深大佬 : qmaker

    条件更正 2000>sum(amount)>10000 =》 20000>sum(amount)>10000

  • 主 資深大佬 : qmaker

    @fuyufjh 对实时性要求比较高,其实是有多个需求池,比如池 A 要求 sum(amount)≈10000,池 B 要求 sum(amount)≈80000,目前想到的办法是单个记录处理,每条记录取出后丢到某个池里,池蓄满了就接着续下个池,不过单个处理效率感觉还是比较低

  • 資深大佬 : taogen

    1. 重复地随机取一批值,可以一次随机取 1 条或者 N 条,放入 list 中。直到 sum 满足条件或者 sum 大了。
    2. 若 sum 满足条件,直接返回。若 sum 大了,使用动态规划找到满足条件的子段和。
    3. 若动态规划找到有效解返回。若找不到有效解,清空 list,跳转到第 1 步。

  • 資深大佬 : taogen

    你这个需求不一定有解,可能出现死循环。可以设置最大寻找次数,超过限制次数视为无解,提示暂无数据。

  • 資深大佬 : kkeiko

    写入数据库的时候,把这个字段作为排序值,其他字段打包 json 写入 redis 的有序集合,redis key 根据一定的业务规则进行 hash,多分一些 key,每次从不同的 key 取出在此范围内的数据,多取一些,再合并,根据某个条件排个序,取前几位,做相对随机的效果。

  • 資深大佬 : rockyou12

    先开张表记录下单条值的区间分布,然后去拿各个区间内对应的值?

  • 資深大佬 : taogen

    @rockyou12 有两个问题。1. 区间的宽度如何设置? 2. 在 1 中设置的区间宽度下,如何选择区间找到有效解的算法是什么?

  • 資深大佬 : rockyou12

    @taogen 区间好说,先根据业务取细一点,比如总区间是 0-2000,那就以 10 为间隔来取。然后通过类型 flink 这种流计算框架先预计算每个区间的总数,和记录该区间中有哪些值(可以放入 redis 的 hset ),然后整个分布就有了

文章導覽

上一篇文章
下一篇文章

AD

其他操作

  • 登入
  • 訂閱網站內容的資訊提供
  • 訂閱留言的資訊提供
  • WordPress.org 台灣繁體中文

51la

4563博客

全新的繁體中文 WordPress 網站
返回頂端
本站採用 WordPress 建置 | 佈景主題採用 GretaThemes 所設計的 Memory
4563博客
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?
在這裡新增小工具