跳至主要內容
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?

4563博客

全新的繁體中文 WordPress 網站
  • 首頁
  • 如果对 2K 万条记录的某个字段查重?
未分類
19 5 月 2020

如果对 2K 万条记录的某个字段查重?

如果对 2K 万条记录的某个字段查重?

資深大佬 : oldbird 1

库中有 N 张表,记录数总共 2000 万条,每张表都有一个 BSM 字段,想查找库里该字段是否有重复值,打印该重复值及所在的表名和 ID 号。

环境:python2.7,32bit 。

现在的做法是:在外部定义 defaultdict(list)类型的字典,遍历所有表格的记录,每条记录的 BSM 值为 key,表名+id 值为该 key 对应的 value (列表)中的项;最后再遍历字典,查找 value 中项数大于 1 的输出。

运行后一段时间报 内存错误,请问有什么方法吗?

大佬有話說 (13)

  • 資深大佬 : Vegetable

    https://github.com/search?l=Python&q=bloom&type=Repositories
    布隆过滤器(英语:Bloom Filter )是 1970 年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法,缺点是有一定的误识别率和删除困难。

  • 資深大佬 : felix021

    2000 万不是大什么数据,学一点 c 吧同学。

  • 資深大佬 : jun0205

    2000W 不算多,把 N 张表的 BSM 、表名,ID 放在一个视图里面,然后 SQL Group by 应该会好点

  • 資深大佬 : laminux29

    不是学 C,而是要学数据结构与算法。

    内存不够的情况下,用外排序就行了。

  • 資深大佬 : ackoly

    SQL 处理不是更简单吗?

  • 資深大佬 : ackoly

    — 如果 BSM 字段长度低于 32,不用做 md5,直接使用 BSM 字段就好
    — 1. 创建汇总表
    create table data_total as
    select 1 as flag,id,BSM,md5(BSM) as md5_value from table_a union all
    select 2 as flag,id,BSM,md5(BSM) as md5_value from table_b union all
    select 3 as flag,id,BSM,md5(BSM) as md5_value from table_c union all
    select 4 as flag,id,BSM,md5(BSM) as md5_value from table_d union all
    select 5 as flag,id,BSM,md5(BSM) as md5_value from table_e
    ;

    — 2. 查出哪些值有重复
    create table value_mult as
    select
    md5_value
    ,count(1) as cnt
    from data_total t1
    group by md5_value
    having count(1) > 1
    ;

    — 3. 为 data_total 表创建索引
    CREATE INDEX ix_md5_value ON data_total(md5_value);

    — 4. 查询出结果
    select t1.*
    from data_total t1
    inner join value_mult t2
    on t1.md5_value=t2.md5_value
    ;

  • 資深大佬 : nuistzhou

    不是,这玩意不是几行 SQL 就能解决的吗?为啥还要搞复杂用 python 处理呢? group by 然后 count 啥的不就 OK 了嘛?

  • 資深大佬 : wiix

    如果是传统关系数据库,真就两条 sql 的事。

  • 資深大佬 : anaf

    6 直接给了答案 看着没毛病 我还要想一下是不是这么写 说明我水平不够 6L 好 [逃]

  • 資深大佬 : RedisMasterNode

    1 正解,BloomFilter 处理超大数据量天然优势

  • 資深大佬 : qbmiller

    布隆过滤 ,判断重复是有误判的。2000 万 数据库 sql 就可以了。太看不起 mysql 了。如果是阿里云 rds,那更完美

  • 資深大佬 : qwertyegg

    两千万小 case 了,每个记录算一个 hash 即可

  • 資深大佬 : xcstream

    32bit 换成 64bit 不知道行不行,不用改代码

文章導覽

上一篇文章
下一篇文章

AD

其他操作

  • 登入
  • 訂閱網站內容的資訊提供
  • 訂閱留言的資訊提供
  • WordPress.org 台灣繁體中文

51la

4563博客

全新的繁體中文 WordPress 網站
返回頂端
本站採用 WordPress 建置 | 佈景主題採用 GretaThemes 所設計的 Memory
4563博客
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?
在這裡新增小工具