跳至主要內容
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?

4563博客

全新的繁體中文 WordPress 網站
  • 首頁
  • 几万条数据中找所有带某个字符串的记录怎么找比较快?
未分類
17 4 月 2021

几万条数据中找所有带某个字符串的记录怎么找比较快?

几万条数据中找所有带某个字符串的记录怎么找比较快?

資深大佬 : samohyes 0

lz 这方面是个小白,现在一个项目有 1 万条数据,举个例子,地址:浙江省杭州市拱墅区天翼路等。我想把所有地址含有拱墅区这三个字的记录筛选出来。我原来是很傻地用一个 list 装,一个个找。现在想着,数据量大了,用数据库存然后找会不会更快?我试了下,用 list 一个个找约有 6ms,但是对数据库不大熟,有经验地老哥指点下怎么存怎么找快一点?

大佬有話說 (14)

  • 資深大佬 : ch2

    elasticsearch 了解一下

  • 資深大佬 : codehz

    (如果只是匹配字符串的话,可以先分词,然后做词向量的方法处理。。。
    但是考虑到这里似乎和地理位置相关,这个方法可能不太够用

  • 主 資深大佬 : samohyes

    @ch2 好嘞,我去了解下

  • 資深大佬 : yusheng88

    kmp 算法,ac 自动机; 根据自己需求,选择 NFA 算法或 DFA 算法

  • 資深大佬 : xarthur

    这个数量才多少点……算你一条 15 个字,用 UTF-8 编码,汉字三个字节。一万条数据才 439.45KB……

  • 主 資深大佬 : samohyes

    @xarthur 我这情况比较特殊,6ms 对我来说已经占了我所用的一次整个流程的一半了。。。我得把这个时间再缩短下。。

  • 資深大佬 : HeavyWhale

    boyer-morre

  • 資深大佬 : xarthur

    @samohyes 6ms 占了流程的一半……你整个流程才 12ms 啊。如果只是偶尔调用也不慢啊。

  • 資深大佬 : coreki

    DFA 算法

  • 資深大佬 : aec4d

    最容易,最好理解的方法是 n-gram,空间换时间,比如 abc 分成 abc,ab,bc,a,b,c 放到字典里面,查询效率是 O(1)

  • 資深大佬 : IsaacYoung

    巧了 前几天正好看到 kmp 算法

  • 資深大佬 : zhangyufei49

    先分词,建立倒排索引,然后再找就快了。和检索引擎一个原理。也可以直接用数据库的全文检索插件做

  • 資深大佬 : Ballmer

    最简单的 fulltext index 全文索引这种效果咋样

  • 資深大佬 : billlee

    1 万条数据,如果在意的是延迟,用数据库显然是不行的,一个网络 RTT 都要几毫秒了。
    这种这是多个字符串搜索单个词,没有什么太好的优化方法了。要优化应该要从内存访问方面着手了,比如把链表改成连续内存。

文章導覽

上一篇文章
下一篇文章

AD

其他操作

  • 登入
  • 訂閱網站內容的資訊提供
  • 訂閱留言的資訊提供
  • WordPress.org 台灣繁體中文

51la

4563博客

全新的繁體中文 WordPress 網站
返回頂端
本站採用 WordPress 建置 | 佈景主題採用 GretaThemes 所設計的 Memory
4563博客
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?
在這裡新增小工具