跳至主要內容
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?

4563博客

全新的繁體中文 WordPress 網站
  • 首頁
  • 有没有什么数据库适合量大、更新频繁、字段变动频繁的数据?
未分類
9 9 月 2020

有没有什么数据库适合量大、更新频繁、字段变动频繁的数据?

有没有什么数据库适合量大、更新频繁、字段变动频繁的数据?

資深大佬 : zzl22100048 1

上亿的数据,两周更新一轮,每天还有几万条新数据入库,这种数据用啥库比较好维护啊
还需要全文搜索
大佬有話說 (36)

  • 資深大佬 : TimePPT

    Hadoop

  • 資深大佬 : misaka19000

    Elasticsearch

  • 資深大佬 : baiduyixia

    mysql

  • 主 資深大佬 : zzl22100048

    @baiduyixia mysql 这么大量真能行么

  • 主 資深大佬 : zzl22100048

    @misaka19000 目前是 hbase+es 二级索引,维护起来太累了

  • 主 資深大佬 : zzl22100048

    @misaka19000 @TimePPT 目前是 hbase+es 二级索引,维护起来太累了

  • 資深大佬 : dethan

    ads

  • 資深大佬 : xupefei

    pgsql

  • 資深大佬 : wellsc

    时序数据库

  • 資深大佬 : 127000

    主不妨参考下之前的帖子:)
    sov2ex.com/?q=亿级数据

  • 資深大佬 : 594duck

    8 万一台的 dell R740 双 E5,512G 内存,ssd 和万转 sas,加上 Microsoft sqlserver 5 台做 cluster 。授权费一台加 Windows 也就 5 万。

    再上去就是 oracle 的

    别看千多,阿里的 DRDS 比这还贵

  • 資深大佬 : 594duck

    如果要用云。就是 zaure,或者直接开 oracle cloud

  • 資深大佬 : des

    问一下你们这是啥需求
    同时需要这么多条件的:量大、更新频繁、字段变动频繁、全文搜索

  • 主 資深大佬 : zzl22100048

    @127000 有点不一样,我们有对老数据更新的需求,

  • 資深大佬 : wwwwzf

    sqlserver 能用好就很不错了。

    SQLServer2005:
    Database size 1,048,516 TB
    Databases per instance of SQL Server 32,767
    Filegroups per database 32,767 ( SQL2000 是 256 )
    Files per database 32,767
    File size (data) 16 TB ( SQL2000 是 32TB )
    File size (log) 2 TB ( SQL2000 是 4TB )

    SQL2012 设计极限:
    524 PB(536,576TB/549,453,824G)

  • 主 資深大佬 : zzl22100048

    @des 类似企查查

  • 資深大佬 : newghost

    http://oncedb.com

    基于 redis 二次开发的的全文搜索数据库

  • 資深大佬 : est

    这点数据 mysql 毫无压力啊。没秒万行也能试试

  • 資深大佬 : Kaiux

    Hudi
    https://hudi.apache.org/

  • 資深大佬 : kerro1990

    sqlserver 最适合,性价比最好

  • 資深大佬 : opengps

    规划合理,硬盘跟得上,,目测各种库都能抗住这个规模

  • 主 資深大佬 : zzl22100048

    @est 真的吗,一天做一千万的更新写入真的可以吗

  • 資深大佬 : 594duck

    @zzl22100048 V2 里那种张口就来的人特别多,什么 512M 内存跑十几个服务的 Docker 吹,千万级宽表 mysql ms 级查询的

    要真信了这些人的话,早完球了。

    带任务来的。

  • 主 資深大佬 : zzl22100048

    @594duck
    @kerro1990
    大量的 update 会不会出现什么问题

  • 資深大佬 : est

    @594duck
    @zzl22100048

    比较老的一个 tokudb 试试。2 周更新一次还行。如果 2 秒更新一次就算了。

  • 資深大佬 : 594duck

    @zzl22100048 有什么问题,没什么问题,无非磁盘寿命用的快点,SSD 只做 CACHE 让 SAS 硬盘做数据写入,Microsoft sql server 水平扩展非常方便。

  • 資深大佬 : luvsic

    mongodb?

  • 資深大佬 : teddy2725

    try clickhouse

  • 資深大佬 : black11black

    上亿:几乎所有数据库都没问题。

    每天几万条入库:几乎所有数据库都没问题。

    全文搜索:似乎 nosql 不行。

    字段频繁更新:似乎 mysql 不行。

    所以。。oracle 硬钢?

  • 主 資深大佬 : zzl22100048

    @black11black 还有每天千万的 update

  • 資深大佬 : kerro1990

    @zzl22100048 sqlserver 你查下就知道了,毫无压力,每秒几万个事物都没啥压力

  • 資深大佬 : black11black

    @zzl22100048 update 和 insert 应该都算在入库里,你这个不该算每天几万条新数据,应该说每天几千万新数据。。当然这个压力 oracle 肯定也是没问题的,一千 qps 在 oracle 设计范围内,很轻松可以搞定,相当于每小时 360 万呗。当然我也很好奇频繁改字段该用什么数据库,我想象不到什么业务需要频繁修改字段的,没做过

  • 主 資深大佬 : zzl22100048

    @black11black 数据更新附带了实时计算,计算的结果随需求一直在加

  • 資深大佬 : goodboy95

    @black11black 话说为啥全文搜索 nosql 不行,这里我不太明白。我自己感觉全文搜索用的是全文索引,应该跟是不是 sql 关系不大吧。

  • 資深大佬 : black11black

    @goodboy95 我就是笼统地一说,mongodb2.4 以前没有全文检索,redis 也没有,所以就当 nosql 没有了,要做当然能做

  • 資深大佬 : nbstoner

    adb

文章導覽

上一篇文章
下一篇文章

AD

其他操作

  • 登入
  • 訂閱網站內容的資訊提供
  • 訂閱留言的資訊提供
  • WordPress.org 台灣繁體中文

51la

4563博客

全新的繁體中文 WordPress 網站
返回頂端
本站採用 WordPress 建置 | 佈景主題採用 GretaThemes 所設計的 Memory
4563博客
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?
在這裡新增小工具