跳至主要內容
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?

4563博客

全新的繁體中文 WordPress 網站
  • 首頁
  • 想请教一下数据存储的选择
未分類
18 1 月 2021

想请教一下数据存储的选择

想请教一下数据存储的选择

資深大佬 : foxyier 5

需求描述:
日增数据量百万+, 目前采用的是 hbase+hive, 但是 hbase 服务端的 rpc 很不稳定, 所以考虑换一个存储,所以想请教一下有没有更优的存储方式, 应用场景为写多读少
大佬有話說 (8)

  • 主 資深大佬 : foxyier

    补充一下: 数据字段不固定, 所以会建几十或上百张 table, 且有自动根据数据构建 table 的需求

  • 資深大佬 : laminux29

    别急着换方案,先想办法调试一下,找一下不稳定的原因在哪。假设问题是硬件有瓶颈,那么换软件是无法解决问题的。

    之前就看到过类似案例,数据库有延迟,优化、换数据库都解决不了。后来有大佬进行整体分析,发现瓶颈在存储上,把 ssd 从 1 个增加到 3 个,组了 raid 0,问题解决。

  • 資深大佬 : misaka19000

    不是应该想着解决 rpc 不稳定的问题?

  • 主 資深大佬 : foxyier

    @laminux29
    @misaka19000
    第一反应想的就是跟 hbase 的服务端沟通 rpc 不稳定的问题, 但最后的结果仍是不稳定, 所以考虑换存储可能一劳永逸

  • 資深大佬 : TimePPT

    实时数据处理试下用 Flink ?

  • 資深大佬 : GGGG430

    mysql 也行吧,我这 mysql 日增长 2000w,每天吧数据同步到 hive,dt 日期分区,然后清空一次 mysql

  • 資深大佬 : neoblackcap

    RPC 不稳定能不能通过重试来解决?如果可以的话,通过分批写入,同时增加重试机制是不是改动成本会更低一点?
    换存储看似简单,但是你要考虑跟你们现有的技术栈合不合适

  • 主 資深大佬 : foxyier

    @neoblackcap 重试是有的, 但是重试次数设置多了就会造成严重的数据堆积。

文章導覽

上一篇文章
下一篇文章

AD

其他操作

  • 登入
  • 訂閱網站內容的資訊提供
  • 訂閱留言的資訊提供
  • WordPress.org 台灣繁體中文

51la

4563博客

全新的繁體中文 WordPress 網站
返回頂端
本站採用 WordPress 建置 | 佈景主題採用 GretaThemes 所設計的 Memory
4563博客
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?
在這裡新增小工具