跳至主要內容
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?

4563博客

全新的繁體中文 WordPress 網站
  • 首頁
  • 请教一下存储的问题
未分類
4 2 月 2021

请教一下存储的问题

请教一下存储的问题

資深大佬 : foxyier 6

目前有需求场景:
写入 100w+数据量每天, 场景为离线, 且写多读少, 目前用的是 hbase+hive

遇到的问题:
hbase 的服务端 rpc 频繁超时, 导致数据堆积

已采用的方案:
与服务端沟通, 增加 hbase 离线集群,增加服务端数量(结果: 轻度缓解超时问题, 但仍未解决问题)

待选方案:
1. 更换存储, 改为 mongodb 或者其他存储
2. 直接把数据写入到 hive 表(这里想请教一下两个问题:1. hive 表中外部表和内部表在读写性能方面是否有区别,2. hive 表的写入效率如何, 是否能支持 100w/天的写入效率)

想请教一下各位大大, 待选方案是否可行, 以及是否有更好的解决方案

大佬有話說 (4)

  • 資深大佬 : leopod1995

    拙见,rpc 频繁超时,有试过上消息队列吗?

  • 資深大佬 : mwcodenoname

    rpc 超时是写入还是读取的时候? mongodb 写入性能应该不如 hbase,而且 100w 也不多。
    建议排查一下吧,难保换了存储不会有这个问题。
    hbase 表有做预分区吗?有没有数据热点? regionserver 的 gc 情况如何?

  • 主 資深大佬 : foxyier

    @leopod1995 现在已经有消息队列了, 但是由于频繁超时, 会导致消息堆积。

  • 資深大佬 : harryhao

    这个量很小,主要看高峰期,具体怎么读写的可以给个样例

文章導覽

上一篇文章
下一篇文章

AD

其他操作

  • 登入
  • 訂閱網站內容的資訊提供
  • 訂閱留言的資訊提供
  • WordPress.org 台灣繁體中文

51la

4563博客

全新的繁體中文 WordPress 網站
返回頂端
本站採用 WordPress 建置 | 佈景主題採用 GretaThemes 所設計的 Memory
4563博客
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?
在這裡新增小工具