跳至主要內容
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?

4563博客

全新的繁體中文 WordPress 網站
  • 首頁
  • 一个生产者对象不断产生数据,并对生产的数据进行持续追加方式的存储,那么存储方案如何选择?
未分類
23 11 月 2020

一个生产者对象不断产生数据,并对生产的数据进行持续追加方式的存储,那么存储方案如何选择?

一个生产者对象不断产生数据,并对生产的数据进行持续追加方式的存储,那么存储方案如何选择?

資深大佬 : tctc4869 5

假设有生产者对象,

该生产者对象有一个布尔属性 A,当属性 A 设为 true,该生产者会不断生产数据,生产的数据类型是字符串或 byte 数组。

当设置属性 A 为 false,会停止生产操作。并会发出一个通知事件

生产过程中的数据要存起来,存到文件里,或者存到数据库里,但要求存的方式是持续追加的存储。有点就像 StringBuffer 的追加一样。

假设有 2 个生产者对象实例,2 个生产者对象,都开启生产模式,不断生产数据,直到最终关闭生产模式。 如果是存到文件里,那么最终保存的是两个文件,以生产者对象的 id 和日期作为文件名,

但如果是存到数据库里,比如 sql 数据库一个表里,每次生产数据,最终保存的不会是每一个生产的数据都对应一行,而是两行记录,和两个文件一样。不过 sql 数据库,有哪个数据类型或 jdbc 操作适合持续追加的存储么?

堆积追加式的存储,其他类型的数据库,有哪些合适么?

大佬有話說 (13)

  • 資深大佬 : faceair

    列式存储,clickhouse 之类的

  • 資深大佬 : teek

    追加的话,log 也是追加,所以 kafka ?

  • 主 資深大佬 : tctc4869

    @faceair 列式存储适合追加存储?

  • 資深大佬 : qiayue

    时序数据库

  • 主 資深大佬 : tctc4869

    kafka 适合 byte 数组追加么?

  • 資深大佬 : faceair

    @tctc4869 存到同一列,用的时候单列数据全取出来自己顺序合并就好。

  • 主 資深大佬 : tctc4869

    @qiayue 时序数据库种的“时序”一词的代指,用来根据时间标签为中心来优化的吧

  • 資深大佬 : JmmBite

    没提查询要求,就纯文本追加。

  • 資深大佬 : GrayXu

    @JmmBite +1,直接 append 不最快…

  • 資深大佬 : tabris17

    @JmmBite 这个防不住掉数据呀

  • 資深大佬 : 37Y37

    这个跟监控数据一致,可以考虑下时序数据库或者环形数据库呀

  • 主 資深大佬 : tctc4869

    @JmmBite ,要说查询要求,其实就跟读取一个文件内容差不多的,但是如果不用文件存,而是数据库存的话,不知道选什么类型的数据库比较合适

  • 主 資深大佬 : tctc4869

    @37Y37 时序数据库的本质不是基于“时间”标签来优化数据存储效率的么?也能支持持续追加存储?就像打开一个文件写入流,往文件里持续追加数据,直到最终文件流关闭那样?

文章導覽

上一篇文章
下一篇文章

AD

其他操作

  • 登入
  • 訂閱網站內容的資訊提供
  • 訂閱留言的資訊提供
  • WordPress.org 台灣繁體中文

51la

4563博客

全新的繁體中文 WordPress 網站
返回頂端
本站採用 WordPress 建置 | 佈景主題採用 GretaThemes 所設計的 Memory
4563博客
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?
在這裡新增小工具