跳至主要內容
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?

4563博客

全新的繁體中文 WordPress 網站
  • 首頁
  • 用关系型数据库存储查询时序数据怎么样?
未分類
11 1 月 2021

用关系型数据库存储查询时序数据怎么样?

用关系型数据库存储查询时序数据怎么样?

資深大佬 : rogergood 1

最近在调研时序数据(比如机器的监控数据)的存储和查询,看到有一个 TimescaleDB 是基于 PostgreSQL 的,比较好奇关系型数据库能比较高效地处理现在这种数据量很大的时序数据吗?有在实际生产环境中使用过的朋友了解这个吗?

大佬有話說 (8)

  • 資深大佬 : opengps

    没啥太大问题。主要是 io 低。关系型数据库数据读写结构整体复杂,会有一些逻辑影响 io 指标

  • 資深大佬 : funky

    线上正在使用

  • 資深大佬 : funky

    你可以看看 prometheus 自带的存储时序数据库 TSDB,如果你要实现监控系统,自己写个 proxy 借助 prometheus 也是可以

  • 資深大佬 : rockyou12

    TimescaleDB 性能还是很高了,生产用其实没问题的,特别是一般的关系数据和时序数据可以用一个库。它现在最大问题还是压缩比太低了,比较吃硬盘。

    按照他们自己的 benckmark,在高负载下 timescaledb 性能比 influxdb 还高出一大截。但现在 influxdb2.0 发布而且快稳定了,不知道提升多少
    https://blog.timescale.com/blog/timescaledb-vs-influxdb-for-time-series-data-timescale-influx-sql-nosql-36489299877/

  • 主 資深大佬 : rogergood

    @funky 想问一下,具体的数据规模方便透露吗,比如说 metric 的个数和 device 的个数? 想根据这个对 timescaldb 的写入 io 和磁盘占用在线上环境的表现有个大概的认识

  • 資深大佬 : rockyou12

    @rogergood prometheus 是专为运维监控设计的,如果你们是 iot 或其它业务它的模式不太合适,当前其实时序数据库我觉得靠谱有 3 个你可以联系他们或找找他们的性能测试文章:

    influxdb,最老最稳定,有很强大生态,2.0 版蓄势待发
    timescale,性能不错,由于基于 pg 所有可以使用 pg 的生态,开发非常方便。而且各方面性能其实比 influx 强(至少 infuxdb1 )
    tdengine,国内团队产品,性能总体应该是最强的,但生态还不完善,有些功能可能还需要打磨但瑕不掩瑜

    这几个数据库基本每秒写入几十万的指标点位都是轻轻松松,具体性能还是要看你环境

  • 資深大佬 : funky

    @rogergood  你是问监控还是 timescaledb,timescaledb 压缩太占磁盘空间了,对数据的压缩比例不高,但是面对 iot 数据都是度量数据,一般不是很大,开源版本可以写个 crontab 定时清理不用的 chunks,商业版本支持添加 schedule job,支持在数据库层面执行任务,写入 io 方面,批量写入,特别是 iot 数据还好,开源版本的 timescaledb 不支持集群模式,要是支持的话就 666 了

  • 資深大佬 : funky

    对了,prometheus 可以使用 timescaledb 作为默认存储的

文章導覽

上一篇文章
下一篇文章

AD

其他操作

  • 登入
  • 訂閱網站內容的資訊提供
  • 訂閱留言的資訊提供
  • WordPress.org 台灣繁體中文

51la

4563博客

全新的繁體中文 WordPress 網站
返回頂端
本站採用 WordPress 建置 | 佈景主題採用 GretaThemes 所設計的 Memory
4563博客
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?
在這裡新增小工具