未分類
4 11 月 2020

Telegraf

Telegraf

資深大佬 : mary9 3

最近使用 Telegraf 完成一个监控项目，不知道有没有 V 友用过这个组件，或者是遇到过下面描述的业务场景。

我们的采集平台在业务方，和监控平台隔离，需要将采集平台的 Prometheus 的指标导入监控平台的 Prometheus 。

数据流向为：Prometheus （采集）=> Kafka => Influxdb <= Prometheus （监控）

将采集平台上的 Prometheus 指标数据先导入 Kafka，有两种方案，一种是使用 Telegraf，优点是后续的 Kafka 导入 Influxdb 可以使用 Telegraf，缺点是如果使用 Telegraf，Telegraf 采集指标是从 /metrics 接口开始采集，并不支持 Prometheus 服务发现。

另一种是使用 Prometheus 官网推荐的组件：prometheus-kafka-adapter，优点是支持 Prometheus 的服务发现，缺点是输出的数据格式和 Telegraf 不一致，需要修改 Telegraf 源码适配。

一般来说，采集平台和监控平台应该在一个环境。现在分隔开，挺蛋疼的。

如果是你们，会怎么设计呢？

大佬有話說 (8)

  • 資深大佬 : SingeeKing

    我就想知道 Prometheus 和 Influxdb 两个时序数据库一起用是为了什么……

  • 主 資深大佬 : mary9

    我们的 Prometheus 保存数据只有 6 个小时。用 Influxdb 来保存长时间的数据。

  • 主 資深大佬 : mary9

    @SingeeKing 刚才没说准确，监控的 Prometheus 是远程读 Influxdb 数据，本身不存储指标数据，另外接 Grafana 展示指标，同时也用来接告警。

  • 資深大佬 : SingeeKing

    可还是觉得很奇怪…… 无论是自动淘汰还是 Grafana 展示直接 influxdb 都可以啊，为什么要套一层 prometheus

  • 資深大佬 : anubu

    主应该只是把 influxdb 当做一个时序数据库中间件来使用的，作为 prometheus 数据持久化方案。我们监控数据比较少，用的是 VictoriaMetrics 作为时序数据库，优点是支持 Prometheus querying API，数据消费端不需要再部署一套 prometheus，grafana 直接可以读取。

  • 主 資深大佬 : mary9

    @anubu 对。我们不把 Prometheus 作为存储长期数据的组件。

  • 主 資深大佬 : mary9

    @SingeeKing Grafana 也可以直接接 Influxdb，不过我们使用 Promtheus 来处理告警，不使用 Grafana 的告警。

  • 資深大佬 : erenming

    记得 Telegraf 有个采集插件叫 Prometheus，里面就实现了发现机制吧