kafka 里的数据如何写到 es 里去 ？

• 資深大佬 : syasuker

  原来的架构没有 logstash 吗?

• 主 資深大佬 : wangking

  @syasuker 网上能找到的很多文档都是通过 logstash 去做的 ，我想看看大家伙 又没有使用 connect 之类的其他解决方案

• 資深大佬 : zhoudaiyu

  我们自己写了一个多进程 python 的转数脚本，就是一个死循环每个进程去 kafka 的某个分区拿数，然后维护一个简单的队列，等队列长度到达某个阈值就用 es 客户端提供的批量插入往 es 写数。

• 資深大佬 : xuanbg

  fluent 直接写 es 啊，要什么 kafka 和 logstash

• 資深大佬 : hahahahahha

  kafka 确实有和 es 的 connector 通道， 在 kafka 的 spring-kafka-connector 源码有写的，

• 主 資深大佬 : wangking

  @zhoudaiyu 这个方案不一定能行 ，还是比较期待有生产级别的工具

• 主 資深大佬 : wangking

  @xuanbg 解耦，常规操作

• 主 資深大佬 : wangking

  @hahahahahha 看了一下 ， 有个 confluent 的解决方案，没有 google 到合适的方案

• 資深大佬 : marcolin

  fluentd 可以同时写到两个 output 啊

• 資深大佬 : xuanbg

  这个解耦没多少意义啊，而且平白地增加了复杂度。再说，日志是允许丢的数据，没必要和数据完整性死磕呀。
  @wangking
• 資深大佬 : syasuker

  @wangking EFK + Kafka 么?
  fluent-bit 跟 logstash 是同级别的 看起来应该是 log 直接进 Kafka 然后经由 F 到 ES

• 資深大佬 : xetv

  @xuanbg 加一个 kafka 在后续维护的过程中会更加灵活一点。由于 es 和 kafka 的数据落盘机制不同，kafka 性能可能会优于 es 。
  主是按照采集-传输-保存这个步骤进行解藕了，我之前做过一样的系统，也是按照这个模式走的，实测 kafka 写入性能比 es 好。后面如果数据量再大一点的话，传输上面有性能瓶颈还是查询上面有瓶颈，可以有针对性的解决。

• 主 資深大佬 : wangking

  @syasuker 这个其实是跟 logstash 一样的，目前想通过 kafka 的 connector 直接接 es，感觉有点麻烦，后面可能还是你说的这个方案

• 主 資深大佬 : wangking

  @xetv 是的，同时后面也可能会有多消费者的需求，所以，这些提前准备一下

• 資深大佬 : limbo0

  @xuanbg 业界标准了，es 查询和存储一体，稳定性不如 kafka，而且以后方便扩展一定会上 kafka 的
  这个写 es 直接 Logstash 几分钟就搞定啊，不用那么纠结

• 資深大佬 : 0312birdzhang

  @limbo0 +1，有现成的成熟方案还纠结啥

• 資深大佬 : spidermansam0718

  filebeat 了解下

• 資深大佬 : pmispig

  当然是自己写一个消费者了，日志要做处理

• 主 資深大佬 : wangking

  @spidermansam0718 现在也没有时间折腾的了，先用 filebeat 顶上
  @pmispig 优先使用工具啊，毕竟是生产

• 資深大佬 : julyclyde

  啊？ filebeat 居然可以读 kafka
  真是名不副实啊！