跳至主要內容
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?

4563博客

全新的繁體中文 WordPress 網站
  • 首頁
  • 想要实时的处理 es 中一个索引里面的数据,然后存入另外一个索引,有什么好的解决方案
未分類
12 12 月 2020

想要实时的处理 es 中一个索引里面的数据,然后存入另外一个索引,有什么好的解决方案

想要实时的处理 es 中一个索引里面的数据,然后存入另外一个索引,有什么好的解决方案

資深大佬 : sniperking1234 8

现在在 es 中,有一个索引 A,我们想对索引 A 中的数据做一些处理,然后把处理过的数据再存到另外一个索引 B 。需要实时进行处理,就是当索引 A 中新增数据的时候,就把新增的数据进行处理,然后存入。由于对 ES 不是很熟悉,请问这种需求有没有好的解决方案吗,求助 ES 大神。

大佬有話說 (13)

  • 資深大佬 : MinQ

    https://www.elastic.co/guide/en/elasticsearch/reference/current/xpack-alerting.html
    不知道这个合适不合适,但是要钱

  • 資深大佬 : sss495088732

    在写入之前处理 new_doc->flink->kafka->flink->es1,es2

  • 資深大佬 : MinQ

    @sss495088732 我猜他们有可能从文件采集的日志,用的 logstash,可能不知道啥时候写了

  • 資深大佬 : Morriaty

    es 有个 issue https://github.com/elastic/elasticsearch/issues/1242,类似于 trigger 或者 binlog 的东西,然鹅这个 issue 已经九年了,还是没有 close……

    所以目前最好的方案还是程序端双写

  • 資深大佬 : sss495088732

    @MinQ 嗯嗯.用 logstash 就没法这么做了,只能定时操作感觉 0.0

  • 資深大佬 : oneisall8955

    双写觉得要补偿了,默认一定会写成功 A 一定能写成功 B,写不成功 B 就是程序逻辑或 A 数据有问题

  • 資深大佬 : vemier

    logstash 也可以设置多个 outputa

  • 資深大佬 : f6x

    关键字: transforms
    实时将一个 index 处理后存入另一个 index

  • 資深大佬 : bringyou

    logstash 也可以写入到 kafka

  • 資深大佬 : qfdk

    pipline ?

  • 主 資深大佬 : sniperking1234

    @f6x 请问这个是 es7 的特性吗

  • 資深大佬 : f6x

    不太清楚什么时候加的, 6 就有了.
    完全契合你的需求, 不用额外程序 /模块. 不用臃肿的 logstash.
    改字段,重解析字段,各种 aggr 都能直接用.
    还是 es 内系统级增量刷新.

    @sniperking1234

  • 主 資深大佬 : sniperking1234

    @f6x 我找了下文档,好像 es6 中的 transform 和 es7 里面的不一样,es7 中的 transform 是符合我的需求的。是这两个 transform 的确不一样还是我理解上出了问题
    https://www.elastic.co/guide/en/elasticsearch/reference/6.8/transform.html
    https://www.elastic.co/guide/en/elasticsearch/reference/7.x/transforms.html

文章導覽

上一篇文章
下一篇文章

AD

其他操作

  • 登入
  • 訂閱網站內容的資訊提供
  • 訂閱留言的資訊提供
  • WordPress.org 台灣繁體中文

51la

4563博客

全新的繁體中文 WordPress 網站
返回頂端
本站採用 WordPress 建置 | 佈景主題採用 GretaThemes 所設計的 Memory
4563博客
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?
在這裡新增小工具