跳至主要內容
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?

4563博客

全新的繁體中文 WordPress 網站
  • 首頁
  • 用什么来做数据监控报警?
未分類
18 7 月 2020

用什么来做数据监控报警?

用什么来做数据监控报警?

資深大佬 : TypeErrorNone 9

1.每天的数据量很大,大概 5 亿多条,如果用 mysql 存储,再用来查询监控,肯定不行的。 那么用什么来存储呢?

2.数据监控报警,可以知道当前金币发放的数据量,如果超过 /少于 3 天前,7 天前的数据量 10%,就发出报警, 用什么开源的工具可以快速实现呢?

大佬有話說 (20)

  • 資深大佬 : defunct9

    prometheus

  • 資深大佬 : KaynW

    prometheus

  • 資深大佬 : useben

    es

  • 資深大佬 : shuax

    拿个字段放累加值行不行,不要用 sum

  • 資深大佬 : CoooooolFrog

    美团点评开源监控系统 cat,谁用谁知道

  • 資深大佬 : tianshiyeben

    wgcloud

  • 資深大佬 : superrichman

    elasticsearch

  • 資深大佬 : tianshiyeben

    @tianshiyeben 开源监控项目 https://github.com/tianshiyeben/wgcloud

  • 資深大佬 : shunconf

    @CoooooolFrog 不留地址?

  • 資深大佬 : laminux29

    监控金币发放的数据量,这应该是业务,你居然敢拿第三方监控系统来实现,我也是佩服….万一第三方监控系统挂了,或者有个缓冲延迟什么的…

  • 資深大佬 : sujin190

    这种正常操作不应该先写入 Kafka,让后用个流式框架统计出每天的再写入 influxdb 或者 mysql 之类的来监控么,哪有直接监控原始数据的,就算每天太粗糙,那每小时肯定绰绰有余了,否则这么大量,存入 mysql,查询从磁盘读出来都不知道要多久了,毕竟磁盘读取速度摆在那的

  • 資深大佬 : DukeAnn

    flink

  • 資深大佬 : joesonw

    TICK 全家桶, Influx 存数据, Kapacitor 做按业务报警

  • 資深大佬 : lasuar

    Clickhouse,Yandex 公司内部业务驱动产出的列式存储数据库。
    -Clickhouse 用于在线流量分析,一步一步最终形成了现在的 Clickhouse 。在存储数据达到 20 万亿行的情况下,也能做到 90%的查询能够在 1 秒内返回结果。

  • 資深大佬 : lasuar

    Clickhouse,Yandex 公司内部业务驱动产出的列式存储数据库。
    – Clickhouse 用于在线流量分析,在存储数据达到 20 万亿行的情况下,也能做到 90%的查询能够在 1 秒内返回结果。
    – Clickhouse 能够实现实时聚合,一切查询都是动态、实时的,用户发起查询的那一刻起,整个过程需要能做到在一秒内完成并返回结果
    – Clickhouse 支持完整的 DBMS 。支持动态创建、修改或删除数据库、表和视图,可以动态查询、插入、修改或删除数据。
    – 数据批量写入,不需要经常更新、删除。数据写入完成后,相关业务不要求经常对数据更新或删除,主要用于查询分析数据的价值。
    – Clickhouse 适合用于商业智能领域,广泛应用于广告流量、App 流量、物联网等众多领域。借助 Clickhouse 可以实时计算线上业务数据,如资源位的点击情况,以及并对各资源位进行 bi 预警。

    京东使用的架构,Kafka –> flink 定时任务 –> Clickhouse 。

  • 資深大佬 : lasuar

    https://mp.weixin.qq.com/s/SKO3iAVJzwwcFyGQFetoYA

  • 資深大佬 : lasuar

    觉得可以的话请点亮右上角。

  • 資深大佬 : BQsummer

    关键词:时序数据库,推荐:Prometheus

  • 資深大佬 : byzf

    prometheus 不是用来监控 api 的吗, 不能用来监控数据库的某个查询结果吧.

  • 資深大佬 : lasuar

    不会吧不会吧,主白嫖一波就溜了?

文章導覽

上一篇文章
下一篇文章

AD

其他操作

  • 登入
  • 訂閱網站內容的資訊提供
  • 訂閱留言的資訊提供
  • WordPress.org 台灣繁體中文

51la

4563博客

全新的繁體中文 WordPress 網站
返回頂端
本站採用 WordPress 建置 | 佈景主題採用 GretaThemes 所設計的 Memory
4563博客
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?
在這裡新增小工具