API 日志分析统计什么架构比较好？

• 資深大佬 : InkAndBanner

  同求

• 資深大佬 : tabris17

  ELK 还重？自己写 python 脚本吧

• 資深大佬 : ben1024

  ELK
  直接 E

• 資深大佬 : ben1024

  或者用哨兵

• 資深大佬 : chendy

  elk 虽然”重“但是功能全
  其实只有 e 是必须的，l 和 k 都可以换（其实主要是 e 重…）

• 資深大佬 : letitbesqzr

  没觉得 elk 有多重，es 是那种配置越好性能越好的软件.. 你要实在觉得“重”，使劲压榨下参数不就行了。。

• 資深大佬 : liujialongstar

  个人感觉 elk 里 k 比较重, 功能太多了, 一直没理清; 好在有替代品

• 資深大佬 : Fitz

  loki

• 資深大佬 : ohao

  小公司个人的话 推荐 clickhouse，类 sql 查询支持 这个比较适合
  但是也要考虑你的查询需求和日志量和业务增加速度，做好预留

  ELK 的套件 非中大公司不太推荐 ，集群，容灾，一堆一堆的问题，虽然资料相对多
  对资源和维护要求都比较高
  我们以前 CDN 系统的日志支持的是这个，实际交付给客户使用阶段 还是发现不太合适

• 資深大佬 : xuanbg

  ELK/EFK 这种一点都不重，几行 docker 命令就搞定

• 資深大佬 : nikandaoleshenme

  0，自己动手写一个
  1，日志有明确的格式
  2，编写一个程序（ shell 、py 、亦或你最拿手的语言 java 、go ），定时读取日志，然后解析格式（解析规则取决于日志格式），入库
  3，库可以是 es，甚至 mysql 、 建议文档数据库 mongodb，简单易用，方便后续的聚合查询
  4，工作量：一个人全心投入，一个下午即可出一个 简版来
  5，注意事项：日志解析需要细心，大文本读取策略，内存溢出，
  6，开始行动 或者 pass

• 資深大佬 : aeli

  日志目前我用了 loki，算轻量的收集。但对 trace 之类支持不好。

• 主 資深大佬 : jsonfork

  @tabris17 奈何脚本使用不灵活。还要手写各种统计的图。

  @ben1024
  @chendy
  @letitbesqzr
  @liujialongstar
  @xuanbg 谢谢各位，elk 是在待选方案里的，也打算进行尝试。

• 主 資深大佬 : jsonfork

  @ohao 感谢，回头了解一下这个东西。

• 主 資深大佬 : jsonfork

  @Fitz
  @aeli 谢谢，这个东西之前没搞过，看了下介绍，是轻量级工具。

• 資深大佬 : vipppppp

  我们组折腾了一圈后回到了 elk，filebeat，kafka 。。
  自己开发与其他工具不是维护太麻烦、资料太少就是功能缺失。。

• 資深大佬 : c00WKmdje2wZLrSI

  为什么不用阿里云的日志服务呢？价格比自建低，又不用运维

• 資深大佬 : stardustree

  想轻量就不要采集原始的日志，直接在客户端从原始日志里抽出关心的指标，然后随便搞个时序数据库存着就好了

• 資深大佬 : chinvo

  Sonic https://github.com/valeriansaliou/sonic

• 資深大佬 : gaigechunfeng

  elk 这种是日子分析框架，还是采集框架？
  我现在是需要在小程序，前端采集数据。不知道 elk 能不能支持

• 資深大佬 : fanshaohua

  可以考虑一下 Azure 的 Application Insight.

• 資深大佬 : podel

  强烈按理 阿里云的日志服务。
  便宜又好用。还能直接监测 VPS 上面的日志文件，还有智能正则匹配功能。

• 資深大佬 : sadfQED2

  https://www.xjiangwei.cn/2020/07/12/serverArchitecture/

  我个人博客项目的日志系统怎么样？绝对够轻量

• 資深大佬 : SmiteChow

  Google Analytics

• 資深大佬 : aladdindingding

  我们公司用的 clickhouse