跳至主要內容
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?

4563博客

全新的繁體中文 WordPress 網站
  • 首頁
  • celery 如何通过 task_id 查询任务的执行日志
未分類
18 4 月 2021

celery 如何通过 task_id 查询任务的执行日志

celery 如何通过 task_id 查询任务的执行日志

資深大佬 : Alexf4 12

最近在使用 celery 做任务队列,用 flower 已经可以满足查看某个任务的执行状态,参数,时间等等。

后面想着定制需求:通过一个 task_id 实时查看执行的情况(类似任务执行里面的 print, logger 等),各位大佬们有没有建议?

目前自己的大概的想法:

  • 在每个 worker 的执行日志里面操作,做近实时的收集( collectd, fluentd, filebeat 等),然后根据 task_id 在日志的仓库( clickhouse, es )做查询。这个日志搜索会有一定的延迟性
  • 每个 task 配置一个单独的日志文件, 然后在进行查询时候, 利用 websocket 连接服务器(此时服务器找到对应的文件, tail -f )。
大佬有話說 (2)

  • 資深大佬 : strict

    简单粗暴,把日志关键数据塞到 result backend 中.

  • 主 資深大佬 : Alexf4

    @strict 这个只是保存任务的一些必要参数吧。执行结果,参数,执行时间等等。
    但是像执行日志,类似任务 stdout 输出, 不会在这里面吧?还是有啥盲点我没发现的吗,华生

文章導覽

上一篇文章
下一篇文章

AD

其他操作

  • 登入
  • 訂閱網站內容的資訊提供
  • 訂閱留言的資訊提供
  • WordPress.org 台灣繁體中文

51la

4563博客

全新的繁體中文 WordPress 網站
返回頂端
本站採用 WordPress 建置 | 佈景主題採用 GretaThemes 所設計的 Memory
4563博客
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?
在這裡新增小工具