跳至主要內容
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?

4563博客

全新的繁體中文 WordPress 網站
  • 首頁
  • Aragog – 基于 AMQP 的分布式双模式爬虫框架 (Node.js)
未分類
6 6 月 2020

Aragog – 基于 AMQP 的分布式双模式爬虫框架 (Node.js)

Aragog – 基于 AMQP 的分布式双模式爬虫框架 (Node.js)

資深大佬 : wst 4

因为平时经常写一些和爬虫相关的小项目,受 RabbitMQ 的启发,我将爬虫核心的部分单独做了一个项目。结合 RabbitMQ 后可以只部署一套爬虫服务,供各种其他服务使用,即节约了系统资源,又可以统一管理。

Aragog 分为服务端,客户端和 RabbitMQ 服务。多个服务端和多个客户端通过 AMQP 协议连接到 RabbitMQ 服务。系统扩展性很好,目前只做了一些基础的功能,欢迎试用和提 issue 。

这是我第一个真正意义上的开源项目,顺便求个星星鼓励下

大佬有話說 (0)

文章導覽

上一篇文章
下一篇文章

AD

其他操作

  • 登入
  • 訂閱網站內容的資訊提供
  • 訂閱留言的資訊提供
  • WordPress.org 台灣繁體中文

51la

4563博客

全新的繁體中文 WordPress 網站
返回頂端
本站採用 WordPress 建置 | 佈景主題採用 GretaThemes 所設計的 Memory
4563博客
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?
在這裡新增小工具