未分類
20 6 月 2020

多台服务器共同处理任务的时候，通过什么方式来交互比较好？

多台服务器共同处理任务的时候，通过什么方式来交互比较好？

資深大佬 : wyan453351466 65

需求是，需要在多台服务器上同时执行某种任务。

一个 master 服务器负责派发任务，多个 worker 服务器来执行。

那么服务器与服务器之间的数据通过哪种方式交互会比较好呢？

通过 web-api 定时通信？

还是直接连接同一个的 Redis 数据库？（主觉得前者比较好，毕竟可以减少 http 的请求次数，安全性方面貌似也更好一些）

还有其他的方法吗？

大佬有話說 (13)

  • 資深大佬 : tms

    mq、rpc

  • 資深大佬 : lihongjie0209

    同步 RPC
    异步 MQ

  • 資深大佬 : securityCoding

    本质上是任务分片执行 ,不要考虑其他的了 , 就是 MQ

  • 主 資深大佬 : wyan453351466

    需求补充：

    对实时性的要求不高，任务处理结果的返回可以有一定的延迟，只要最终数据能统一到一起就行。

  • 資深大佬 : chen774553620

    消息队列 mq

  • 資深大佬 : zhiguang

    分布式任务调度?

  • 資深大佬 : BlackBerry999

    同 2

  • 資深大佬 : robot1

    mapreduce

  • 資深大佬 : netnr

    webhook 钩子，分发后，执行完（包括异常超时等）触发接口调用

  • 資深大佬 : wangyzj

    python 的话 celery

  • 資深大佬 : Vegetable

    太多啦,建议直接使用现成的框架,比如 celery
    https://github.com/search?q=distribute+task&type=Repositories

  • 資深大佬 : araaaa

    rsocket 和 reactor

  • 資深大佬 : araaaa

    @araaaa reactor 的 mono.zip 可以进行多个并发处理