这种分布式文件下载方案有现成的工具解决吗?
資深大佬 : Inn0Vat10n 7
在小规格 ecs 上部署了爬虫,想要同步数据到本地但是出带宽只有 1MB (学生优惠机)速度很慢,我在想如果我买多台这样的学生机( 10 元每月比起带宽费用便宜多了),然后并发从多台小规格机器上拉取数据,不就可以达到更高的带宽下载了吗?多台学生机通过内网传输,拆分大文件为多个分片,然后我本地再并发从多台机器同时拉取多个分片再进行组装,这样的功能有现成的工具可以实现吗?
大佬有話說 (14)
在小规格 ecs 上部署了爬虫,想要同步数据到本地但是出带宽只有 1MB (学生优惠机)速度很慢,我在想如果我买多台这样的学生机( 10 元每月比起带宽费用便宜多了),然后并发从多台小规格机器上拉取数据,不就可以达到更高的带宽下载了吗?多台学生机通过内网传输,拆分大文件为多个分片,然后我本地再并发从多台机器同时拉取多个分片再进行组装,这样的功能有现成的工具可以实现吗?