未分類
18 1 月 2021

如何用多线程快速的下载一个软件仓库?

如何用多线程快速的下载一个软件仓库?

資深大佬 : dyxLike 3

最近做服务部署需要把一个软件仓库的文件夹整个下载下来, 部署文档里给的下载命令是这样的:

wget --recursive --no-parent --no-host-directories https://archive.cloudera.com/cdh6/6.1.0/redhat7/ -P /var/www/html/cloudera-repos

然而 wget 是单线程的, 下载着实在是太慢了, 只有 30 多 kB/s, 我用迅雷试了下也不支持把文件夹整个下载下来, 只能一个一个文件的下载

所以想请教一下各位, 有什么好的下载办法或者工具吗?

大佬有話說 (5)

  • 資深大佬 : xunco

    aria2 ?

  • 主 資深大佬 : dyxLike

    @xunco 没用过 aria2, 我研究研究

  • 資深大佬 : goodryb

    可以试试 Axel 和 wget 类似，支持多线程

  • 資深大佬 : Stoulla

    Aria 2,直接默认配置都可以挺快的了。当然你这个只有 30k 不如考虑 export http_proxy?

  • 主 資深大佬 : dyxLike

    @Stoulla 标题没说明白, 我是想要向 wget 那样递归下载文件夹的同时又支持多线程的效果, 但是 aria2 好像不支持递归下载