言和 大佬有话说 : 2 小时前
爬Onedrive列表怎么处理网络错误的问题好
打算把别人的onedrive列表站整站下载(保持原有的目录结构)
目录结构很简单，几行shell就有目录列表了，所以这个不是问题
但是下载的时候，很容易就429错误了(OneDrive的响应头，好像是API超限了)
怎么处理这个错误呢？
我是用aira2c下载的
目前偷懒，获取到列表后，排除本地已经有了的目录，然后开始下载
但是有个问题，就是可能有子目录没下载全的情况
所以我觉得，应该在脚本直接处理429错误，把出现错误的目录列表保存在一个文件里，过一段时间，OneDrive好了再下载这些错误的
怎么搞比较简单点？
optimism 大佬有话说 : 2 小时前
没弄过 帮顶
habimoc 大佬有话说 : 2 小时前
爬慢一点 od的api很容易阀值的
liyyun 大佬有话说 : 1 小时前
我选择用wget -c -r -np 。没有比这更简单快捷的了吧
嗷嗷 大佬有话说 : 半小时前
liyyun 大佬有话说 : 2021-10-3 19:36
我选择用wget -c -r -np 。没有比这更简单快捷的了吧
没用啊，还是不能解决429的问题