怪人 大佬有话说 :
求助 火车头无法采集列表内容数据
是不是被网站屏闭了火车头抓取?
尝试使用http请求工具返回这样信息
https://i.loli.net/2020/04/07/cx4ArCYGljPuZL2.png
FDD 大佬有话说 :
你家里是不是用了软路由?
你换到服务器上试试?或者朋友的电脑上试试?
suwubee 大佬有话说 :
你如果本机浏览器可以打开的话,就模拟浏览器抓取一个cookies,这个测试工具蛮鸡肋的,我从没用过,抓包也是用F12
木易酱 大佬有话说 :
我遇到一个站,浏览器打开正常,文件也能正常下载。火车头采集刚开始也能正常采集,采集到一定量之后,就无法采集了,直接获取不到列表和内容,但是用浏览器打开还是正常的,并且还是可以下载文件。没有任何异样。火车头只有挂代理之后采集继续采集。cookie以及referer都设置了。但是完全不行。不知道他这个防采集是怎么做到的
怪人 大佬有话说 :
FDD 大佬有话说 : 2020-4-7 13:59
你家里是不是用了软路由?
你换到服务器上试试?或者朋友的电脑上试试? …
但其它站是可以采集!尝试http工具也能反回源代码