你说的都对 大佬有话说 :
采集一个网站1亿条数据
本帖最后由 你说的都对 于 2020-5-30 15:01 编辑
采集一个网站1亿条数据，开火车头采的话，3线程一天大概能采不到30W，1年大概能采完。
但是一般不到一天就被封IP了。
如果采用代理IP的话，1年的费用会很高
而且总得不停的手动获取代理ip，导入到火车采集器，验证。
有没有更好的火车头能用的方案？
h20 大佬有话说 :
直接给钱dump吧
pufengzai0 大佬有话说 :
有更好的方案，前提是不用火车头。
总有刁民想害朕 大佬有话说 :
直接收购
pufengzai0 大佬有话说 :
纯文字内容还是还有图片文件之类的？想试试。
1767196823 大佬有话说 :
你要不那你那个采集的站点收购了