baiyangz1 大佬有话说 : 1 小时前
火车头有没有办法采集这类网站，求解
本帖最后由 baiyangz1 于 2020-10-30 14:55 编辑
https://www.xuexila.com/fwn/ziwojieshaomianshi/
列表页只有1页，第二页就做了隐藏，
只能在https://www.xuexila.com/fwn/ziwojieshaomianshi/c528661.html文章中的“下一篇”能够找到url
这种模式怎么用火车头爬到所有文章URL呢，有大佬指点一下吗？
解决方法：内容页循环提取分页URL，然后导出来再操作。
沙比网站，还设置了反采集时间间隔，老子非要日穿它
lanying 大佬有话说 : 1 小时前
循环采 下一页 试试
baiyangz1 大佬有话说 : 1 小时前
lanying 大佬有话说 : 2020-10-30 14:40
循环采 下一页 试试
好像是可以这样搞，我试试
hxuf 大佬有话说 : 1 小时前
要是我就全部抓取html。为什么一定要按顺序来。入库不就好了。
baiyangz1 大佬有话说 : 1 小时前
hxuf 大佬有话说 : 2020-10-30 14:42
要是我就全部抓取html。为什么一定要按顺序来。入库不就好了。
问题是怎么抓，没有索引页给你抓啊，而且这是分专题的，很难搞。