夏渔 大佬有话说 : 2020-3-23 20:07:59
请教一下火车头采集的问题
本帖最后由 夏渔 于 2020-3-23 20:28 编辑
采集的是这个网站
可能是我表达错误，不是列表页，是文章分页没法采，比如https://www.xgmn.org/Xiuren/Xiuren13413_2.html
分页规则设置了，数据来源也设置分页源码了，循环匹配也设置，还是没法采集分页内容yc002t
https://i.imgur.com/nlfD2xH.png
https://i.imgur.com/mhCCYhc.png
有大佬帮我看一下怎么弄吗yc005t
一个不知名网友 大佬有话说 : 2020-3-23 20:14:23
这就涉及到了我的知识盲区
bluevm 大佬有话说 : 2020-3-23 20:18:09
没用过工具，只是这种我一般都FOR循环
https://www.xgmn.org/Xiuren/page_变量+1.html
英梨梨 大佬有话说 : 2020-3-23 20:24:40
https://ae01.alicdn.com/kf/H96d5dccf47834eaf837d1fbc31b501afX.jpg
https://ae01.alicdn.com/kf/H701cab1c2881472eb319229a299d12140.jpg
夏渔 大佬有话说 : 2020-3-23 20:25:14
本帖最后由 夏渔 于 2020-3-23 20:26 编辑
bluevm 大佬有话说 : 2020-3-23 20:18
没用过工具，只是这种我一般都FOR循环
https://www.xgmn.org/Xiuren/page_变量+1.html …
不是列表页，是文章分页没法采，比如https://www.xgmn.org/Xiuren/Xiuren13413_2.html
夏渔 大佬有话说 : 2020-3-23 20:28:07
英梨梨 大佬有话说 : 2020-3-23 20:24
可能是我表达错误，不是列表页，是文章分页没法采，比如https://www.xgmn.org/Xiuren/Xiuren13413_2.html
bluevm 大佬有话说 : 2020-3-23 20:28:20
夏渔 大佬有话说 : 2020-3-23 20:25
不是列表页，是文章分页没法采，比如https://www.xgmn.org/Xiuren/Xiuren13413_2.html …
一样的道理啊
FOR循环
https://www.xgmn.org/Xiuren/Xiuren13413_变量.html
简单点的话遇到404 之类的 就是最后了
或者第一页的时候匹配出来最后一页的页码ID
木易酱 大佬有话说 : 2020-3-23 22:13:36
9.x分页采集有问题，
返回200状态码，就是获取不到内容。
换8.x就好了
luceos 大佬有话说 : 2020-3-23 22:16:09
今天看到两则说pyone因为采集被抓了？
夏渔 大佬有话说 : 2020-3-23 22:40:38
木易酱 大佬有话说 : 2020-3-23 22:13
9.x分页采集有问题，
返回200状态码，就是获取不到内容。
谢谢大佬了