FDD 大佬有话说 :
采集网站，如何快速去除网站里的404页面？
www.xxx.com/1.html
……
www.xxx.com/400000.html
火车头想采集一个站点，有40万个页面，但里面起码有一半的页面是404页面，直接火车头采集会浪费大量的时间。
请教各位大佬，有什么办法能快速的判断并筛选出正常的页面（非404的页面）？
lna 大佬有话说 :
本帖最后由 lna 于 2020-4-6 22:35 编辑
当我没说
一个不知名网友 大佬有话说 :
你会自己写程序就很简单，不会就很难了yc010t
FDD 大佬有话说 :
一个不知名网友 大佬有话说 : 2020-4-6 21:43
你会自己写程序就很简单，不会就很难了
就是不会写，所以问下LOC大佬有什么工具推荐没有！
skyboy0671 大佬有话说 :
不懂，帮顶。
我很想知道
1、你采集的站被百度收录了吗？如果收录了你，你采了还会收录你的吗？加入伪原创吗？怎么加的？
2、你的采集目标站如果没被百度收录 ，那么你是怎么找到的？？
wgetrc 大佬有话说 :
看看 404 页面有什么特征….
fuan 大佬有话说 :
在采集的时候跳过空白内容就行
FDD 大佬有话说 :
wgetrc 大佬有话说 : 2020-4-6 22:14
看看 404 页面有什么特征….
有特征，就是看有什么工具推荐没？
FDD 大佬有话说 :
fuan 大佬有话说 : 2020-4-6 22:27
在采集的时候跳过空白内容就行
采集至少得留间隔时间，例如间隔时间5s，那20万个404页面也就占了不少时间。
所以问下LOC的大佬，是否有什么工具能先判断筛选出来。
suwubee 大佬有话说 :
响应是404。。。正常响应是200，火车头我记得可以判断页头