怪人 大佬有话说 :
某度白天疯狂爬站
新站，site 首页都没有。
晚上12点后就不怎么爬了。正常吗
wangjianjilei 大佬有话说 :
不一定是真百度，可能会伪装的，很羡慕你百度经常来
antbt 大佬有话说 :
看看域名历史做站情况呗
雪丫鬟 大佬有话说 :
那就屏蔽掉蜘蛛
ip4 大佬有话说 :
被采了？:D
steptodream1 大佬有话说 :
有的垃圾蜘蛛根本无视robots.txt 禁止了 别的没了 他还爬
citywar 大佬有话说 :
爬还不好吗。只怕它不来
testuserll 大佬有话说 :
采集站伪装的吧。
怪人 大佬有话说 :
wangjianjilei 大佬有话说 : 2021-9-6 09:59
不一定是真百度，可能会伪装的，很羡慕你百度经常来
IP发址也伪装？220.181.108.*