皮卡丘 大佬有话说 :
谷歌蜘蛛是最有意思的蜘蛛！
robots真的是秒更新的？
前几天设置屏蔽后真的当天就不爬了，昨天下午取消屏蔽了，今天看日志一堆谷歌蜘蛛来爬。
让他爬吧，直接当预缓存了。
a5582323 大佬有话说 :
什么叫秒更新？robots.txt就像个君子协议，来你家先敲门，你贴了请勿打扰肯定就走了，强行撬门的是土匪
/**
* 有些坚持，经不起一点点希望
* 哪怕是一点光亮，也会让人陷入痛苦。——《撒野》
*/
Gin_Node 大佬有话说 :
a5582323 大佬有话说 : 2021-5-12 09:52
什么叫秒更新？robots.txt就像个君子协议，来你家先敲门，你贴了请勿打扰肯定就走了，强行撬门的是土匪
土匪这个形容好