Tcp80 大佬有话说 : 2020-1-15 22:26:53
robots不管用？
妈的写了禁止百度还特么爬我网站，收录也还在，咋整
https://sw1.fastimg.cn/img/2020/01/15/image.png
njav 大佬有话说 : 2020-1-15 22:27:39
robots沒鳥用的….禁google
但一直在爬
Tcp80 大佬有话说 : 2020-1-15 22:29:40
njav 大佬有话说 : 2020-1-15 22:27
robots沒鳥用的….禁google
但一直在爬
看样得要ngxin配置文件禁蜘蛛了
寒夜方舟 大佬有话说 : 2020-1-16 05:39:17
怕你站不一定真的是本地谷歌的蜘蛛，渗透模拟蜘蛛是基础
swsh007 大佬有话说 : 2020-1-16 09:12:33
国内老几位对robots嗤之以鼻
你都发布了为啥不许看
都是这思维