怪人 大佬有话说 :
禁用GOOGLE爬虫这样正确么?
User-agent: Googlebot
Disallow: /
是不是这样就可以了
h2o 大佬有话说 :
正规的爬虫会读取robots.txt的
luceos 大佬有话说 :
本帖最后由 luceos 于 2020-3-3 14:22 编辑
if ($http_user_agent ~* "Googlebot") { return 403; }
这样是不是更彻底啊,判断UA中有Googlebot 直接返回403
蝼蚁般的存在 大佬有话说 :
可以,不过你把其它搜索放哪了?