guoaibing 大佬有话说 : 2020-1-2 11:58:54
robots.txt对百度无效了吗
前几天开始疯狂收录禁止的内容
然后在meta标签也加上了屏蔽，感觉有点用了
md，刚刚发现又开始收录了，大佬们有这情况吗？
edgeNAT 大佬有话说 : 2020-1-2 12:07:02
robots本来就只是个公约性质的东西，掰不断蜘蛛的腿
hehe 大佬有话说 : 2020-1-2 12:08:52
Nginx
# Bad Spider
if ($http_user_agent ~ (360|baidu|Baidu|sogou|Sogou)) {
return 404;
}
移动 大佬有话说 : 2020-1-2 12:08:46
好比你贴上【禁止吸烟】的标志就能魔法控制住别人的打火机了吗？
不念 大佬有话说 : 2020-1-2 12:08:50
有用的，不过需要1-2个月见效。
并且还有很多打着百度ua旗号的采集程序，对这个就没有用了
edgeNAT 大佬有话说 : 2020-1-2 12:09:17
给蜘蛛搞进死循环应该有用
guoaibing 大佬有话说 : 2020-1-2 12:19:12
hehe 大佬有话说 : 2020-1-2 12:08
Nginx
多谢大佬指点准备直接404了
guoaibing 大佬有话说 : 2020-1-2 12:22:54
不念 大佬有话说 : 2020-1-2 12:08
有用的，不过需要1-2个月见效。
并且还有很多打着百度ua旗号的采集程序，对这个就没有用了 …
robots.txt一直是禁止的就前几天开始破防收录、而且还有排名:Q 已经给它返回404了。。。
爱吃醋的醋醋 大佬有话说 : 2020-1-2 12:37:37
guoaibing 大佬有话说 : 2020-1-2 12:22
robots.txt一直是禁止的就前几天开始破防收录、而且还有排名 已经给它返回404了。。。 …
大佬做的灰黑产吧，这么怕蜘蛛
gougou6423 大佬有话说 : 2020-1-2 12:38:58
ua有百度的不一定是蜘蛛，还可能是别人的爬虫:lol:lol