ieevip 大佬有话说 :
20块钱求写一段代码
本帖最后由 ieevip 于 2020-4-26 10:24 编辑
环境:宝塔 nginx
禁止蜘蛛抓取某个目录或者动态链接
下面这段代码是完全屏蔽百度的 返回404
if ($http_user_agent ~* baiduspider){
return 404;
}
我想要的代码是 就是禁止百度抓取某个页面并返回404
例如 禁止百度抓取 /123/ 当蜘蛛访问这个目录则返回404
还有就是链接为/?cid=后面随机数字抓取动态链接都返回404不影响正常用户访问 应该懂我的意思
求大佬写代码 写好后 给你20块钱红包!对于我这种小白,也只能求助大佬了。
wwww961h 大佬有话说 :
012 大佬有话说 : 2020-4-26 10:33
直接写到robot行不行。。
robot完全阻止不了百度蜘蛛,不信你试试
ieevip 大佬有话说 :
写好后 发代码 我会私信加你QQ 然后给你发红包
师太 大佬有话说 :
htaccess
ieevip 大佬有话说 :
师太 大佬有话说 : 2020-4-26 10:27
htaccess
不会开启htaccess nginx里可以实现 但是不会写代码
ieevip 大佬有话说 :
没人会吗
xyk 大佬有话说 :
套cf有这个功能
012 大佬有话说 :
直接写到robot行不行。。
ieevip 大佬有话说 :
012 大佬有话说 : 2020-4-26 10:33
直接写到robot行不行。。
你以为他们会遵守这个协议?
012 大佬有话说 :
本帖最后由 012 于 2020-4-26 11:02 编辑
ieevip 大佬有话说 : 2020-4-26 10:34
你以为他们会遵守这个协议?
yc009t在我眼中百度多么清纯。。
我去看看nginx
这样?
location /(你要屏蔽的path) url {
if ($http_user_agent ~* baiduspider){
return 404;
}
}
location ~ /cid?={
if ($http_user_agenr ~* baiduspider){
return 404;
}
}
加到nginx.conf里面
(肯定是可以合并的,但是咱不是做后端的不会玩nginx。。)