hins 大佬有话说 :
这个华为蜘蛛 每天大量的来爬我网站 简直就是cc我一样
Mozilla/5.0 (Linux; Android 7.0;) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; PetalBot;+https://webmaster.petalsearch.com/site/petalbot)
这个华为蜘蛛 每天大量的来爬我网站 简直就是cc我一样，搞的cpu一直100%，太无耻了啊。你们有没有这种情况
论坛大师 大佬有话说 :
阻止垃圾爬虫
if ($http_user_agent ~ (360Spider|360spider|AspiegelBot|Aspiegelbot|BaiduSpider|Baiduspider|ByteSpider|Bytespider|SogouSpider|Sogouspider|YisouSpider|Yisouspider|YoudaoBot|Youdaobot)) {
return 403;
}https://cdn.jsdelivr.net/gh/master-of-forums/master-of-forums/public/images/patch.gif
上帝也疯狂 大佬有话说 :
哈哈。太正常了。我也是。天天有人挂的cf的IP，来扫我网站，就想着我网站备份在根目录然后下载下来哈哈。。痴心妄想。