魔鬼筋肉人 大佬有话说 : 2020-3-22 22:23:40
垃圾爬虫为啥禁止不了？
我明明添加了
User-agent: panscient.com
Disallow: /
User-agent: *
Crawl-delay: 100
web日志里还是会有访问
https://ae01.alicdn.com/kf/Hb18dbddfd2b34f4cbef0c84f524815a1G.png
hasamol7468 大佬有话说 : 2020-3-22 22:24:08
:lol 这种直接UA屏蔽吧
h20 大佬有话说 : 2020-3-22 22:26:55
这不都是规矩的robot.txt吗？守规矩的人遇到不讲理的也是白搭
雪丫鬟 大佬有话说 : 2020-3-22 22:27:34
让他爬呗，这个有啥
nicestill 大佬有话说 : 2020-3-22 22:29:31
你那个只是口头声明告诉他 不要爬。但是他可以不遵守规则继续爬
你得拉黑他 IP 或者禁 UA
杀猪的 大佬有话说 : 2020-3-22 22:32:40
雪丫鬟 大佬有话说 : 2020-3-22 22:27
让他爬呗，这个有啥
你的站可真够卡的，刷新+一分多才打开内容页，电信
雪丫鬟 大佬有话说 : 2020-3-22 22:34:21
杀猪的 大佬有话说 : 2020-3-22 22:32
你的站可真够卡的，刷新+一分多才打开内容页，电信
要的就是这效果。反正就是挂个样子。域名不能空着。
不过没那么夸张吧，买的老鹰的虚拟主机。我开了listspeed
杀猪的 大佬有话说 : 2020-3-22 22:39:17
雪丫鬟 大佬有话说 : 2020-3-22 22:34
要的就是这效果。反正就是挂个样子。域名不能空着。
不过没那么夸张吧，买的老鹰的虚拟主机。我开了lists …
怀疑你是不是用的1元一年的空间，进入内容页一分多，返回首页几十秒，再次进入内容页最少一分多，整站图片加载更别提了
aweihaitun 大佬有话说 : 2020-3-22 22:40:08
有爬虫不好么
雪丫鬟 大佬有话说 : 2020-3-22 22:40:56
杀猪的 大佬有话说 : 2020-3-22 22:39
怀疑你是不是用的1元一年的空间，进入内容页一分多，返回首页几十秒，再次进入内容页最少一分多，整站图 …
没有。是老鹰主机的虚拟主机。原来体验那么差，我自己访问还行。