菠菜 大佬有话说 :
网站被Google爬虫爬死了怎么办
hz杜甫，Rust+actix+PostgreSQL写的采集站，Google的爬虫太强壮了，网站一开CPU就100%，看IP确实是Google的
限访问频率会不会掉排名
菠菜 大佬有话说 :
BQQ 大佬有话说 : 2021-9-6 11:40
robot.txt封杀了算了。谷歌来不了几个量。
我面向国外的网站屏蔽Google还做什么
Marlene 大佬有话说 :
冒充爬虫cc吧
随便一个网站就被爬虫爬死 网站还开不开了
iiii.im 大佬有话说 :
杜甫被爬到100%？不太可能。应该是被cc了
麻辣烤冷面 大佬有话说 :
好事儿
生配置吧
明日香 大佬有话说 :
之前我也有个采集站 Google 也是疯狂来，上线一个月收录达到 130 万。
后来它发现是采集的就疯狂掉，现在收录就 1000 左右了。
lijihede 大佬有话说 :
连爬虫都应付不了的毒服，还不如一只小鸡:lol
аdmin 大佬有话说 :
Kangle 缓存全部
sunete 大佬有话说 :
还不如我的小小鸡
雪丫鬟 大佬有话说 :
你的独服，还真不如我的小鸡
BQQ 大佬有话说 :
robot.txt封杀了算了。谷歌来不了几个量。