buyabag 大佬有话说 :
怎么降低cloudflare的抓取频率？
最近服务器的磁盘io一直100%，队列高达10左右，分析日志ip后发现是cf一直在爬取，可能是自动缓存。
这本来是个好功能，可现在爬取的频率太高了，硬盘先要撑不住了。
请教各位d大的，有什么设置之类的可以控制下cloudflare的抓取频率吗？
https://s3.bmp.ovh/imgs/2021/10/4559066a5d54d0b5.jpg
周润发 大佬有话说 :
不是CF CF又不是搜索引擎 是别人通过CF 访问的 大概率是谷歌干的
CodyDoby 大佬有话说 :
之前谷歌的爬虫也很烦，只好换服务器
小尾巴翘起来
buyabag 大佬有话说 :
周润发 大佬有话说 : 2021-10-10 10:28
不是CF CF又不是搜索引擎 是别人通过CF 访问的 大概率是谷歌干的
点醒了我，应该去cf里面查访问
hxuf 大佬有话说 :
很可能是伪装成CF的采集
乌拉擦 大佬有话说 :
十有**是爬虫
junhan 大佬有话说 :
多半是其他爬虫，看日志，没用的垃圾爬虫就禁止了吧