icaai 大佬有话说 :
CF把百度都给墙了
100204 – Anomaly:Header:User-Agent – Fake Baidu Bot
站长页面抓取403············
iks 大佬有话说 :
本帖最后由 iks 于 2020-12-5 13:31 编辑
请不要做标题党。
「墙」是一个专用词，建议用用 block 或 ban
Fake baidu bot 指假的百度蜘蛛
百度蜘蛛的来源 IP 在 Cloudflare 那边有记录的，站长工具的百度蜘蛛行为特征和来源特征与实际蜘蛛不相同，容易被橄榄
Cloudflare WAF 不是是吃素的
MSN 大佬有话说 :
这是要做什么.png
lambert_cham 大佬有话说 :
哈哈,报复CDN业务因ZZ原因被分家~
icaai 大佬有话说 :
lambert_cham 大佬有话说 : 2020-12-5 13:08
哈哈,报复CDN业务因ZZ原因被分家~
哈哈哈哈，真假百度
hxuf 大佬有话说 :
因为百度启用了不少临时工蜘蛛。那些蜘蛛的IP并不能证明他自己是百度蜘蛛。所以CF直接拦截了。
icaai 大佬有话说 :
iks 大佬有话说 : 2020-12-5 13:05
请不要做标题党。
「墙」是一个专用词，你不会用 block 或 ban 吗？
用的百度站长工具的后台模拟抓取，不信自己去试试，先看明白
icaai 大佬有话说 :
hxuf 大佬有话说 : 2020-12-5 13:09
因为百度启用了不少临时工蜘蛛。那些蜘蛛的IP并不能证明他自己是百度蜘蛛。所以CF直接拦截了。 …
原来如此，CF应该不会那么不规范
iks 大佬有话说 :
本帖最后由 iks 于 2020-12-5 13:19 编辑
icaai 大佬有话说 : 2020-12-5 13:11
用的百度站长工具的后台模拟抓取，不信自己去试试，先看明白
百度站长工具不怎么符合规范(使用非常规IP和非常规行为等)，站长工具抓的和正式bot的特征有些不一样，在 cloudflare 系统里的 riskLevel 更高
(可能言辞太激烈没讲清，不好意思)
micto 大佬有话说 :
icaai 大佬有话说 : 2020-12-5 13:14
原来如此，CF应该不会那么不规范
大概率会成功的
https://s3.jpg.cm/2020/12/05/E1zJX.jpg