amo 大佬有话说 :
大佬们来指导下百度抓取问题。。
页面
https://www.11111111111111111.com/mspace/index.php?mid=111(抓取成功)
https://www.11111111111111111.com/mspace/index.php?mid=111&a=1(抓取失败)
失败的http头
HTTP/1.1 403 Forbidden
Date: Tue, 09 Jun 2020 07:21:55 GMT
Content-Type: text/html;charset=gbk
Transfer-Encoding: chunked
Connection: close
Server: nginx
Vary: Accept-Encoding
Set-Cookie: PHPSESSID=1r7v9rsi2c3ctfgh601nmiovv4; path=/
Expires: Thu, 19 Nov 1981 08:52:00 GMT
Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0
Pragma: no-cache
两个链接都可以正常打开,curl也没有问题,状态都是200,之前还以为是服务器问题,服务器重装了系统,安装的宝塔面板;以为是百度云加速问题,关闭了加速,也不行。。。。实在不知道什么问题了,,大佬们给想想看还有什么可能这样、、、
maro666 大佬有话说 :
你看下你那个链接的http状态