跳至主要內容
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?

4563博客

全新的繁體中文 WordPress 網站
  • 首頁
  • 爬虫遇到 IP 的问题,住宅 IP 可以爬取到想要的结果,但是代理或服务器 IP 就会被 302 如何解决?
未分類
30 11 月 2020

爬虫遇到 IP 的问题,住宅 IP 可以爬取到想要的结果,但是代理或服务器 IP 就会被 302 如何解决?

爬虫遇到 IP 的问题,住宅 IP 可以爬取到想要的结果,但是代理或服务器 IP 就会被 302 如何解决?

資深大佬 : respect11 3

代码确定没问题

在自己电脑上可以爬取到指定内容,但是在服务器上运行就会被 302.

找了多家的代理 IP 都会被拦截,有什么好的解决办法吗?

有想过让自己的电脑当代理服务器…但是没有一个好的实现思路

大佬有話說 (6)

  • 資深大佬 : s609926202

    直接服务器 curl 试试,可能是 cookie 或者其他参数

  • 主 資深大佬 : respect11

    @s609926202 #1 服务器直接 curl 会被 302,然后在本地电脑 curl 没问题。。

  • 資深大佬 : JCZ2MkKb5S8ZX9pq

    猜猜
    对方有云防护,ip 池全中。
    代理服务器转发加了东西。

    另外自家电脑当代理,为啥不直接用自家电脑爬算了。

  • 資深大佬 : JCZ2MkKb5S8ZX9pq

    另外如果对方防护等级高的话,你直接看看用家里电脑高频请求试试,没准自家 ip 也很快废了。也就不用折腾这条路了。

  • 資深大佬 : opengps

    回复这个帖子先确定你只是为了自己研究使用为前提,免得造成教人面向监狱编程的事实。

    对方服务器既然做了各大机房、甚至各种代理 ip 的封禁,那么说明对于反爬虫的目的极其强烈,建议慎重,甚至放弃。

    如果个人确实有需要,那么可以用笔记本下的 4G 网络热点,不断重启热点网络连接方式来变更下当前出口 ip

  • 主 資深大佬 : respect11

    @opengps #5
    @JCZ2MkKb5S8ZX9pq #4 感谢回复。研究所用,如果开放。会导致自己的付费账户被封禁,所以不会开放使用,均为自用。(新手爬虫,练手)

    目前有其他开放的类似平台是可以获取到的

文章導覽

上一篇文章
下一篇文章

AD

其他操作

  • 登入
  • 訂閱網站內容的資訊提供
  • 訂閱留言的資訊提供
  • WordPress.org 台灣繁體中文

51la

4563博客

全新的繁體中文 WordPress 網站
返回頂端
本站採用 WordPress 建置 | 佈景主題採用 GretaThemes 所設計的 Memory
4563博客
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?
在這裡新增小工具