未分類
14 2 月 2021

为什么抓不到 scrapy 的包

为什么抓不到 scrapy 的包

資深大佬 : tuoov 2

开着 fiddler 干别的事情，一段时间后发现完全没有爬虫程序的记录。 程序和 fiddler 都在正常工作，用的是最新的 fiddler everywhere，开了捕获 https 请求。 请知道的大佬解释下原因

大佬有話說 (6)

  • 資深大佬 : julyclyde

    fiddler 是个代理服务器

  • 資深大佬 : Itoktsnhc

    fiddle 只能抓到使用系统配置代理的程序的请求 手动设置一下试试？

  • 資深大佬 : smart9527

    fiddler 是个代理服务器, scrapy 要设置代理

  • 資深大佬 : woyao396

    https://docs.scrapy.org/en/latest/topics/downloader-middleware.html#scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware

    原因就是 1&2

    设置环境变量 http_proxy 及 https_proxy 为 fiddler 代理服务器的地址

    linx

    “`sh
    #host 为 fiddler 所在 IP,8888 是 fiddler 默认端口号 如：
    export http_proxy=http://localhost:8888
    export https_proxy=http://localhost:8888
    “`

    windows

    “`sh
    set http_proxy=http://localhost:8888
    set https_proxy=http://localhost:8888
    “`

  • 主 資深大佬 : tuoov

    感谢各位

  • 資深大佬 : ch2

    fiddler 只能抓到对局域网代理生效的程序的包