未分類
12 7 月 2020

请问如何排查是域名解析问题还是服务器连接的问题

请问如何排查是域名解析问题还是服务器连接的问题

資深大佬 : Phishion 34

我有一个爬虫，大概每 1 个小时就往服务器提交一次数据（少量数据），近期发现少数情况下竟然会出现长达一分钟以上无法连接的报错（每隔几秒钟重试）：

HTTPConnectionPool(host=’xxx.xxx.com’, port=80): Read timed out. (read timeout=10)

我服务器是腾讯云 HK 机房，爬虫在内地的廉价华为云，大概 ping 一次 50 多 ms，目前 ping 了十几分钟没有出现丢包，服务器域名托管在 Godaddy，默认配置，域名 TTL 1 小时

请问有何良策排查这个问题？

大佬有話說 (6)

  • 資深大佬 : ohao

    这个很大可能是网络问题

    就是 华为 <=> 腾讯 服务器之间出现网络通信的问题

    和解析关系不大 解析一般都会被 cache 的

  • 資深大佬 : ieric

    域名哪里解析都差不多
    服务固定 IP 更不担心

    国内 Vps 限制 Out 带宽
    上传就是 out
    几 M 都慢
    再大陆外服务器
    想稳定真难

  • 資深大佬 : superrichman

    直接把请求域名改 ip 来测不就行了。

  • 主 資深大佬 : Phishion

    @ohao 如果是网络问题，那这个是我自己能修的范围么？或者我有什么方法能进一步缩减范围好提交工单？

  • 資深大佬 : ohao

    @Phishion 没用
    这个问题无解，你只能做 retry 的规则 网络异常加入队列通知，待恢复在重新 POST data

    因为这个不一定是华为或者腾讯能控制的 涉及上游 ISP

    你可以在华为机器 运行 mtr 腾讯 IP
    看路由走向 其中的任意一个切换或者维护 都会出现间歇性问题

    所以网络保证 大部分 都是 99.99%稳定性 大部分 SLA 非 100%

  • 主 資深大佬 : Phishion

    @ohao 感谢您专业的回复，谢谢