未分類 16 12 月 2020 小白请教抓取网页,预期 404 或者 2M 内的网页,但是突然遇到 300M 的文件,怎么在全部下载完之前识别到? 小白请教抓取网页,预期 404 或者 2M 内的网页,但是突然遇到 300M 的文件,怎么在全部下载完之前识别到? 資深大佬 : pinews 8 curl 试了好像暂时没找到办法! 大佬有話說 (4) 資深大佬 : ysc3839 你是用 shell 脚本调用 curl 吗?用 –max-filesize 参数。 主 資深大佬 : pinews php_curl 谢谢,我试试! 資深大佬 : ClericPy 流式读写? 开始读之前先像上说的 Headers 里面看看 content-length 具体什么场景没描述, 就随便回复了下 資深大佬 : napsterwu curl -X HEAD