唐王李世民 大佬有话说 :
PHP无法获取网页源码的问题
本帖最后由 唐王李世民 于 2021-7-7 20:15 编辑
今日头条网页，使用PHP无法读取它的源码，使用curl会返回error几个字符，而使用 file_get_contents直接返回空，模拟浏览器post和get的方法都试过了，直接返回空白或错误。
应该如何获取呢？谢谢大家了。
例如地址：https://www.ixigua.com/6981346230844686862
https://www.gejiba.com/view.php/7b07a76a40870ee617bf56837ad19ab4.png
https://www.gejiba.com/view.php/96797c2f286ebe0293d25acafce6d957.png
https://www.gejiba.com/view.php/1334387405abb3e186b3180e82745847.png
唐王李世民 大佬有话说 :
在本地使用浏览器的另存为，可以下载完整的源码，但是在服务器上用PHP来读取却总是出错。
dollck 大佬有话说 :
有些网页是先加载网页框架 然后 在通过js 来加载实际内容的
唐王李世民 大佬有话说 :
dollck 大佬有话说 : 2021-7-7 19:46
有些网页是先加载网页框架 然后 在通过js 来加载实际内容的
那应该如何获取内容呢？谢谢了
yjsx86 大佬有话说 :
你能说说你是怎么模拟浏览器的post和get么?
file_get_contents直接返回空 状态码是多少? 返回的response header中有什么内容?
alk19t 大佬有话说 :
给个目标url 看看
gdtv 大佬有话说 :
模拟 user agent了吗？
解憂雜貨店 大佬有话说 :
php发送请求的时候把 request headers 参数和浏览器一模一样提交过去。
唐王李世民 大佬有话说 :
yjsx86 大佬有话说 : 2021-7-7 20:01
你能说说你是怎么模拟浏览器的post和get么?
file_get_contents直接返回空 状态码是多少? 返回的response he …
没留意返回状态码，网页上返回error几个字母或者空白，调试了几个UA，都是返回301，header我截图发原文中，谢谢您了。
唐王李世民 大佬有话说 :
alk19t 大佬有话说 : 2021-7-7 20:03
给个目标url 看看
地址已发1楼，谢谢您了