未分類
2 5 月 2020

有大神研究过 36kr 的视频栏目接口吗？

有大神研究过 36kr 的视频栏目接口吗？

資深大佬 : zhengfan2016 11

这个接口也是没找到和 page 有关的参数，我大概猜和 pagecallback 有关 有大神研究过 36kr 的视频栏目接口吗？ 于是我从 36kr 的 html 里抓出 pagecallback 的值，加进 post 请求，header 只加了 ua 有大神研究过 36kr 的视频栏目接口吗？ 然后，接口提示我没加 contenttype，我大喜，离成功仅一步之遥，把 contenttype 加上，却没有返回我想要的东西， 然后，我把 header 能加的都加了，还是不行，就返回一个 tomcat 的网页 有大神研究过 36kr 的视频栏目接口吗？ 求大神指点一二

大佬有話說 (6)

  • 資深大佬 : hlwjia

    你这是要爬遍中文科技媒体

    pingwest, ifanr 下周预告

  • 主 資深大佬 : zhengfan2016

    @hlwjia

  • 資深大佬 : V2tizen

    data = json.dumps(d) 试试

  • 主 資深大佬 : zhengfan2016

    @V2tizen 卧槽，成功了，谢谢大神！

  • 資深大佬 : ClericPy

    pageCallback 是个 base64, 解码就明白什么规则了, 总体不是太复杂吧, 翻页就是通过这参数搞的

    {“firstId”:2918165,”lastId”:2916690,”firstCreateTime”:1588221046000,”lastCreateTime”:1588136451000}

    {“firstId”:2919576,”lastId”:2918231,”firstCreateTime”:1588413629000,”lastCreateTime”:1588224626000}

    怎么抓一个问一个… 如果不擅长 js 什么的, 不如考虑直接 Headless chrome 算了……

  • 資深大佬 : mousenonng

    请求类型是 application/json 的你要将 dict 转换为 json 对象在去请求,更方便的是 json=d 。如果是表单格式的就直接用 data=d,