跳至主要內容
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?

4563博客

全新的繁體中文 WordPress 網站
  • 首頁
  • 有没有什么方便的网页抓取工具
未分類
24 11 月 2020

有没有什么方便的网页抓取工具

有没有什么方便的网页抓取工具

資深大佬 : shaoyijiong 7

现在有个需求, 需要把类似的如下两个外部链接转化成公司域名的短链接, 并且加入埋点消息, 现在都是前端手动转,但是页面太多, 人工太浪费时间, 有没有方便的工具来直接转成 html 页面

https://csydtg.1tk7z.com/r/ee/21066.html

https://csydtg.1tk7z.com/s/11/3148/52fd0.html?uid=9160000000810

请忽视页面内容,合作方没办法

大佬有話說 (7)

  • 主 資深大佬 : shaoyijiong

    最好能够输入链接自动跑成 html 的那种

  • 資深大佬 : lllllliu

    。。写个爬虫哦。或者右键另存( w

  • 資深大佬 : locoz

    单纯保存页面 HTML 的话,可以直接用八爪鱼之类的傻瓜式爬虫工具或者 fdm 之类的下载器解决。

    但是你们这个需求有点奇怪啊,为啥不直接做个跳转页,然后在跳转页里面加上埋点?反正你们都要弄短链接了。

  • 主 資深大佬 : shaoyijiong

    @locoz 如果只监听点击是可以 , 但是页面里面有下载链接 要获取下载数据量

  • 資深大佬 : siknet

    没听懂,需要下载页面后加入内容然后上传到自己服务器上?

  • 資深大佬 : locoz

    @shaoyijiong #4 那直接用 Nginx 做个反代,然后往里插埋点?反正你们都要存别人页面下来了。

  • 資深大佬 : locoz

    @shaoyijiong #4 用 ngx_http_substitutions_filter_module 提供的功能可以做到修改原页面中特定内容的效果,可以直接把下载链接那部分给加上埋点。

文章導覽

上一篇文章
下一篇文章

AD

其他操作

  • 登入
  • 訂閱網站內容的資訊提供
  • 訂閱留言的資訊提供
  • WordPress.org 台灣繁體中文

51la

4563博客

全新的繁體中文 WordPress 網站
返回頂端
本站採用 WordPress 建置 | 佈景主題採用 GretaThemes 所設計的 Memory
4563博客
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?
在這裡新增小工具