有没有什么方便的网页抓取工具

資深大佬 : shaoyijiong 7

现在有个需求, 需要把类似的如下两个外部链接转化成公司域名的短链接, 并且加入埋点消息, 现在都是前端手动转,但是页面太多, 人工太浪费时间, 有没有方便的工具来直接转成 html 页面

https://csydtg.1tk7z.com/r/ee/21066.html

https://csydtg.1tk7z.com/s/11/3148/52fd0.html?uid=9160000000810

请忽视页面内容,合作方没办法

大佬有話說 (7)

主資深大佬 : shaoyijiong

最好能够输入链接自动跑成 html 的那种
資深大佬 : lllllliu

。。写个爬虫哦。或者右键另存（ w
資深大佬 : locoz

单纯保存页面 HTML 的话，可以直接用八爪鱼之类的傻瓜式爬虫工具或者 fdm 之类的下载器解决。

但是你们这个需求有点奇怪啊，为啥不直接做个跳转页，然后在跳转页里面加上埋点？反正你们都要弄短链接了。
主資深大佬 : shaoyijiong

@locoz 如果只监听点击是可以 , 但是页面里面有下载链接要获取下载数据量
資深大佬 : siknet

没听懂，需要下载页面后加入内容然后上传到自己服务器上？
資深大佬 : locoz

@shaoyijiong #4 那直接用 Nginx 做个反代，然后往里插埋点？反正你们都要存别人页面下来了。
資深大佬 : locoz

@shaoyijiong #4 用 ngx_http_substitutions_filter_module 提供的功能可以做到修改原页面中特定内容的效果，可以直接把下载链接那部分给加上埋点。