利用 Cloudflare Worker 撸了一个在线爬虫，有需要的朋友可以看看。

• 資深大佬 : kidlj

  很棒。有一个问题想问，serverless 架构每个运行的实例出口 IP 是一样的吗？如果每次不一样，那可太适合爬虫了，不过我猜可能性不大。

• 資深大佬 : vagrantear

  已经 star 了，感觉还不戳

• 主 資深大佬 : sedgwickz

  @kidlj 这正是利用 worker 的原因，还在实验中。。。

• 主 資深大佬 : sedgwickz

  @kidlj 即使一个同一个 worker 是固定 ip，可以想像要是创建 N 个 worker，实现类似 Load balance 效果，比市面上免费的代理 ip 应该好多了。

• 資深大佬 : WordTian

  不过这类要封也容易，cf 有固定 ip 段的

• 主 資深大佬 : sedgwickz

  @WordTian 其实项目初衷也不是让大家去大规模去爬取哈，主要帮助大家开发，类似方便快捷的获取 jsonplaceholder 的效果。

• 資深大佬 : echowuhao

  你要是拿来做爬虫，估计违反人家的用户条款。

• 資深大佬 : lizheming

  https://vercel.com/docs/platform/fair-use-policy#never-fair-use Vercel 协议里禁止放爬虫的说
• 資深大佬 : jinliming2

  爬取网页的话，会自动把网页中的 http 链接替换成 https，这是 worker 自动搞得

• 資深大佬 : no1xsyzy

  之前就听人说过了，而且对于爬套了 CF 的网站有奇效，能绕过 CF 的质询（白名单

• 資深大佬 : Juszoe

  @no1xsyzy 哈哈，用 CF 对付 CF 可还行

• 資深大佬 : musi

  @no1xsyzy 这就是用魔法打败魔法么

• 資深大佬 : dzyou2007

  @lizheming 应该只是拿 vercel 作为 cdn

• 資深大佬 : sampeng

  serveless 迟早被玩坏…

• 資深大佬 : mamahaha

  这配色真是用心良苦

• 資深大佬 : qfans67

  这 LOGO，好家伙

• 資深大佬 : vilic

  我感觉这个 HTML 到 JSON 的映射挺有意思啊，有考虑过单独做成一个库吗？

• 資深大佬 : netnr

  cfw 做代理没得问题，但是滥用被投诉就有问题(我前面的跨域代理绑定的域名已经被永封了)
  vercel 做代理会收到警告邮件要求整改

• 資深大佬 : AlexPUBLIC

  @no1xsyzy 我刚刚去看了一眼我的网站访问记录，cf 的 firewall rule 对 cf 的 ip 免疫

• 資深大佬 : fuxkcsdn

  cf worker 根据 UA 就封得了了，UA 改不了我记得（刚出来那会测试的）