未分類
8 2 月 2021

谷歌的爬虫有点厉害啊

谷歌的爬虫有点厉害啊

資深大佬 : tubowen 3

昨晚看到一个哥们在火车上听别人讨论几个亿的项目 今天想再看一下， 但是只记得标题里面有火车 回家的关键词 就用百度搜索了一下，结果没搜到 https://imgchr.com/i/yJxlk9

用谷歌搜索了一下却搜到了 https://imgchr.com/i/yJxR0g

谷歌爬虫的收录速度这么快的嘛，一天前的帖子就收录了 https://imgchr.com/i/yJzCjK

大佬有話說 (17)

  • 資深大佬 : eason1874

    一天前已经久了，我经常搜到几十分钟前的

  • 資深大佬 : ronman

    V 站权重挺高的，十多分钟的帖子我都搜到过（可能刚好爬了一番

  • 資深大佬 : superrichman

    你发的这贴子已经被谷歌收录了

  • 資深大佬 : also24

    许多网站会做相应的优化，主动提交的。（不过确定 V2 是否做了）

    http://www.google.com.hk/intl/zh-CN/submit_content.html

  • 主 資深大佬 : tubowen

    @ronman 还真是，我这个帖子发表之后也马上能搜索到

  • 資深大佬 : also24

    typo: 不过不确定 V2 是否做了

  • 資深大佬 : ShinichiYao

    你还没体验过当年 Google 和 Twitter 合作的即时搜索，输入关键词然后就等着看下面搜索结果像自来水一样实时刷新出来

  • 資深大佬 : S179276SP

    duckduckgo 也很厉害，搜索结果一样。

    https://duckduckgo.com/?q=site%3Av2ex.com+%E5%9B%9E%E5%AE%B6+%E7%81%AB%E8%BD%A6&ia=web

  • 資深大佬 : S179276SP

    你的帖子也被 duckduckgo 趴到了
    https://duckduckgo.com/?q=site%3Av2ex.com+%E8%B0%B7%E6%AD%8C%E7%9A%84%E7%88%AC%E8%99%AB&ia=web

  • 資深大佬 : cnrting

    流量大点的站基本是秒收

  • 資深大佬 : Arthur5

    我可是经常用 google 的快照来看被冲水的帖子，google 的爬虫比某些网站的管理员手都快

  • 資深大佬 : Jooooooooo

    v2 在 google 权重很高

    基本发帖很快就能收录

  • 資深大佬 : Tink

    v 站一般是十五分钟

  • 資深大佬 : jjplay

    V 站高权重，实时都是大几千人在线，页面嵌入的是 google analytics，so …

  • 資深大佬 : systemcall

    v2ex 嵌入了 google analytics 可能是原因之一。其实 bing 也爬的快而且权重非常高
    v2ex 有 api 可以获取到最新的主题和回复，应该是隔几分钟查询一下 API，发现新帖子和回复再来爬

  • 資深大佬 : memeda

    08 年时百度 Google 就都做到了啊，权重高的站更新速度都很快的

  • 資深大佬 : zeni123

    google chrome 上面有个选项是默认打开的， 那就是 “预加载网页，以便实现更快速的浏览和搜索” 这个功能

    也就是 google 应该有各个网页的 cache，而且也知道这个网站有没有收录。

    所以只要有人用 chrome 打开了这个网页，没有收录的网站就会去收录，根本就不需要爬虫慢慢爬