谷歌的爬虫有点厉害啊
資深大佬 : tubowen 3
昨晚看到一个哥们在火车上听别人讨论几个亿的项目 今天想再看一下, 但是只记得标题里面有火车 回家的关键词 就用百度搜索了一下,结果没搜到 https://imgchr.com/i/yJxlk9
用谷歌搜索了一下却搜到了 https://imgchr.com/i/yJxR0g
谷歌爬虫的收录速度这么快的嘛,一天前的帖子就收录了 https://imgchr.com/i/yJzCjK
大佬有話說 (17)
昨晚看到一个哥们在火车上听别人讨论几个亿的项目 今天想再看一下, 但是只记得标题里面有火车 回家的关键词 就用百度搜索了一下,结果没搜到 https://imgchr.com/i/yJxlk9
用谷歌搜索了一下却搜到了 https://imgchr.com/i/yJxR0g
谷歌爬虫的收录速度这么快的嘛,一天前的帖子就收录了 https://imgchr.com/i/yJzCjK
http://www.google.com.hk/intl/zh-CN/submit_content.html
https://duckduckgo.com/?q=site%3Av2ex.com+%E5%9B%9E%E5%AE%B6+%E7%81%AB%E8%BD%A6&ia=web
基本发帖很快就能收录
也就是 google 应该有各个网页的 cache,而且也知道这个网站有没有收录。
所以只要有人用 chrome 打开了这个网页,没有收录的网站就会去收录,根本就不需要爬虫慢慢爬