跳至主要內容
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?

4563博客

全新的繁體中文 WordPress 網站
  • 首頁
  • 禁用GOOGLE爬虫这样正确么?
未分類
3 3 月 2020

禁用GOOGLE爬虫这样正确么?

怪人 大佬有话说 :

禁用GOOGLE爬虫这样正确么?

User-agent: Googlebot
Disallow: /

是不是这样就可以了

h2o 大佬有话说 :

正规的爬虫会读取robots.txt的

luceos 大佬有话说 :

本帖最后由 luceos 于 2020-3-3 14:22 编辑

if ($http_user_agent ~* "Googlebot") { return 403; }

这样是不是更彻底啊,判断UA中有Googlebot 直接返回403

蝼蚁般的存在 大佬有话说 :

可以,不过你把其它搜索放哪了?

文章導覽

上一篇文章
下一篇文章

AD

其他操作

  • 登入
  • 訂閱網站內容的資訊提供
  • 訂閱留言的資訊提供
  • WordPress.org 台灣繁體中文

51la

4563博客

全新的繁體中文 WordPress 網站
返回頂端
本站採用 WordPress 建置 | 佈景主題採用 GretaThemes 所設計的 Memory
4563博客
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?
在這裡新增小工具