0°

robot.txt的規則及寫法

 

建站想有搜索引擎流量 , 首先要建立sitemap , 之後就是robot.txt了

因為robot.txt這文檔可以告訴bot你的網站sitemap連結 , bot直接去爬 , 省時省力

除此之外 , 更可以使用robot.txt禁止訪客IP 或 禁止訪問某個目錄等等…

=======================================================================

robot.txt文件的語法主要包括了User-Agent、Disallow、Allow這三個命令。

1、User-agent:
其後面接的是具體的搜索引擎的蜘蛛的名字。如果其值設置為「*」,則表示對任何蜘蛛都有效。
在”robots.txt”文件中,可以有多條User-agent記錄,但「User-agent:*」這樣的記錄只能有一條。
如果在”robots.txt”文件中,加入”User-agent: SomeSpider “和若干Disallow、Allow行,那麼名為”SomeSpider”只受到”User-agent: SomeSpider “後面的Disallow和Allow行的限制。
 
2、Disallow:
不希望被訪問的URL或者文件夾,可以是完整的路徑,也可以是路徑的非空前。robots.txt文件中,至少要有一條Disallow記錄。Disallow的內容對大小寫敏感,書寫時要注意大小寫。
 
3、Allow:
可以被訪問的一組URL,與Disallow項相似,這個值可以是完整的路徑,也可以是路徑的前綴,Allow同樣對大小寫敏感。
 
robot.txt的具體寫法舉例。
 
禁止所有搜索引擎訪問網站的任何部分
User-agent: *
Disallow: /
 
允許所有的搜索引擎訪問
User-agent: *
Disallow:
或者
User-agent: *
Allow: /
或者直接建一個空的robot.txt文件。
 
僅禁止某種蜘蛛訪問,例如google
User-agent: Googlebot
Disallow: /
 
僅允許某種蜘蛛訪問,例如google
User-agent: Googlebot
Disallow:
 
User-agent: *
Disallow: /

禁止搜索引擎訪問網站的特定目錄
User-agent: *
Disallow: /folder1/
Disallow: /folder2/
 
禁止訪問以.asp 結尾的網址:
User-Agent: *
Disallow:/*.asp$
 
禁止訪問網站中所有的動態頁面,即禁止訪問包含問號(?)的網址
User-agent: *
Disallow: /*?*
 
禁止搜索引擎抓取網站上所有的jpg圖片
User-agent: *
Disallow: /*.jpg$
 
禁止抓取不存在的網頁。如果你的域名之前曾經建過站,那麼一般都會存在一些你網站不存在的網址。這裡建議在建站之前像搜索引擎提交刪除此域名下的所有索引。
 
提供sitemap位置
User-agent: *
sitemap: http://www.domain.com/sitemap.xml

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
0 条回复 A 作者 M 管理员
    所有的伟大,都源于一个勇敢的开始!
欢迎您,新朋友,感谢参与互动!欢迎您 {{author}},您在本站有{{commentsCount}}条评论