搜索引擎Robots協議，是放置在網站根目錄下robots.txt文本文件，在文件中可以設定搜索引擎蜘蛛爬行規則。設置搜索引擎蜘蛛Spider抓取內容規則。下面seoer惜緣舉例robots寫法規則與含義：
首先要創建一個robots.txt文本文件，放置網站的根目錄下，下面就開始編輯設置Robots協議文件：
一、允許所有搜索引擎蜘蛛抓取所以目錄文件，如果文件無內容，也表示允許所有的蜘蛛訪問，設置代碼如下：
User-agent: *
Disallow:
或者
User-agent: *
Allow: /
二、禁止某個搜索引擎蜘蛛抓取目錄文件，設置代碼如下： User-agent: Msnbot Disallow: /
User-agent: Msnbot
Disallow: /
例如想禁止MSN的蜘蛛抓取就設為，Msnbot代表MSN的蜘蛛，如果想禁止其他搜索引擎就更換蜘蛛名字即可，其他蜘蛛名字如下：
百度的蜘蛛：baiduspider
Google的蜘蛛： Googlebot
騰訊Soso:Sosospider
Yahoo的蜘蛛：Yahoo Slurp
Msn的蜘蛛：Msnbot
Altavista的蜘蛛：Scooter
Lycos的蜘蛛： Lycos_Spider_(T-Rex)
三、禁止某個目錄被搜索引擎蜘蛛抓取，設置代碼如下：
User-agent: *
Disallow: /目錄名字1/
Disallow: /目錄名字2/
Disallow: /目錄名字3/
把目錄名字改為你想要禁止的目錄即可禁止搜索引擎蜘蛛抓取，目錄名字未寫表示可以被搜索引擎抓取。
四、禁止某個目錄被某個搜索引擎蜘蛛抓取，設置代碼如下：
User-agent: 搜索引擎蜘蛛名字 說明(上面有說明蜘蛛的名字)Disallow: /目錄名字/ 說明(這里設定禁止蜘蛛抓取的目錄名稱)例如，想禁目Msn蜘蛛抓取admin文件夾，可以設代碼如下：
User-agent: Msnbot
Disallow: /admin/
五、設定某種類型文件禁止被某個搜索引擎蜘蛛抓取，設置代碼如下:
User-agent: *
Disallow: /*.htm 說明(其中.htm，表示禁止搜索引擎蜘蛛抓取所有htm為后綴的文件)
六、充許所有搜索引擎蜘蛛訪問以某個擴展名為后綴的網頁地址被抓取，設置代碼如下:
User-agent: *
Allow: .htm$ 說明(其中.htm，表示充許搜索引擎蜘蛛抓取所有htm為后綴的文件)
七、只充許某個搜索引擎蜘蛛抓取目錄文件，設置代碼如下：
User-agent: 搜索引擎蜘蛛名字 說明(上面有說明蜘蛛的名字)
Disallow:
以上文章是對于Robots.txt文件寫法的具體說明教程，我們都知道做哈網站優化工作，Robots.txt 學習就是我們的必修課。如果你是正在學習的seo新手，想學習更多關于seo知識，苦于找尋不到好的資料，可以到http://www.seoxiaoyi.com 我們一起交流 共同進步
更多網絡知識及相關網絡服務請QQ咨詢深圳網站建設公司QQ:2361277551
本文由 貴州做網站公司 整理發布，部分圖文來源于互聯網，如有侵權，請聯系我們刪除，謝謝！
網絡推廣與網站優化公司（網絡優化與推廣專家）作為數字營銷領域的核心服務提供方，其價值在于通過技術手段與策略規劃幫助企業提升線上曝光度、用戶轉化率及品牌影響力。這...
在當今數字化時代，公司網站已成為企業展示形象、傳遞信息和開展業務的重要平臺。然而，對于許多公司來說，網站建設的價格是一個關鍵考量因素。本文將圍繞“公司網站建設價...
在當今的數字化時代，企業網站已成為企業展示形象、吸引客戶和開展業務的重要平臺。然而，對于許多中小企業來說，高昂的網站建設費用可能會成為其發展的瓶頸。幸運的是，隨...
巢湖四中咋樣？巢湖四中的校園氛圍很好。最重要的是，四中這幾年一直在進步，升學率明顯提高。嗯，老師們...那個 具體來說?？偟膩碚f，老師是通情達理的。;我遇不到那種無情的老師。巢湖市有哪幾所重點高中？巢湖市分為四縣一區。我不 對四個縣不太了解，除了這個縣最好的高中:——廬江中學，廬江縣，含山中學，——，含山縣，——無為一中，無為縣，——和縣一中。對于居巢區，我比較了解:巢湖一中是無可爭議的最好，也是...
怎樣從163郵箱進入自己的網易博客？1. 首先，讓我們搜索一下網易郵箱的地址。實際上，你可以直接搜索網易博客的地址，輸入你的郵箱賬號和密碼，然后點擊“登錄”，如圖所示。登錄網易郵箱后，點擊上方的“幫助”選項，如圖2。在彈出選項中，我們單擊“官方博客”選項3。此時，我們可以打開網易博客的官方網站，點擊右上角的“登錄”，如圖4。在彈出的登錄界面中，我們輸入自己的賬號和密碼，然后點擊“登錄”5。登錄我們...
南京到北京的高鐵要經過哪些站？開往南京的高鐵途經北京南、廊坊、天津南、滄州西、德州東、濟南西、泰安、曲阜東、滕州東、棗莊、徐州東、蘇州東、蚌埠南、定遠、滁州、南京南。1.簡介；南京古稱金陵、建康，是江蘇省省會，副省級城市，南京都市圈的核心城市。被國務院批準為東部重要的中心城市、重要的科研教育基地和綜合交通樞紐。全市有11個區，總面積6587平方公里。2016年建成區面積1125.78km2，常住人...
免責聲明：本站內容部分文字和圖片來源于網絡，版權屬于原作者所有，若有冒犯，請聯系我們進行刪除，謝謝。聯系郵箱：1051388971#qq.com （把#換成@）
