注：以下BaiDuSpider等于百度蜘蛛、Googlebot等于google蜘蛛、Sogou Spider等于搜狗蜘蛛
一、問題
因某些原因，搜索引擎蜘蛛抓取網站占用很大流量，如圖：
網站訪問日志也可看見很多蜘蛛爬行記錄。
如果是正常的搜索引擎蜘蛛訪問，不建議對蜘蛛進行禁止，否則網站在百度等搜索引擎中的收錄和排名將會丟失，造成客戶流失等損失?？梢詢炏瓤紤]升級虛擬主機型號以獲得更多的流量或升級為云服務器（不限流量）。
二、認識、學習
我們知道，搜索引擎都遵守互聯網robots協議，可通過robots.txt來進行限制。先對robots.txt一些實例說明，然后根據上面網站情況進行規則設置，通過上面截圖可以看出BaiDuSpider占用流量非常大，首先在網站跟目錄下面建立一個robots.txt文件。
例1.禁止所有搜索引擎訪問網站的任何部分
User-agent: *
Disallow: /
例2.允許所有的robot訪問(或者也可以建一個空文件“/robots.txt” file)
User-agent: *
Allow:
例3.禁止某個搜索引擎的訪問（禁止BaiDuSpider）
User-agent: BaiDuSpider
Disallow: /
例4.允許某個搜索引擎的訪問
User-agent: Baiduspider
allow:/
例5.禁止二個目錄搜索引擎訪問
User-agent:*
Disallow: /admin/
Disallow: /install/
例6.僅允許Baiduspider以及Googlebot訪問
User-agent: Baiduspider
Allow: /
User-agent: Googlebot
Allow: /
User-agent: *
Disallow: /
例7.禁止百度搜索引擎抓取你網站上的所有圖片
User-agent: Baiduspider
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.bmp$
三、問題解決（規則設置）
根據以上實例，經過分析網站日志，主要是百度抓取圖片占用了流量，他還有兩個目錄也不希望搜索引擎抓取，設置規則如下解決：
User-agent:*
Disallow:/admin/
Disallow:/install/
User-agent: Baiduspider
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.bmp$
因為搜索引擎索引數據庫的更新需要時間。雖然蜘蛛已經停止訪問您網站上的網頁，但百度搜索引擎數據庫中已經建立的網頁索引信息，可能需要數月時間才會清除。也就是說設置限制之后日志還會看見蜘蛛爬行，逐漸會降低抓取直到完全生效，這種問題會持續一段時間。如果您需要盡快屏蔽，訪問以下幫助中心進行投訴，搜索引擎就會較快處理。
如果設置后無效（或部分蜘蛛不遵守robots協議，可以用：使用偽靜態規則攔截蜘蛛訪問
四、Baiduspider抓取次數太多造成的帶寬堵塞，影響網站正常訪問如何解決？
訪問百度站長工具http://zhanzhang.baidu.com/，注冊用戶名登錄，先添加網站通過驗證。
然后到網頁抓取》抓取頻次》當前抓取頻次過大如何解決？提示內容：
您可以按照如下方法依次進行排查及解決頻次過大問題：
1、如果您覺得Baiduspider 抓取了您認為的無價值鏈接, 請更新網站robots.txt進行屏蔽抓取，然后到robots工具頁面操作生效。
2、如果Baiduspider的抓取影響了您網站的正常訪問，請到抓取頻次上限調整頁面進行抓取頻次上限下調。
3、若以上方法均不能解決問題，請到反饋中心反饋
建議采用第二個方法，調整百度抓取頻次上限。以下截圖為“頻次上限調整頁面”，如影響訪問，可把值適當調整小。
本文由 貴州做網站公司 整理發布，部分圖文來源于互聯網，如有侵權，請聯系我們刪除，謝謝！
c語言中正確的字符常量是用一對單引號將一個字符括起表示合法的字符常量。例如‘a’。數值包括整型、浮點型。整型可用十進制，八進制，十六進制。八進制前面要加0，后面...
2022年天津專場考試原定于3月19日舉行，受疫情影響確定延期，但目前延期后的考試時間推遲。 符合報名條件的考生，須在規定時間登錄招考資訊網(www.zha...
：喜歡聽，樂意看。指很受歡迎?！巴卣官Y料”喜聞樂見：[ xǐ wén lè jiàn ]詳細解釋1. 【解釋】：喜歡聽，樂意看。指很受歡迎。2. 【示例】：這是...
據路透社報道，當地時間周日，政治辦公室發言人·納伊姆宣布阿富汗戰爭已經結束，并呼吁與國際社會保持和平關系?？刂瓢⒏缓箍偨y府納伊姆在接受半島電視臺采訪時說，不想孤立地生活，阿富汗新政權的類型和形式將很快得到澄清。他還補充說，根據伊斯蘭法律尊重婦女和少數民族的權利和言論自由。納伊姆說，希望與其他國家建立和平關系，并熱衷于發展與外國已經建立的各種溝通渠道。他說:“我們要求所有國家和實體與我們合作解決任何...
紙黃金是一種記賬式黃金，它與現貨黃金(倫敦金)價格掛鉤，采取24小時不間斷交易模式，其走勢基本上與現貨黃金走勢一樣，投者資可以在建行的手機銀行，或者去銀行柜臺購買。紙黃金存在以下交易規則：1、單向交易，即投資者只能做多。2、無杠桿，投入本金較多，根據不同品種在銀行柜臺開戶，市場上每克黃金價格是多少，需要買多少克就需要多少資金，比如：買100克黃金，在市場上每克黃金300元人民幣，則需要30000元...
11月12日，德云社在孟鶴堂三里屯演出，下午與搭檔周九良擔綱“救底”，為觀眾帶來作品《口吃論》?？吹叫鲩T口大量的鮮花和公仔板，有朋友感慨道，粉絲的支持力度真的很強大，萌哥的熱度真的讓人羨慕。當然，看到作品名字后，有朋友說，孟在作品的選擇上也是很用心的，他已經很久沒有登臺了。如果有一個“口吃”來掩蓋卡住的地方，也不會影響大家的觀感。對于孟，，很多朋友都喜歡和支持他。當你堅守小劇場的時候，你可以把...
免責聲明：本站內容部分文字和圖片來源于網絡，版權屬于原作者所有，若有冒犯，請聯系我們進行刪除，謝謝。聯系郵箱：1051388971#qq.com （把#換成@）
