從網站robots設置看百度檢索新站規則

搜索引擎其誕生的重要意義就是在日益浩瀚的互聯網資料中為用戶提供便捷的查詢服務，其本質的要求就是查的快、全、準、穩，在節約人們查詢時間的同時提供最權威的服務。一般搜索引擎在給予網站排名時可以簡單的歸為下載、分析、索引和檢索，很多 seoer在從事網站建設時都想摸透網站排名的規則，從而獲得更好的排名。從目前市場上各種seo培訓機構、交流群、論壇等就可以看出，大家都在不懈余力通過搜索引擎的各種現象來論證新的觀點，從而在未來的seo優化中獲得更好的發展。

龍形近日在優化公司的新網站時，意外的發現一個想象，那就是百度蜘蛛抓取網站和檢索時會有一定的時間差。很多seoer在網站上線初期由于各種原因都會設置robots，從而更好的指導搜索引擎抓取網站內容，龍形新網站主要是關于農藥殘留檢測儀等農業速測儀器的網站，在上線初期由于需要完善一些樣式和程序，所以就通過robots完全屏蔽了所以蜘蛛對網站內容的抓取。在12月9號網站調試完畢去除robots后歷經一周查看收錄情況，谷歌和 360都有收錄，尤其是谷歌已經收錄47條內容，而百度收錄一直為0。

龍形開始反思是不是自己的優化觸犯了百度抓取規則，想想自己在網站上線之初就更新了不少內容，而后每天都會定時的更新2篇原創文章，同時做一些高質量的外部鏈接。因此，在內容上龍形的這個有關農藥殘留檢測儀的網站絕對的沒有問題，進而檢測網站的程序有無漏洞，網站有沒有死鏈接，網站的服務器等是否穩定，有沒有遭受木馬或者攻擊，網站能否被蜘蛛正常索引等，通過影響力的檢測發現網站還是沒有大的問題。那到底是哪個方面出現了差錯，一時之間讓龍形這個已有2年優化歷史的seoer突然感覺束手無策，無法找到問題的關鍵所在。

就在龍形感覺到無奈決定等待時，突然想到了百度站長工具，于是就趕緊驗證下后臺，看看能否從中發現問題所在。16號龍形打開百度站長工具時發現百度發來的消息提醒，打開后才發現是我的這個農藥殘留檢測儀網站設置了robots，百度無法抓取我的網站，按說不應該出現這種情況，網站的robots在9號就已經刪除了，為什么百度還是發出這樣的提醒，難得是數據庫出現了錯誤?龍形進一步的通過百度站長平臺的robots工具檢測有關農藥殘留檢測儀這個網站的情況，檢測結果明確的指出：您的網站沒有robots.txt文件，表示您允許搜索引擎可以抓取您網站全部的內容

那既然百度站長平臺都檢測出網站沒有robots文件，那為什么今天百度站長平臺還是發出了robots屏蔽提醒?就在龍形迷惑之計猛然想到之前的一位seo朋友說過：搜索引擎目前最大的壓力就是數據庫壓力，聯系到龍形這個新站的情況龍形終于明白了問題的所在了。由于互聯網每天都會新生大量的網站數據，給搜索引擎的數據庫帶來很大的壓力，很大搜索引擎為了給用戶提供穩定而又可靠的數據，同時又減輕網站的數據庫壓力，往往在抓取的過程中采取不同的抓取策略。對于那些大型的網站采取每天定時抓取，及時檢索，而對于其他一些小網站在抓取和檢索時可能就會有一定的延后。龍形的網站由于新上線本身蜘蛛光臨的就比較少，加上在抓取和檢索時間段也有時間差，從而導致百度在檢索龍形的網站時是之前蜘蛛抓取的數據，進而發現了網站的robots造成百度蜘蛛無法爬行，進而導致網站一直沒有快照。