培養搜索引擎蜘蛛爬行習慣，提升蜘蛛抓取效率

搜索引擎蜘蛛在對網站進行抓取的過程中會對網站更新頻率進行監控參考，從而對下次抓取時間進行合理安排，這樣的策略可以有效提升搜索引擎Spider爬行效率，避免不必要的資源浪費。而對seo來說，培養蜘蛛良好的抓取習慣更是能夠幫助模塊獲取穩定排名維護的重要策略，那如何才能培養蜘蛛正確的抓取習慣？

一、頁面時間因子添加

眾所周知，搜索引擎在沒有任何輔助條件的情況下來判斷更新頻率是需要一段時間來觀察的，而大量的時間消耗對搜索引擎和SEO來說并無益處，在這個時候就需要網站運營人員配合給出一個更新頻率參照物，也就是頁面時間因子。

①前端時間因子：

這里的前端時間因子添加是便于蜘蛛在抓取過程中充分理解當前頁面的更新時間。

②源碼時間因子：

而源碼內的時間因子則是JSON-LD格式的提交方式，其作用是為了通知蜘蛛靠前時間知曉頁面的發布、更新以及互動時間，便于及時抓取。

需要注意的是，前端時間因子如果不是期望抓取頻率在時、分、秒的策略中，建議只具體到日期即可，反之則具體到時分秒。

例如：更新時間：2020-6-29 和更新時間：2020-6-29 13:11:42

二、頁面更新頻率設置

通常我們在網站建設的時候會選擇合適的CMS內容管理系統或者自行開發，而這些系統在便于對內容重復修改的基礎上也具備更新功能，所以時間因子的觸發就要與頁面更新聯系起來，選擇合適的頻次對模塊進行更新效果事半功倍。

三、頁面相關內容調取更新

當然，搜索引擎也不傻，它不會一味地只相信你告訴它的更新時間，搜索引擎自己也會對網頁整體變化進行判斷，而我們要做的就是通過頁面調用邏輯給網頁調取內容進行更新，就如同我們首頁會在特定的時間范圍內更新最新資訊的推薦入口一樣。

四、主題內容定期豐富

了解搜索引擎抓取的同學都清楚，單單依靠非主體內容的配合更新是無法達到理想效果的，因為你的主體內容并沒有發生變化，這個時候特定的頻次下，主體內容豐富+相關內容調用更新能使效果更佳理想。這里我們要注意，對百度而言它更喜歡在原有基礎上進行內容豐富。

以商業化SEO站點為例，大型站點的數據甚至能達到幾百萬幾千萬條，很顯然我們無法做到對所有內容都進行豐富，這個時候我們需要的是更新策略的細分。

我們以商品著陸頁為例，通常一個站點的核心內容僅在整體網站內容中占小部分的比例，而我們對站內模塊更新的策略也不是針對每一個URL。

所以我們在更新策略中可以針對那些核心模塊進行差異化運營，甚至在核心模塊中還存在核心的20%占比。

五、站內地圖同步設置

網站地圖是網站抓取和更新的重要途徑之一，在更新和抓取的策略中，我們往往會忽視對網站地圖內URL的更新頻次進行同步設置，這就好比你在問一個人問題，而他給了你兩個不同的答案，這個時候你對他給你的結果信任度并不會高。

搜索引擎也是同理，如果你在不同的途徑中告訴它相同的答案，那這個時候你給出的信息就會具備一定的參考價值。