關于Baiduspider抓取失敗對流量的影響

近期百度站長俱樂部的Lee發了一篇，關于百度蜘蛛(Baidu spider)抓取失敗導致流量流失的原因和影響，感覺很有借鑒意義。下面是原文：首先說明，spider的抓取失敗分為兩種：百度自身系統問題、外界站長問題。這里主要是和各位站長的交流，所以著重說下外界站長問題導致的抓取失敗，并且影響到站點從百度獲得的流量問題。目前百度spider 系統中能夠統計到的失敗分為幾種：

1， UA/IP封禁

對于百度的ua或者IP進行封禁，會導致百度不能成功抓取您的站點，從而不能成功抓取新網頁，以及將之前已經抓到的頁面判定為死鏈，并會進行清理，這樣最終導致站點獲得的流量減少。此外，還會有一些冒充百度spider的抓取和采集，可以使用DNS反查方式來確定抓取來源的ip是否屬于百度，防止誤封禁。參考資料：Baiduspider常見問題解答

2， 壓力過大的偶然封禁

首先，我們會根據站點的規模，訪問量等信息，建立一個合理的站點抓取壓力。但是會有一些例外，在壓力控制不好的情況下，服務器會根據自身負荷進行保護性的偶然封禁，對于這樣的情況，如果壓力過大，請在返回碼中盡量不要使用404，建議返回503(其含義是Service Unavailable)。這樣百度spider會過段時間再來嘗試抓取這個鏈接，如果那個時間站點空閑，那它就會被成功抓取了。

3， 站點服務不穩定&更換服務

盡量的保證您的網站穩定，如果需要暫時換服務，需要暫時讓舊服務能夠使用一段時間，并且做301 跳轉，盡量減少改版帶來的流量損失。雖然百度spider現在對301跳轉的響應周期較長，但我們還是推薦大家這么做。除了以上介紹的典型封禁，還有一些其他非典型的，比如：refer、ua作弊、js等，這些封禁都會導致百度失敗，從而把已經抓到的頁面進行刪除，或者不能成功抓取新頁面，這樣會直接影響到網站的流量。