搜索引擎蜘蛛是怎樣抓取網頁的，如何吸引更多蜘蛛！

對于網站的seo人員來說，搜索引擎蜘蛛都一定有所了解，因為在進行網站優化時都需要研究搜索引擎蜘蛛的工作原理。搜索引擎大致分為4個部分，靠前個部分就是蜘蛛爬蟲，第二個部分就是數據分析系統，第三個部分是索引系統，第四個就是查詢系統，當然這只是基本的4個部分!

什么是搜索引擎蜘蛛，什么是爬蟲程序?

搜索引擎蜘蛛程序，其實就是搜索引擎的一個自動應用程序，它的作用是什么呢?其實很簡單，就是在互聯網中瀏覽信息，然后把這些信息都抓取到搜索引擎的服務器上，然后建立索引庫等等，我們可以把搜索引擎蜘蛛當做一個用戶，然后這個用戶來訪問我們的網站，然后在把我們網站的內容保存到自己的電腦上!比較好理解。

搜索引擎蜘蛛是怎樣抓取網頁的呢?

發現某一個鏈接 → 下載這一個網頁 → 加入到臨時庫 → 提取網頁中的鏈接 → 在下載網頁 → 循環

首先搜索引擎的蜘蛛需要去發現鏈接，至于怎么發現就簡單了，就是通過鏈接鏈接鏈接。搜索引擎蜘蛛在發現了這個鏈接后會把這個網頁下載下來并且存入到臨時的庫中，當然在同時，會提取這個頁面所有的鏈接，然后就是循環。搜索引擎蜘蛛幾乎是24小時不休息的，那么蜘蛛下載回來的網頁怎么辦呢?這就需要到了第二個系統，也就是搜索引擎的分析系統。

一、搜索引擎蜘蛛簡介

搜索引擎蜘蛛，在搜索引擎系統中又被稱之為“蜘蛛”或“機器人”，是用來爬行和訪問頁面的程序。

① 爬行原理

搜索引擎蜘蛛訪問網頁的過程，就好比用戶使用的瀏覽器。

搜索引擎蜘蛛向頁面發出訪問請求，該頁面的服務器則返回該頁面的HTML代碼。

搜索引擎蜘蛛將收到的HTML代碼存入搜索引擎的原始頁面數據庫中。

② 如何爬行

為了提高搜索引擎蜘蛛的工作效率，通常采用多個蜘蛛并發分布爬行。

同時，分布爬行還分為兩種模式：深度優先和廣度優先。

深度優先：沿著發現的鏈接一直爬行，直到沒有任何鏈接。

廣度優先：先這一頁面上的所有鏈接爬行完畢之后，才會沿著第二層頁面繼續這樣爬行。

③ 蜘蛛必遵守的協議

搜索引擎蜘蛛在訪問網站之前，都會先訪問網站根目錄下的robots.txt文件。

搜索引擎蜘蛛不會去抓取robots.txt文件中禁止爬行的文件或目錄。

④ 常見搜索引擎蜘蛛

百度蜘蛛：Baiduspider

谷歌蜘蛛：Googlebot

360蜘蛛：360Spider

SOSO蜘蛛：Sosospider

有道蜘蛛：YoudaoBot，YodaoBot

搜狗蜘蛛：Sogou News Spider

必應蜘蛛：bingbot

Alexa蜘蛛：ia_archiver

二、如何吸引更多搜索引擎蜘蛛

互聯網信息爆炸，搜索引擎蜘蛛不可能將所有網站的所有鏈接全部爬行到，那么如何吸引更多的搜索引擎蜘蛛到我們網站上來爬行變得非常重要。

① 導入鏈接

無論是外部鏈接，還是內部鏈接，只有有導入，才能被搜索引擎蜘蛛知道該頁面的存在。所以，多多做外鏈建設有助于吸引更多蜘蛛來訪。

② 頁面更新頻率

頁面更新頻率越高，搜索引擎蜘蛛來訪的次數也會越多。

③ 網站和頁面權重

整個網站的權重以及某一頁面的權重（包括首頁也是頁面）影響著蜘蛛的來訪頻率，權重高、權威性強的網站一般都會增加搜索引擎蜘蛛的好感。

④ 與首頁的距離

首頁>一級目錄>二級目錄>三級目錄>四級目錄…很顯然，目錄越深蜘蛛來訪的幾率和次數就會越少，因為一般外鏈都是指向首頁的，首頁再向下爬行，只會越來越少。

這里給大家的建議是，做外鏈的時候，不要只做首頁外鏈，偶爾做一做欄目和聚合頁面的外鏈也還是不錯的哦~

有些時候，URL短，蜘蛛可能也會覺得這個鏈接的權重哦，所以，最好只做一級欄目，然后就是文章頁面。

三、搜索引擎蜘蛛地址庫

搜索引擎蜘蛛有一個專門的地址庫，用來存放已經被發現的URL（已被抓取和未被抓取的都算，只要是被發現的URL都算），這樣就不會出現重復爬行和抓取頁面的情況了。

① 地址庫URL來源

蜘蛛抓取的頁面中發現的新的URL；

站長后臺自主提交的URL；

站長后臺提交的XML地圖中的URL；

站長后臺提交的網站URL；

② 對于未被抓取的URL

對于未被抓取的URL，不管是以什么方式獲取的，哪怕是搜索引擎蜘蛛自己發現的，也會先放入地址庫中，然后在做統一抓取。

四、頁面數據存儲

搜索引擎蜘蛛將抓取的頁面數據會存入搜索引擎的原始頁面數據庫中，其實，就可以理解為快照中看到的頁面數據，和用戶看到的是一樣的，每一個頁面的URL地址都有一個較早的編號。

五、復制內容檢測

搜索引擎蜘蛛在爬行的過程中，會進行一定程度的復制內容檢測。如果是權重低的網站上，發現了大量的轉載或抄襲內容時，可能會停止爬行，這些頁面可能也會不抓取與收錄。

但并不是說網站就不能轉載，像一些權重很高的平臺，哪怕是轉載了一篇舊聞排名也可以很好，因為搜索引擎蜘蛛可能會覺得，就算是舊聞可能也是高質量的吧。

作為seo優化人員則要讓蜘蛛盡量的抓取到網站的核心內容，那么影響到搜索引擎抓取網站的因素有哪些呢？

1、網站權重

網站權重越高，搜索引擎蜘蛛爬行的深度越深，抓取的頁面內容也就相對越多了，搜索引擎對權重高的網站信任度很高，收錄的網站頁面也更多。

2、網站更新頻率

搜索引擎的蜘蛛每次爬行抓取網站的時候，都會把網站的數據儲存起來，下一次爬行的時候發現和靠前次的抓取的數據是一樣的，則說明網站沒有更新，蜘蛛多次爬行未更新的網站，肯定會降低網站爬行的頻率，如果網站定期更新，每次蜘蛛都能抓取到新鮮的有價值的內容，搜索引擎蜘蛛的體驗度就越高，蜘蛛就會頻繁的抓取網站數據。

3、外鏈內鏈和URL結構

網站優化的時候不管是外部鏈接，還是內部相互鏈接，都是會被搜索引擎的蜘蛛抓取到的，蜘蛛會根據URL的結構開始爬行抓取，結構目錄越短的爬行體驗越好，高質量的外鏈能增加搜索引擎蜘蛛爬行的深度

4、網站首頁距離

網站首頁是網站權重最高的地方，而且用戶訪問和蜘蛛的抓取也是最頻繁的，做外鏈建設的時候通常也是發的首頁地址，距離首頁越近的距離，搜索引擎的蜘蛛爬行的幾率也就越大，頁面的權重也就越高。