搜索引擎原理系列教程：收錄、索引、排名

《搜索引擎原理系列教程》這個雖然稱不上書籍，但由于里面信息量以及內容比較實用，也彌補了百度白皮書的一些短板——話語浮于表面，另外值得鼓勵的是，這個教程完全是由一個民間的seo愛好者總結，這份精神值得稱贊。我這里仍然想講三個方面，也是我們SEOER比較關心的三個方面：收錄、索引、排名。

一、收錄

搜索引擎搜集網頁過程，收錄其實是個復雜的過程，他簡單的分為這四個步驟:

1、 調度器是整個搜集過程的核心，它內部保存有一個已訪問URL庫和未訪問URL庫，統稱URL庫。一開始調度器會從未訪問URL庫中取出一條URL，分配給蜘蛛，讓蜘蛛去抓取未抓取過的URL。

2、 當一個蜘蛛得到URL的時候，它會向返個URL發出請求抓取，流程是：對該URL對應的域名進行DNS解析->得到IP進行Socket連接->連接成功發出http請求->接收網頁信息。

3、 蜘蛛得到網頁信息后，會返回源代碼給調度器，調度器會將源代碼保存到網頁數據庫中。

4、 調度器會對抓取到網頁迕行鏈接提取，將未抓取過的URL存放到未訪問URL庫中，并將剛剛抓取完的URL更新到已抓取URL庫中。

這其中會涉及到去重

調度器的工作流程

1、從未訪問URL表中依次取出URL，分配給各個蜘蛛。

2、蜘蛛得到URL，進行抓取，得到網頁的源代碼，對該源代碼進行URL的提取，獲得該網頁包含的所有URL。

3、調度器依次查看得到的URL是否在已訪問URL庫中存在。如果存在，則說明已經被抓取過，那么將該URL丟棄;如果不存在，說明這個URL沒有被抓取過，則順序添加到未訪問URL表中，等待之后抓取。

4、重復步驟1，直到未訪問表為空。

二、索引

網頁預處理

1、給原始網頁建立索引。

2、針對搜索有網頁庫進行網頁切分，將每一個頁面轉化為一組詞的集合。(正向索引)

3、將網頁到索引詞的映射轉換為索引詞到網頁的映射，形成倒排文件（包括倒排表和索引詞表)
總的來說，搜索引擎從網頁數據庫獲取網頁然后進行代碼過濾，然后提取正文信息后進行切詞，之后的步驟就是對關鍵詞集合進行篩選，得到網頁關鍵詞正向索引，最后才將搜索引擎將正向索引轉換未關鍵詞到網頁的倒排索引，正是這個技術，搜索引擎才有可能在1S內給用戶呈現搜索結果。

另外，這其中搜索引擎做的動作就是網頁凈化和消重，除了去除網頁內噪音內容（如廣告、版權等），提取網頁主題和相關內容外，去除網頁集合中內容重復內容。

有同學可能會問，搜索引擎如何識別主體內容的呢?事實上，算法是靠建立HTML標簽樹和投票方法識別正文文本。

比如，我們定一下規則，

1、如果文本塊文本長度少于10個字，0分。介于10~50個字得5分。介于50~250個字，得8分。超過250個字，得10分。

2、文本塊文本位置在右側，得0分。在頂部，得3分。在左側，得5分。在中部，得10分。

那我們就得出，頁面TITLE得分9，正文加粗H1標簽得分8等等，DIV部分的AD部分得分0，丟棄。
（以上舉例只為了參考，跟實際算法沒有關聯）

搜索引擎進行網頁消重都要經過3個步驟，首先是特征抽?。ㄟ@其中涉及到I-Match算法、Shingle算法），然后相似度計算、評價是否相似，最后才是消重。

事實上，搜索引擎算法和用戶交互的過程就是一個查詢的流程，比如用戶搜索“搜索引擎原理”，算法分詞后得到“搜索引擎”，“原理”，在倒排索引表中找到包含這兩個文檔列表，求交，然后將用戶查詢以及上一步找到文檔列表中被一條記錄進行向量化后，求查詢向量和文檔向量的相似度，然后從高到底排序，最后就是我們看到的最終搜索結果。

三、排名

最后就舉個例子作為結尾：

搜索引擎網頁權重=網頁中詞項基本權重+鏈接權重+用戶評價權重

網頁中詞項基本權重

1、例如某個關鍵詞”搜索引擎”在<h1><b>搜索引擎</b></h1>的環境下,權重應該為:WBT=W+W， (h1)+W,(b)=10+12＋4=26

2、關鍵詞“搜索引擎”可能還在文檔中其他地方出現n次，每次出現都可以計算一個WBT1、WBT2、WBT3…WBTn，那么可以計算出整個文檔“搜索引擎”這個關鍵詞的權重為︰

wBT(關鍵詞,網頁)=WBT,+ WBT,+…+WBTT=>wBT

相關排序–鏈接權值的計算

相關排序–用戶評價權值的計算

….

最終權值的計算

搜索引擎可以通過配置KWB、KWL、KWU來設置側重哪些因素影響權重，比如如果搜索引擎設置了KWL為0.8，KWB、KWU均為0.1，那么說明該搜索引擎更側重鏈接對權重的影響，通過這樣的算法，可以很輕松的算法上的調整。