百度搜索研發部：淺談互聯網頁面價值

題記：這是一篇很有價值的文章，來自百度搜索研發部，里面透露著許多seo技巧，原文已被刪除。搜索引擎每天處理著數以億計的查詢請 求，每個查詢請求都代表了一個用戶對于某種資源的特定需求。多數時候，通過查詢返回的網頁結果，這些需求被滿足 了，我們可以認為結果中的某些頁面對特定用戶的特定需求產生了價值。那么對于搜索引擎而言，頁面的價值是指什么，我們為什么要研究頁面價值，技術上怎樣判 斷頁面的價值呢?本文將逐一回答這些問題。

一、什么頁面價值

前面我們說了，某個頁面滿足了某一用戶的特定需求，就體現了這個頁面對用戶的價值。那么對搜索引擎而言，價值體現在哪些方面呢?一個簡單的推論，所有可能會對用戶產生價值的頁面都是對搜索引擎有價值的，將這些頁面建入搜索引擎的索引中能夠滿足最終檢索到它們用戶的需求，我們稱這種價值為檢索價值。只要是能解決某個用戶信息需求的，并且是可以通過某些正常檢索需求到達的，那么就是有檢索價值的。

1)是否能解決某個特定的需求(價值)

2)是否可以通過某個常規的搜索方式獲得該信息(檢索)那 么，沒有檢索價值的頁面，是否對搜索引擎就沒有價值了呢?仔細想想，答案是否定的。索引只是搜索引擎的一個環節，對于其他環節而言，沒有檢索價值的頁面有 可能對我們更好的收錄那些檢索價值高的頁面有幫助。比如對負責抓取互聯網資源的spider而言，有一些頁面，本身沒有檢索價值，但通過這些頁面 的抓取和分析，能夠更快的幫助我們掌握這一類頁面沒有檢索價值這一重要信息，從而節省更多的流量進行更加有效的抓取。

二、為什么要研究頁面價值

首先，互聯網上的頁面是無窮盡的，而搜索引擎的硬件資源是有限的，想用有限的資源去覆蓋無窮盡的互聯網，我們就需要對頁面價值做出判斷，不收錄那些無檢索價值的頁面，少收錄那些檢索價值低的頁面。這是頁面價值在收錄控制方面的應用。

第 二，搜索引擎spider的抓取能力是有限的，出于訪問友好性的考慮，對于一個網站或一個IP抓取速率需要有一個抓取速率的上限。在這一限制下， 抓取或頁面更新就需要有一個先后順序，而這一排序的主要參考依據就是頁面價值，或者說對頁面價值的預測(未抓取時)。這是頁面價值在spider調度方面 的應用。

第三，對于某些頁面，頁面內容發生變化，導致它的檢索價值從有到無，典型的就是變為死鏈，或者被黑。對于這些頁面，好的 搜索引擎會在靠前時 間將其排除出索引，或在檢索時對其進行屏蔽，以保證返回給用戶的結果是更多檢索價值高的好頁面。對于另一些頁面，它不僅具有很高的檢索價值，而且有很 強的時效性，能夠靠前時間讓用戶檢索到這些頁面對搜索體驗有很大的提升。對搜索引擎而言，越快的收錄和索引頁面意味著越多的額外資源開銷，以多快的速 度收錄和以多短的周期更新索引，需要通過頁面價值的分析來指導。這兩方面是頁面價值在死鏈率和時效性兩大搜索引擎指標提升上的應用。