爭取蜘蛛爬行提高網站爬行效率

站長朋友知道對于一些搜索引擎不能索引的文件或者網頁，錨文本正好作為一個橋梁，搜索引擎蜘蛛通過所在頁面的錨文本鏈接地址，爬向另外一個網頁，這樣搜索引擎就可以索引到所指頁面的網頁內容和文件了，加大彼此之間的聯系，同時也加大了蜘蛛的訪問速度，那么我們如何再次加強蜘蛛在網站的爬行呢，注意一下幾點。

內容頁

新的內容應盡量出現在蜘蛛頻繁更新的地方。因此，內容頁應按ID或發布時間排序。而每篇內容頁應和其他頁面有效鏈接?？梢栽趦热萁Y束后加入上一篇、下一篇竄連上下篇文章。同時可以增加相關閱讀、推薦閱讀等欄目，這樣更有助于蜘蛛索引。

標簽云

標簽、標簽云是提高聚合類內容可爬行性的有效途徑。而標簽云采用不同顏色、不同大小、不同粗細以區分不同用戶關注度的內容。因該說無論從用戶體驗還是索引的主次都是有益的。但不應為追求標簽云效果，而采用jquery等技術，這樣就失去了標簽云的seo意義。

層次結構

要利于蜘蛛爬行，首先得有一個清晰的層次結構。樹形結構是比較理想的網站結構，蜘蛛能夠很好的理解并爬行。采用首頁-索引頁-內容頁的形式有利于用戶在最短的時間內找到需求的信息。而且由于相關性極強的內容在同一欄目下，提高了聚合度，這樣更有利于蜘蛛的爬行整合。同時，樹形結構應該遵循層數盡可能少的原則。

導航

網站導航是網站不可或缺的重要組成部分。采用統一的導航欄不僅有助于用戶體驗，更有助于蜘蛛識別。由于蜘蛛能有效識別并爬行css。因此，對于導航欄字體使用font-weight屬性是有效的。但切勿因為追求效果而采用js、等蜘蛛無法有效爬行的技術。次導航同樣可以使用font-weight屬性表明重要性，而面包屑導航也是必不可少的，要注意盡量避免使用url鏈接，而更多采用錨文本鏈接。文件對于蜘蛛的索引是很重要的。Sitemap的制作不是本文討論的重點。如果你的站點規模不是很大，請盡量采用.xml格式，并放置于根目錄下。百度sitemap工具正在內測中，因此暫時無法提交sitemap文件，我們只能采用提交網頁的方式，提交新的頁面。

做網站最忌諱的是將網站單一的呈現給受眾，有的網站做的太考慮人的感受，比如過分的添加FLASH或是圖片，雖然討好了用戶，但這些蜘蛛都不買賬，反而會讓網站速度降下來，所以在網站首頁要盡可能的精簡，如有有必要的話可以利用nofollow屏蔽一下首頁沒必要的鏈接，為網站收錄提高時間。當然這個時候同樣要考慮結構的問題，雖說CSS+DIV為蜘蛛提供一個圓點，最大限度的為其提供搜索捷徑，但是樹形結構還是不可少的，我們可以將網站相關性內容整合在一個欄目之下，以首頁-索引頁-內容頁的形式的形式展開，提高內容的相關性，這樣就有利于蜘蛛的爬行整合。