網站日志分析經驗分享

在分析日志的時候需要用到的工具：光年日志分析工具、web log explorer、MSSQL。還有一點，做好數據的分析excel是必備的，最近在看阿莫推薦的一本書，寫的挺好的《你早該這么玩excel》，推薦大家看看，基礎的應用還是要會的。我們應該從哪幾個維度來進行數據的整理分析呢?我們從基礎信息、目錄抓取、時間段抓取、IP抓取、狀態碼幾點分布給大家講解。

靠前、基礎信息

我們從日志中能夠獲取哪里基礎信息呢?總抓取量、停留時間(h)及訪問次數這三個基礎信息，可以從光年日志分析工具中統計出來。然后，通過這三個基礎信息算出:平均每次抓取頁數、單頁抓取停留時間。然后用我們的MSSQL提取蜘蛛較早抓取量，根據以上的數據算出爬蟲重復抓取率。平均每次抓取頁數=總抓取量/訪問次數 單頁抓取停留時間=停留時間*3600/總抓取量 爬蟲重復抓取率=100%—較早抓取量/總抓取量而以上這些數據，我們需要統計出一段時間的數據，看這個時間的整體趨勢是怎么樣的，這樣才能夠發現問題，才能夠調整網站的整體策略。下面就以一站點上個月的日志基礎信息為例。這個基礎表是上個月的日志的基本信息，我們需要看它的整體趨勢來調整，哪些地方需要加強。從這個整體走勢來看出，爬蟲的抓取總量整體是在下降的，這個就需要我們進行一些相應的調整。整體來看，網站重復抓取率是有點上升的，這個就需要一些細節，多一些為抓取的入口和使用一些robots及nofollow技巧。爬蟲單頁的停留的時間，國平老師曾經寫過那篇網頁加載速度是怎么影響seo流量的文章，大家應該看過吧。提高網頁加載速度，減少爬蟲單頁停留時間，可以為爬蟲的總抓取做出貢獻，進而增加網站收錄，從而提高網站整體流量。在16號至20號左右服務器出現一些問題，之后進行調整后，速度明顯變快，單頁停留時間也相應的下來了。而對此進行相應調整如下：從本月整理來看，爬蟲的抓取量是下降的，重復抓取率是上升的。綜合分析，需要從站內鏈接和站外的鏈接進行調整。站內的鏈接盡量的帶錨文本，如果不能帶的話，可以推薦其他頁面的超鏈接，讓蜘蛛盡可能的深層次的抓取。站外鏈接的話，需要多方面的發布。目前平臺太少了，如果深圳新聞網、商國互聯等站點出現一絲差錯的話，我們站點將受到嚴重影響。站外平臺要廣，發布的鏈接要多樣話，不能直發首頁的，欄目及文章頁面需要加大力度。目前，來講站外平臺太少，將近10w的外部鏈接，集中在幾個平臺上。

第二、目錄抓取

用MSSQL提取出爬蟲抓取的目錄，分析每日目錄抓取量?？梢院芮逦目吹矫總€目錄的抓取情況，另外可以對比之前的優化策略，優化是否合理，重點的欄目優化是不是預期的效果。如圖，綠色主做欄目 黃色：抓取較差 粉色：抓取很差 深藍色：需要禁止欄目可以看到整體的趨勢并沒有太大變化，只有兩個欄目的抓取是有較大變動的。