日志分析：數據不會說謊 但要學會挖掘

起因：前段時間做了個垃圾站來玩玩，做好之后又失去了激情，就在那里放著了，提交了百度、谷歌，沒有做過外鏈，只是最近幾天隨手發了幾個垃圾帖子，算作外鏈吧。因為時間興趣等原因，只是偶爾下載日志來看一下，沒有做數據記錄，沒有仔細的觀察。

經過：一直以來百度只是收錄了首頁，谷歌收錄還不錯但是沒有排名沒有流量。前天突然興起想要把這站整一下，就去查看了一下日志，發現不論百度還是谷歌蜘蛛來的次數很少，抓取也是少得可憐。

結論：仔細分析了下，發現原來已經在很多地方體現了現在的惡劣后果。

1.蜘蛛來的次數很少，雖然網站沒有做外鏈，但是對于一個架構合理的網站（已經提交搜索引擎抓取）來說，一個月的時間已經能夠積累一定權重讓很多蜘蛛來主動抓取了（看抓取次數）。

2.抓取數量很少，抓取數量=總抓取時間/每個頁面加載時間，根據日志查看的總抓取時間和監控寶監控的網頁加載時間，數據嚴重不相符（對比上圖的總停留時間、總抓取量和下圖的響應時間，悲劇的被遮住了重要數據，是337ms）。

3.再看日志源文件，蜘蛛的抓取應該是快速密集的，通過數據提取明顯有很大的問題（注意蜘蛛兩次抓取時間間隔，應該是密集的，這是網站改動后還算正常的截圖，之前的一塌糊涂）。

4.仔細觀察就會發現日志中路徑的抓取錯誤和返回碼的錯誤（注意狀態碼，蜘蛛居然主動給后邊加了/，抓取1746.html/ 才是返回200）。

5.谷歌網站管理員工具的應用，有一個功能：像Googlebot一樣抓取。在這里可以測試一個網頁是否能被谷歌抓取成功和網頁的返回狀態碼，自己之前只是測試了首頁，這次測試了下內頁居然返回的是301。

6.結論：空間商的偽靜態規則有問題造成了網站的偽靜態出現返回301的錯誤。

事后感想：我也不知道有什么感想，總之很亂。這些錯誤是很容易發現的，只是由于自己的疏忽或者是懶惰吧。

再一次證明日志分析，數據分析的強大！！

服務器租用/服務器托管中國五強！虛擬主機域名注冊頂級提供商！15年品質保障！--億恩科技[ENKJ.COM]