如何分析日志
通過分析網站口志Log文件可以看到用戶和搜索引擎的蛛訪問網站的行為數據，這4讓我們分析出用戶和咖蛛對網站的偏好以及網站的健康情況，在網站日志分析中，我們析的是蜘蛛行為在如蛛爬取及收錄的過程中，搜索引擎會給特定權重網站分配相應的資源量
友好型的網站應該充分利用這些資源，讓如蛛可以迅速、準確、全面地爬取有價值、用戶喜歡d容，而不浪費資源在無用的、訪問異常的內容上。

                          
在分析日志時，對于單日日志文件，需要外析的內容有訪問次數、停留時間、抓取量進行抓取統計、頁面抓取統計、蜘蛛訪問IP, HTTP狀態碼、蜘蛛活躍時段、蜘蛛爬取路徑等，對日日志文件，需要分析的內容有蜘蛛訪問次數趨勢、停留時間趨勢、整體抓取趨勢、各1承抓勢、抓取時間段、蜘蛛活躍周期等。
1,訪問次數、停留時間、抓取量從這三項數據中可以得知平均每次抓取頁面數、單頁抓取停留時間和平均每次停留時間平均每次抓取頁面數-總抓取量/訪問次數單頁抓取停留時間一每次停留時間/每次抓取時間
平均每次停留時間-總停留時間/訪問次數
從這些數據可以看出蜘蛛的活躍程度、親和程度、抓取深度等，總訪問次數、停留時間取量、平均抓取頁面、平均停留時間數值越大，表明網站越受搜索引擎喜歡，而單頁抓取停留時d表明網站頁面的訪問速度，時間越長，表明網站訪問速度越慢，對搜索引擎抓取收錄越不利，應盡量提高網頁加載速度，減少單頁抓取停留時間，讓爬蟲資源更多地抓取收錄。

另外，根據這些數據可以統計出一段時間內網站的整體趨勢表現，如蜘蛛訪問次數趨勢留時間趨勢、抓取趨勢
2,目錄抓取統計通過日志分析可以看到網站哪些目錄受蜘蛛喜歡、抓取目錄深度、重要頁面目錄抓取狀況
無效頁面目錄抓取狀況等，通過對比目錄下頁面的抓取及收錄情況可以發現更多問題，對于重要錄，需要通過內外調整增加權重及爬取，對于無效頁面，在robots.txt中進行屏蔽。
另外，通過多日日志統計可以看到站內外行為給目錄帶來的效果、優化是否合理，是否達了預期效果，對于同一目錄，長期來看，可以看到該目錄下頁面的表現，根據行為推測表現的刷3,頁面抓取
在網站日志分析中，我們可以看到具體被蜘蛛爬取的頁面，在這些頁面中，我們可以分t旅爬取了哪些需要被禁止爬取的頁面、爬取了哪些無收錄價值的頁面、爬取了哪些重復頁面