做網(wǎng)站日志分析，可以幫助我們從客觀數(shù)據(jù)出發(fā)去了解網(wǎng)站的情況，準(zhǔn)確地定位搜索引擎蜘蛛爬行的頁面以及時(shí)間長短，從而有針對性的對我們的網(wǎng)站進(jìn)行調(diào)整。

一、查看狀態(tài)碼信息（附：網(wǎng)站制作過程中見到的http狀態(tài)碼是什么）

狀態(tài)碼分為兩種，一種是蜘蛛狀態(tài)碼，另一種是用戶狀態(tài)碼，通過蜘蛛狀態(tài)碼可以準(zhǔn)確的查看到網(wǎng)站是否存在抓取問題。例如：404代表的是錯(cuò)誤頁，301、302代表的是重定向，還有一些：504、500、等狀態(tài)碼，值得說的是：除去200狀態(tài)碼，出現(xiàn)其他的狀態(tài)碼都是應(yīng)當(dāng)值得注意的，當(dāng)然，如果只是個(gè)別幾條則無需理會(huì)。但是如果數(shù)量一旦偏多，網(wǎng)站則100%出現(xiàn)問題了。

二、查看目錄抓取概況

目錄抓取，可以清晰的查看到光顧網(wǎng)站的蜘蛛爬行過哪些目錄。要知道有些目錄是沒有價(jià)值的，如一些圖標(biāo)目錄、下載目錄、留言目錄等，還有后臺(tái)目錄、數(shù)據(jù)庫，如果任由蜘蛛爬行，也是一種安全隱患。另外一方面，搜索引擎對于不同的站點(diǎn)都有著抓取配額，無用目錄，更不要占用這樣的配額，以免減少有效配額的抓取量。

三、查看頁面抓取概況

頁面抓取可以準(zhǔn)確的查看到蜘蛛爬行的每一個(gè)頁面，這也是對于LOG日志分析上非常重要的一個(gè)環(huán)節(jié)。如：多重URL鏈接的抓取?垃圾頁面的抓取?都是可以在其中展現(xiàn)出來的。甚至：某個(gè)頁面抓取頻率越高，通常代表這個(gè)頁面更有價(jià)值。

如果你想優(yōu)化的頁面，抓取頻率偏低，那么就要為其增加適當(dāng)?shù)钠毓舛?，來達(dá)成你想要的結(jié)果。

四、如何分析應(yīng)對？

1.如果想要更多有效的著陸頁被蜘蛛更多的抓取，那么請進(jìn)行結(jié)構(gòu)內(nèi)鏈的完善。

2.不希望蜘蛛抓取那些沒有優(yōu)化意義的頁面上，那么robots.txt上來進(jìn)行封閉。

3.“蜘蛛陷阱”無止盡的循環(huán)，浪費(fèi)抓取配額，通過頁面抓取，都可以直觀看到。

4.曝光力度夠了，蜘蛛一樣不抓取，只能說頁面價(jià)值太低，需要進(jìn)一步優(yōu)化。

5.我們希望每個(gè)頁面的下載時(shí)間足夠快，可以在有效的時(shí)間內(nèi)抓取更多的頁面。

6.不是所有的蜘蛛都是真的蜘蛛，要學(xué)會(huì)查看蜘蛛是否為“采集”和“模擬”。

7.分析每天的蜘蛛，可以查看上升或者下降的趨勢。如果有明顯的變化，網(wǎng)站很可能會(huì)出事。

8.降低或者封禁不會(huì)帶來流量的蜘蛛，以減少服務(wù)器壓力，對大型網(wǎng)站很重要。

西安網(wǎng)站推廣公司認(rèn)為，網(wǎng)站日志分析也是中小企業(yè)網(wǎng)絡(luò)建設(shè)方案的其中一項(xiàng)重要內(nèi)容，也是我們必須掌握的一種基本的技能，可以對我們出現(xiàn)問題的網(wǎng)站進(jìn)行簡單的診斷，及時(shí)處理問題。