第一，能夠獲得網(wǎng)站的目錄抓取的信息。

 

當(dāng)百度蜘蛛到你的網(wǎng)站上爬行收錄內(nèi)容時(shí)，你的網(wǎng)站日志會(huì)對(duì)百度蜘蛛的行為會(huì)進(jìn)行自動(dòng)的記錄，因此只要你去分析網(wǎng)站的日志，你就會(huì)發(fā)現(xiàn)百度蜘蛛到你的網(wǎng)站上爬取了那些目錄，這樣你就會(huì)了解百度蜘蛛喜好你網(wǎng)站上怎樣的內(nèi)容。另外也可以知道百度蜘蛛是否到那些不會(huì)提升網(wǎng)站權(quán)重的目錄上進(jìn)行了爬行。因?yàn)橛械木W(wǎng)站內(nèi)容如注冊(cè)頁(yè)面、廣告頁(yè)面以及圖標(biāo)目錄等，都不需要讓百度去爬行。另外對(duì)于網(wǎng)站的數(shù)據(jù)庫(kù)也完全不需要被百度蜘蛛爬行。這一方面能夠有效的規(guī)避百度認(rèn)為網(wǎng)站是垃圾網(wǎng)站的風(fēng)險(xiǎn)，另一方面也能夠提升網(wǎng)站的安全等級(jí)。

 

第二，分析網(wǎng)站的頁(yè)面抓取信息。

 

當(dāng)頁(yè)面是否被百度蜘蛛抓取都會(huì)在網(wǎng)站的日志上顯現(xiàn)，這也是我們分析網(wǎng)站的一個(gè)重要內(nèi)容。例如我們的網(wǎng)站頁(yè)面上是否存在著垃圾頁(yè)面被抓取，是否存在著多重的URL鏈接被抓取。同時(shí)也可以看出哪些頁(yè)面經(jīng)常被抓取，抓取的頻度是多少等。通過(guò)這些數(shù)據(jù)你就會(huì)清晰的了解，要對(duì)一些垃圾頁(yè)面進(jìn)行屏蔽，防范因?yàn)槔?yè)面被抓取過(guò)多導(dǎo)致網(wǎng)站被降權(quán)。

 

如果有的頁(yè)面的內(nèi)容抓取的頻率很高，那么說(shuō)明這個(gè)頁(yè)面很受百度的青睞，這就意味著我們可以多撰寫(xiě)這樣的內(nèi)容，從而吸引百度的注意，同時(shí)也能夠有效的提升網(wǎng)站的權(quán)重，因?yàn)楦哔|(zhì)量的內(nèi)容被抓取的越多，就意味著網(wǎng)站的權(quán)重會(huì)越高，那么優(yōu)化的效果也就會(huì)越佳。

 

第三，分析網(wǎng)站的狀態(tài)碼信息。

 

通常狀態(tài)碼主要包括兩種，一種是用戶狀態(tài)碼，另一種就是蜘蛛狀態(tài)碼。對(duì)于蜘蛛狀態(tài)碼這個(gè)數(shù)據(jù)來(lái)說(shuō)，能夠可以分析網(wǎng)站是否存在著搜索引擎的抓取問(wèn)題。如果出現(xiàn)了404，說(shuō)明是錯(cuò)誤頁(yè)，如果是301或者302，說(shuō)明是進(jìn)行了重定向，另外還有504以及500這樣的狀態(tài)碼，其中200狀態(tài)碼需要被關(guān)注，因?yàn)檫@說(shuō)明網(wǎng)站存在著一定的風(fēng)險(xiǎn)，如果200狀態(tài)碼出現(xiàn)的數(shù)量過(guò)多，這必然說(shuō)明了網(wǎng)站存在著巨大優(yōu)化風(fēng)險(xiǎn)。

 

對(duì)于用戶狀態(tài)碼來(lái)說(shuō)，主要表示的是用戶訪問(wèn)網(wǎng)站的情況，這里可以看出用戶的關(guān)注重點(diǎn)，從而指導(dǎo)站長(zhǎng)對(duì)這些方向的內(nèi)容進(jìn)行優(yōu)化，從而提升對(duì)用戶的吸引力，而對(duì)于用戶不夠關(guān)注的地方也要分析原因，從而對(duì)癥下藥，進(jìn)而實(shí)現(xiàn)網(wǎng)站綜合水平的提升。