通過網(wǎng)站日志來分析百度蜘蛛爬行的各項參數(shù)的含義

我們做優(yōu)化的站長都知道，網(wǎng)站的快照、排名、以及收錄情況都是與百度蜘蛛有關(guān)的，所謂的百度蜘蛛他也就是百度的一個程序。和我們站長朋友直接能打交道或碰面的就是通過日常來分析他的各項參數(shù)。下面合肥網(wǎng)站建設(shè)根據(jù)自己的理解來和大家一起分析一下。

首先我們來看一段百度蜘蛛爬行的結(jié)果
219.234.5.254 - - [28/Jan/2013:01:06:11 +0800] "GET /news/18/811.html HTTP/1.0" 200 4046 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
上面是我截取百度蜘蛛的一段代碼。首先是前面的IP 地址，這個地址只要在百度里面一查我們會看到這個地址是百度蜘蛛爬行的地址，個人理解是可能百度蜘蛛的程序有很多的IP地址，可能每個網(wǎng)站他的日志的ip地址是不相同的。IP地址后面的就是爬行的時間，通過時候我們可以看出在百度蜘蛛一般什么時候來我們的網(wǎng)站比較多，這樣我們就會在這個時間里面更新文章。再到后面就是爬行的頁面，這個對我們做網(wǎng)站優(yōu)化也有一定的指導(dǎo)作用。如果某些頁面蜘蛛爬行的比較多，那說明他的可讀性比較強，以后增加文章的時候可以有一定的參考作用。再后面就是一個"200" 這個是很重要的一個數(shù)字，一般200是代表正常的，如果返回的結(jié)果是404就說明這個頁面不存在，蜘蛛找不到這要樣的頁面，因此我們就要修改這樣的頁面，讓404盡可能的減少。再后面這個4046這個網(wǎng)上也沒有具體給出分析合肥網(wǎng)絡(luò)公司認(rèn)為可能是爬行的時間，具體的百度官方也沒有給出合理的解釋。再后面就表示是哪個搜索引擎的蜘蛛，通過我們的日志可以看出，每天比較多的，像百度、搜狗、搜搜等等這些搜索引擎每個搜索引擎都有自己的爬行蜘蛛。

以上是我個人對網(wǎng)站日志里面的一些理解，作為一名站長，要能學(xué)會看懂日志，并且通過日志來學(xué)習(xí)網(wǎng)站優(yōu)化