Google的蜘蛛

  我們?cè)谧鼍W(wǎng)站優(yōu)化的時(shí)候，經(jīng)常聽有朋友說。網(wǎng)站做的好，有利于蜘蛛爬，有利于好的排名。那到底什么是搜索引擎的蜘蛛，又叫爬蟲呢。

  合肥網(wǎng)站建設(shè)今天就和大家說說GOOGLE的搜索引擎機(jī)器人對(duì)叫蜘蛛。google機(jī)器人是Google 的web 抓取漫游器。它從web上收集文檔，為Google搜索引擎建立可搜索的索引。 Googlebot是google的機(jī)器人的意思，俗稱google爬蟲

   把火狐偽裝成爬蟲有什么好處呢？對(duì)經(jīng)常光顧verycd的朋友們非常有用?？梢悦獾卿浛促N。首先我們用火狐測(cè)試一下：打開這里是不是要求你登錄？

   繼續(xù)，設(shè)置方法，打開火狐，Ctrl+T新建一個(gè)瀏覽標(biāo)簽，輸入：about:config，打開配置頁面，右鍵點(diǎn)擊頁面選擇“新建→字符串”，在彈出的窗口中輸入：general.useragent.override，確定之后，輸入：Googlebot/2.1 (+http://www.googlebot.com/bot.html)，繼續(xù)確定，關(guān)閉窗口。

   首先要介紹的是Google的"crawl caching proxy"（爬行緩存代理）。Matt舉了一個(gè)ISP與用戶的例子來說明它。用戶上網(wǎng)時(shí)，總是先通過ISP獲取網(wǎng)頁內(nèi)容，然后ISP就會(huì)把用戶訪問過的網(wǎng)頁緩存起來備用。比如說，當(dāng)用戶A訪問了www.seo39.com，那么中國電信（或網(wǎng)通等）就會(huì)把"幻滅的麥克風(fēng)"發(fā)送給用戶A，然后將"幻滅的麥克風(fēng)"緩存起來，當(dāng)用戶B在下一秒鐘里再訪問www.seo39.com，那么中國電信就會(huì)把緩存里的"幻滅的麥克風(fēng)"發(fā)送給用戶B，這樣就能節(jié)省了帶寬。 
   Google最新的軟件層面的升級(jí)（轉(zhuǎn)移至BigDaddy）已經(jīng)接近完成，因此升級(jí)后的Google各方面的能力都將得到加強(qiáng)。這些加強(qiáng)包括了更智能化的googlebot爬行、改良的規(guī)范性以及更好的收錄網(wǎng)頁能力。而在Googlebot爬行抓取網(wǎng)頁方面，Google也采取了節(jié)省帶寬的方法。Googlebot也隨著BigDaddy的升級(jí)而得到了升級(jí)。新的Googlebot已經(jīng)正式支持了gzip編碼，所以如果你的網(wǎng)站開啟了gzip編碼功能，那么就能節(jié)省Googlebot爬行你的網(wǎng)頁時(shí)所占的帶寬。