淺談搜索引擎的核心—搜索引擎的爬行蜘蛛

   今天合肥網(wǎng)絡(luò)公司和大家談?wù)勊阉饕娴暮诵?，搜索引擎蜘蛛（crawler）。蜘蛛是搜索引擎獲取網(wǎng)絡(luò)資源的重要途徑。通過網(wǎng)絡(luò)蜘蛛，搜索引擎可以有機(jī)的獲取當(dāng)前互聯(lián)網(wǎng)上最新的網(wǎng)頁，為接下來分析關(guān)鍵詞,排序等等提供素材。既然蜘蛛如此的重要，那么我們就應(yīng)該針對(duì)蜘蛛給他提供一些適合他的“食物”但是在這里有個(gè)非常重要的概念就是蜘蛛是很有禮貌的，它不會(huì)不告而訪。它會(huì)在自己的“user agent”聲稱“我是某某搜索引擎的蜘蛛”。這就為我們提用一個(gè)很好的機(jī)會(huì)，因?yàn)闄C(jī)器畢竟和人不一樣，要達(dá)到人類最好的視覺效果可能會(huì)對(duì)搜索引擎對(duì)頁面的分析不利，反之亦然。通過探測蜘蛛的方法，可以把一個(gè)完全只適合給機(jī)器看的頁面交給蜘蛛但是一點(diǎn)也不影響到自己真正用戶的用戶體驗(yàn)。而且，隨著時(shí)間的發(fā)展，蜘蛛開始變的越來越聰明，有些蜘蛛比如說google,已經(jīng)可以理解頁面本身中的javascript(但不是包括 〈SCRIPT src="XXX" type=text/javascript〉這樣外部的javascript),這樣如果你不想讓蜘蛛去某個(gè)鏈接的話完全可以把它寫進(jìn)javascript中。至于說html里面的各個(gè)標(biāo)簽應(yīng)該怎么寫對(duì)搜索引擎有益，互聯(lián)網(wǎng)上已經(jīng)有很多文章闡述了，本文就不贅述了。
      蜘蛛還有一個(gè)重要但是很無奈的特點(diǎn)就是蜘蛛的資源是有限的。特別是對(duì)于一些規(guī)模較小的搜索引擎，他們會(huì)設(shè)計(jì)自己的一套算法來決定是否要讓蜘蛛訪問某個(gè)頁面。如果這個(gè)頁面不夠“重要”（由各個(gè)引擎自己定義），而且資源也不夠的情況下，這個(gè)頁面就會(huì)被忽略。我們不妨來做個(gè)實(shí)驗(yàn)，去百度的網(wǎng)站輸入site: cn.alexa.com，會(huì)顯示有約694,000篇，再去sogou的網(wǎng)頁嘗試，你會(huì)看見找到 6 個(gè)網(wǎng)頁。這也給各位希望做搜索引擎優(yōu)化的諸位提個(gè)警鐘，不要太在意這個(gè)時(shí)候在（小規(guī)模搜索引擎的）結(jié)果。如果資金允許的話，在這個(gè)時(shí)候在小規(guī)模引擎上買些關(guān)鍵字。

    合肥網(wǎng)站建設(shè)認(rèn)為我們要想獲得好的關(guān)鍵字排名一定要很好的對(duì)待搜索引擎蜘蛛。因?yàn)樗撬阉饕娴暮诵摹?/P>