在文件分析(document analysis)中,搜索引擎查看搜索詞是否出現(xiàn)在文件的重要區(qū)域——標(biāo)題、元標(biāo)簽、H標(biāo)簽和頁面文字。搜索引擎也根據(jù)文件分析和其他因素嘗試自動(dòng)衡量文件的質(zhì)量。對(duì)如今的搜索引擎來說,僅僅依靠文件分析是不夠的,所以它們也要考慮語義聯(lián)系。
語義聯(lián)系(semantic connectivity)指的是通常相互關(guān)聯(lián)的詞或詞組。例如,當(dāng)你看到al。ha,就會(huì)把它和夏威夷聯(lián)系起來,而不是佛羅里達(dá)。搜索引擎構(gòu)建自己的同義詞庫和字典,幫助確定某些詞或話題之間有什么樣的關(guān)系。
搜索引擎可以掃描它們的網(wǎng)上內(nèi)容數(shù)據(jù)庫,使用模糊集合理論和某些方程式將詞語聯(lián)系起來,開始像人類一樣理解頁面及網(wǎng)站。專業(yè)SEO人員不一定需要使用語義聯(lián)系測(cè)量工具來優(yōu)化網(wǎng)站,不過更高級(jí)的SEO人員會(huì)盡力充分利用每一個(gè)因素。
語義聯(lián)系測(cè)量對(duì)下面這些方面有幫助:
1、衡量選擇什么詞組作為目標(biāo)關(guān)鍵詞。
2、衡量有關(guān)某個(gè)話題的頁面上應(yīng)該包括什么關(guān)鍵詞組。
3、衡量其他高排名網(wǎng)站或網(wǎng)頁上的文字之間的關(guān)系。
4、尋找能提供相關(guān)主題鏈接的頁面。
這些資料技術(shù)性太強(qiáng)了,SEO人員只需要了解獲得有價(jià)值的信息的原則。要知道,雖然IR領(lǐng)域有成百上千個(gè)技術(shù)用語,其中很多難以理解,不過就算是SEO新手也可以區(qū)分和理解這些術(shù)語。
IR模型(搜索引擎)使用模糊集合理論(Lotfi Zadeh博士于1969年創(chuàng)建的模糊邏輯分支)來發(fā)現(xiàn)兩個(gè)詞之間的語義關(guān)系。IR系統(tǒng)并非使用同義詞典或字典來找出兩個(gè)詞之間是否有關(guān)系,而是使用自己的海量?jī)?nèi)容數(shù)據(jù)庫來推測(cè)出詞之間的關(guān)系。
這個(gè)過程雖然聽起來復(fù)雜,但原理很簡(jiǎn)單。搜索引擎需要依靠機(jī)器邏輯(對(duì)/錯(cuò)、是/非等)判斷,機(jī)器邏輯相對(duì)人類有它的優(yōu)勢(shì),但機(jī)器邏輯不能像人類一樣思考。對(duì)人類來說很直觀的事情,對(duì)計(jì)算機(jī)來說可能非常難以理解。
例如橘子和香蕉都是水果,但橘子和香蕉并不都是圓的。對(duì)人來說這是很直觀的事情。機(jī)器要理解這一點(diǎn)以及其他與此類似的概念,語義聯(lián)系是關(guān)鍵。網(wǎng)上大量的人類知識(shí)可以被收錄進(jìn)索引庫,并且從中分析出人類已經(jīng)建立起來的聯(lián)系。
所以機(jī)器掃描索引庫中“香蕉”和“橘子”這兩個(gè)詞出現(xiàn)的地方,注意到“圓形”和“香蕉”很少同時(shí)出現(xiàn),而“橘子’’和“圓形”經(jīng)常同時(shí)出現(xiàn),機(jī)器就知道橘子是圓的,而香蕉不是圓的。
這就是模糊邏輯發(fā)揮作用的地方。只要分析詞語以何種頻率一起出現(xiàn),在什么情況下一起出現(xiàn),模糊集合理論就可以幫助計(jì)算機(jī)理解詞語之間是怎樣相關(guān)的。一個(gè)在此基礎(chǔ)上有所擴(kuò)展的相關(guān)概念是潛在語義分析(LSA,Latent Semantic Analysis)。
通過研究?jī)|萬網(wǎng)頁的海量索引,搜索引擎可以“學(xué)習(xí)”哪些詞之間有聯(lián)系,哪些概念之間有聯(lián)系。例如,運(yùn)用LSA,搜索引擎能夠分辨前往ZOO(動(dòng)物園)的trips(旅途)活動(dòng),經(jīng)常包括viewing wildlife(觀看野生生物)和animals(動(dòng)物),可能是一次tour(旅行)的一部分。
現(xiàn)在在Google搜索一下“-zoo~trips”,注意,返回結(jié)果中加黑體的詞與上一段中的英文單詞相匹配。Google將相關(guān)詞顯示為黑體,并且能夠辨認(rèn)出哪些詞在它們的索引庫中經(jīng)常同時(shí)出現(xiàn)(連在一起,在同一頁或比較靠近的位置)。
某些形式的LSA計(jì)算成本太高,F(xiàn)在的搜索引擎還不能像麻省理工學(xué)院的最新型學(xué)習(xí)計(jì)算機(jī)那樣聰明地學(xué)習(xí)。例如,搜索引擎無法從它們的索引庫中學(xué)到,斑馬和老虎都是帶條紋的動(dòng)物,雖然它們能意識(shí)到“條紋”和“斑馬”比“條紋”和“鴨子”更有語義關(guān)系。
潛在語義索引(LSI,Latent Semantic Indexing)將語義分析更進(jìn)一步,可以分辨相關(guān)聯(lián)的網(wǎng)頁。例如搜索引擎可能注意到一個(gè)頁面是關(guān)于doctor的,另一個(gè)頁面是關(guān)于physician的,根據(jù)這兩個(gè)頁面上經(jīng)常共同出現(xiàn)的其他詞,搜索引擎認(rèn)定這兩個(gè)頁面有一定關(guān)系。
所以,搜索physician時(shí),談?wù)揹octor的頁面也可能出現(xiàn)。搜索引擎公司在這些技術(shù)上投資已經(jīng)很多年了。例如,2003年4月Google收購(gòu)了Applied Semantics,這是一個(gè)以其語義文字處理技術(shù)聞名的公司。
這個(gè)技術(shù)現(xiàn)在用于Google AdSense的廣告系統(tǒng)中,也很有可能在核心搜索算法中使用。這些應(yīng)用使我們認(rèn)識(shí)到搜索引擎怎樣分辨網(wǎng)上詞匯、詞組以及概念之間的聯(lián)系。隨著語義聯(lián)系成為搜索引擎算法越來越重要的部分,可以預(yù)期,頁面、網(wǎng)站和鏈接的主題將會(huì)越來越受重視。
未來搜索引擎將更有能力理解概念和主題,分辨哪些內(nèi)容、鏈接、頁面與整個(gè)網(wǎng)站的主題不太吻合。