搜索引擎對中文分詞

   分詞是中文搜索引擎特有的步驟。搜索引擎存儲和處理頁面內容及用戶查詢都是以詞為基礎的。英文等語言單詞之間有空格作為天然分隔,搜索引擎索引程序可以直接把句子劃分為單詞的集合。而中文詞與詞之間沒有任何分隔符。一個句子中的所有字和詞都是連在一起的。搜索引擎必須首先分辨哪幾個字組成一個詞,哪些字本身就是一個詞。比如“減肥方法”將被分詞為“減肥”和“方法”兩個詞。

  中文分詞方法基本上有兩種,一種是基于詞典匹配,另一種是基于統計。

  基于詞典匹配的方法是指,將待分析的一段漢字與一個事先造好的詞典中的詞條進行匹配,在待分析漢字串中掃描到詞典中已有詞條則匹配成功,或者說切分出一個單中。

  按照掃描方向,基于詞典的匹配法可以分為正向匹配和逆向匹配。按照匹配長度優先級的不同,又可以分為適合大匹配和適合小匹配。將掃描方向和長度優先混合,又可以產生正向適合大匹配、逆向適合大匹配等不同方法。

  詞典匹配方法計算簡單,其準確度在很大程度上取決于詞典的完整性和更新情況。

  基于統計的分詞方法指的是分析大量文字樣本,計算出字與字相鄰出現的統計概率,幾個字相鄰出現越多,就越可能形成一個單詞?;诮y計的方法的優勢是對新出現的詞反應更快速,也有利于消除歧義。

  基于詞典匹配和基于統計的分詞方法各有優劣,實際使用中的分詞系統都是混合使用兩種方法的,快速高效,又能識別生詞、新詞,消除歧義。

  中文分詞接做往往影響搜索引擎排名的相關性。比如在百度搜索“搜索引擎優化”,從快照中可以看到,百度把“搜索引擎優化”這六個字當成一個詞。

  這種分詞上的不同很可能是一些關鍵詞排名在不同搜索引擎有不同表現的原因之一。比如百度更喜歡查詢詞完整匹配出現的頁面,也就是說搜索“點石互動”時,這四個字連續完整出現更容易在百度獲得好的排名。谷歌就與此不同,不太要求完整匹配。一些頁面出現“點石”和“互動”兩個詞,但不必完整匹配地出現,“點石”出現在前面,“互動”出現在頁面的其他地方,這樣的頁面在谷歌搜索“點石互動”時,也可以獲得不錯的排名。

  需要說明的是快照只能在某些情況下幫助我們大致猜測搜索引擎的分詞處理,但這不是一個通用可靠的方法,很多時候我們并不能從快照中看出搜索引擎是怎么分詞的。比如在百度搜索一些很長的詞甚至句子,對于不同網站,百度快照有時候將整個句子標注為同一個顏色,有時候又分為不同顏色的詞的組合。即使在快照中將整個句子標為同一個顏色,顯然百度也不是將整個句子分為一個詞。

  搜索引擎對頁面的分詞取決于詞庫的規模、準確性和分詞算法的好壞,而不是取決于頁面本身如何,所以SEO人員對分詞能做得很少。唯一能做的是在頁面上用某種形式提示搜索引擎,某幾個字應該被當作一個詞處理,尤其是可能產生歧義的時候,比如在頁面標題、H1標簽及黑體中出現關鍵詞。如果頁面是關于“和服”的內容,那么可以把“和服”這兩個字特意標為黑體。如果頁面是關于“化妝和服裝”,可以把“服裝”兩個字標為黑體。這樣,搜索引擎對頁面進行分析時就知道標為黑體的應該是一個詞。


請尊重我們的辛苦付出,未經允許,請不要轉載南京SEO優化-南京網站優化推廣-凱壹良SEO公司!
上一篇:搜索引擎預處理方面的提取文字處理
下一篇:Seo如何理解網站去停止詞和消除噪聲