IT外包 觀瀾電腦維修


 企業郵局 收藏本站
首頁 公司簡介 資訊中心 產品介紹 招聘信息 聯系我們 客戶留言 下載中心
企業信息
 
 
 新聞中心
百度baidu查詢處理/中文分詞--很清楚

我們分兩個部分來講述:查詢處理/中文分詞.用戶向搜索引擎提交查詢,搜索引擎一般在接受到用戶查詢后要做一些處理,然后在索引數據庫里面提取相關的信息.那么百度在接受到用戶查詢后做了些什么工作呢?

[中科院軟件所的張俊林并不是做SEO的,但是我覺得他的分析使我們號稱SEO的人是無法做到的,對搜索引擎優化和本身一些設計思路的認識,有根本的提高作用,所以,這里將轉載一些張俊林搜索引擎方面的系列文章,供參考.對張俊林想深入了解的朋友可以參考http://seorenwu.shaseng.org.cn/zhangjuniln.html相關內容.]隨著搜索經濟的崛起,人們開始越加關注全球各大搜索引擎的性能、技術和日流量。作為企業,會根據搜索引擎的知名度以及日流量來選擇是否要投放廣告等;作為普通網民,會根據搜索引擎的性能和技術來選擇自己喜歡的引擎查找資料;作為技術人員,會把有代表性的搜索引擎作為研究對象. 搜索引擎經濟的崛起,又一次向人們證明了網絡所蘊藏的巨大商機。網絡離開了搜索將只剩下空洞雜亂的數據,以及大量等待去費力挖掘的金礦。

但是,如何設計一個高效的搜索引擎?我們可以以百度所采取的技術手段來探討如何設計一個實用的搜索引擎.搜索引擎涉及到許多技術點,比如查詢處理,排序算法,頁面抓取算法,CACHE機制,ANTI-SPAM等等.這些技術細節,作為商業公司的搜索引擎服務提供商比如百度,GOOGLE等是不會公之于眾的.我們可以將現有的搜索引擎看作一個黑盒,通過向黑盒提交輸入,判斷黑盒返回的輸出大致判斷黑盒里面不為人知的技術細節.查詢處理與分詞是一個中文搜索引擎必不可少的工作,而百度作為一個典型的中文搜索引擎一直強調其”中文處理”方面具有其它搜索引擎所不具有的關鍵技術和優勢.那么我們就來看看百度到底采用了哪些所謂的核心技術.

我們分兩個部分來講述:查詢處理/中文分詞.

一. 查詢處理

用戶向搜索引擎提交查詢,搜索引擎一般在接受到用戶查詢后要做一些處理,然后在索引數據庫里面提取相關的信息.那么百度在接受到用戶查詢后做了些什么工作呢?

1. 假設用戶提交了不只一個查詢串,比如”信息檢索 理論 工具”.那么搜索引擎首先做的是根據分隔符比如空格,標點符號,將查詢串分割成若干子查詢串,比如上面的查詢就會被解析為:<信息檢索,理論,工具>三個子字符串;這個道理簡單,我們接著往下看.

2. 假設提交的查詢有重復的內容,搜索引擎怎么處理呢?比如查詢”理論 工具 理論”,百度是將重復的字符串當作只出現過一次,也就是處理成等價的”理論 工具”,而GOOGLE顯然是沒有進行歸并,而是將重復查詢子串的權重增大進行處理.那么是如何得出這個結論的呢?我們可以將”理論 工具”提交給百度,返回341,000篇文檔,大致看看第一頁的返回內容.OK.繼續,我們提交查詢”理論 工具 理論”,在看看返回結果,仍然是那么多返回文檔,當然這個不能說明太多問題,那看看第一頁返回結果的排序,看出來了嗎?順序完全沒有變化,而GOOGLE則排序有些變動,這說明百度是將重復的查詢歸并成一個處理的,而且字符串之間的先后出現順序基本不予考慮(GOOGLE是考慮了這個順序關系的).

3. 假設提交的中文查詢包含英文單詞,搜索引擎是怎么處理的?比如查詢”電影BT下載”,百度的方法是將中文字符串中的英文當作一個整體保留,并以此為斷點將中文切分開,這樣上述的查詢就切為<電影,BT,下載>,不論中間的英文是否一個字典里能查到的單詞也好,還是隨機的字符也好,都會當作一個整體來對待.至于為什么,你用查詢” 電影dfdfdf下載”看看結果就知道了.當然如果查詢中包含數字,也是如此辦理.

到目前為止,一切很簡單,也很清楚,百度怎么處理用戶查詢的呢?歸納如下:首先根據分割符號將查詢分開,然后看看是否有重復的字符串,如果有,就拋棄多余的,只保留一個,接著判斷是否有英文或者數字,如果有的話,把英文或者數字當作一個整體保留并把前后的中文切開.

接著該干什么呢?該考慮分詞的問題了.

二. 中文分詞

首先,講講百度的分詞時機或者條件問題,是否是個中文字符串百度就拿來切一下呢?非也,要想被百度的分詞程序榮幸的切割一下也是要講條件的,哪能是個字符串就切割啊?你當百度是賣鋸條的么?

那么什么樣的字符串才滿足被切割的條件呢?簡單說來,如果字符串只包含小于等于3個中文字符的話,那就保留不動,當字符串長度大于4個中文字符的時候,百度的分詞程序才出馬大干快上,把這個字符串肢解掉.

怎么證明呢?我們向百度提交”電影下載”,看看返回結果中標為紅字的地方,不難看出來,查詢已經被切割成<電影,下載>兩個單詞了,說明分詞程序已經開工了,如果是比4個中文字符更長的字符串,那分詞程序就更不客氣了,一定大卸八塊而后快.我們來看看三個字符的情況,提交查詢”當然擇”,看起來這個查詢不倫不類,那是因為我希望看到這個字符串被切分為<當然,擇>,返回結果365篇相關頁面,翻到最后一頁,發現標紅的關鍵字都是”當然擇”連續出現的情況,好像沒有切分,但是還不確定,那么再提交人工分好的查詢”當然 擇”看看,返回結果1,090,000篇,基本上可以確定沒有進行分詞了,當然另外一種解釋是:對于三個字符先切分,然后將切分后的結果當作一個短語查詢,這樣看到的效果和沒有切分是相似的.但是我傾向于判斷百度對于少于3個字符的串沒有切分,奧卡姆不是說了么”如無必要,勿增實體”,干嗎做無用功呢.那么如果沒有切分,會有一個隨之而來的問題,怎么從索引庫里面提取未切分的字符串呢?這牽扯到索引的問題,我覺得百度應該采取了兩套索引機制,一種是按照單詞索引,一種是按照N-GRAM索引,至于索引的具體問題,以后在詳細論述.

下面我們看看百度是采取的何種分詞算法,現在分詞算法已經算是比較成熟了,有簡單的有復雜的,比如正向最大匹配,反向最大匹配,雙向最大匹配,語言模型方法,最短路徑算法等等,有興趣的可以用GOOGLE去搜索一下以增加理解.這里就不展開說了.但是要記住一點的是:判斷一個分詞系統好不好,關鍵看兩點,一個是消除歧義能力;一個是詞典未登錄詞的識別比如人名,地名,機構名等.

那么百度用的是什么方法?我的判斷是用雙向最大匹配算法.至于怎么推理得出的,讓我們一步步來看.當然,這里首先有個假設,百度不會采取比較復雜的算法,因為考慮到速度問題.

我們提交一個查詢”毛澤東北京華煙云”,又一個不知所云的查詢,盡管不知所云但是自有它的道理,我想看看百度的分詞是如何消歧以及是否有詞典未登錄詞的識別的功能,如果是正向最大匹配算法的話,那么輸出應該是:”毛澤東/北京/華/煙云”,如果是反向最大匹配算法的話,那么輸出應該是:”毛/澤/東北/京華煙云”,我們看看百度的分詞結果:”毛澤東/北/京華煙云”,一個很奇怪的輸出,跟我們的期望相差較多,但是從中我們可以獲得如下信息:百度分詞可以識別人名,也可以識別”京華煙云”,這說明有詞典未登錄詞的識別的功能,我們可以假設分詞過程分為兩個階段:第一階段,先查找一個特殊詞典,這個詞典包含一些人名,部分地名以及一些普通詞典沒有的新詞,這樣首先將”毛澤東”解析出來,剩下了字符串”北京華煙云”,而”北/京華煙云”,可以看作是反向最大匹配的分詞結果.這樣基本說得通.為了證明這一點,我們提交查詢”發毛澤東北”,我們期望兩種分詞結果,一個是正向最大匹配<發毛,澤,東北>,一個是上述假設的結果<發,毛澤東,北>,事實上百度輸出是第二種情況,這樣基本能確定百度分詞采取了至少兩個詞典,一個是普通詞典,一個是專用詞典(人名等).而且是專用詞典先切分,然后將剩余的片斷交由普通詞典來切分.

繼續測驗,提交查詢”古巴比倫理”,如果是正向最大匹配,那么結果應該是<古巴比倫,理>,如果是反向最大匹配,那么結果應該是<古巴,比,倫理>,事實上百度的分詞結果是<古巴比倫,理>,從這個例子看,好像用了正向最大匹配算法;此外還有一些例子表明好像是使用正向最大匹配的;但是且慢,我們看這個查詢”北京華煙云”,正向最大匹配期望的結果是<北京,華,煙云>,而反向最大匹配期望的結果是<北,京華煙云>,事實上百度輸出的是后者,這說明可能采用的反向最大匹配;從這點我們可以猜測百度采用的是雙向最大匹配分詞算法,如果正向和反向匹配分詞結果一致當然好辦,直接輸出即可;但是如果兩者不一致,正向匹配一種結果,反向匹配一種結果,此時該如何是好呢?從上面兩個例子看,在這種情況下,百度采取最短路徑方法,也就是切分的片斷越少越好,比如<古巴,比,倫理>和<古巴比倫,理>相比選擇后者,<北京,華,煙云>和<北,京華煙云>相比選擇后者.還有類似的一些例子,這樣基本可以解釋這些輸出結果.

但是仍然遺留的問題是:如果正向反向分詞不一致,而且最短路徑也相同,那怎么辦?輸出正向的還是反向的結果?我們再來看一個例子.提交查詢”遙遠古古巴比倫”,這個查詢被百度切分為<遙遠,古古,巴比倫>,說明詞典里面有”巴比倫”,但是是否有”古巴比倫”這個詞匯不確定,此時看不出是正向切分還是反向切分得出的結果,換查詢為”遙遠古巴比倫”,此時被切分為”遙遠/古巴比倫”,這說明詞典里面有”古巴比倫”這個詞匯,這說明了”遙遠古古巴比倫”是正向最大匹配的結果.那為什么”遙遠古古巴比倫”不會被反向切分為”遙/遠古/古巴比倫”呢,百度的可能選擇是這種情況下選擇單字少的那組切分結果.

當然還可以繼續追問:如果切分后單字也一樣多,那怎么辦?最后看一個例子,查詢”王強大小:”,百度將其切分為”王/強大/小”,是正向切分的結果,如果是反向的會被切分為”王/強/大小”,這說明有歧義而且單字也相同則選擇正向切分結果.

OK,看到這里可能頭已經有些暈了,最后總結一下百度的分詞算法,當然里面還是有猜測的成分,算法如下:

首先查詢專用詞典(人名,部分地名等),將專有名稱切出,剩下的部分采取雙向分詞策略,如果兩者切分結果相同,說明沒有歧義,直接輸出分詞結果.如果不一致,則輸出最短路徑的那個結果,如果長度相同,則選擇單字詞少的那一組切分結果.如果單字也相同,則選擇正向分詞結果..

百度一直宣傳自己在中文處理方面的優勢,從上面看,分詞算法并無特殊之處,消歧效果并不理想,即使百度采取比上述分詞算法復雜些的算法也難以說成是優勢,如果說百度有優勢的話,唯一的優勢就是那個很大的專用詞典,這個專用詞典登錄了人名(比如大長今),稱謂(比如老太太),部分地名(比如阿聯酋等),估計百度采用學術界公布的比較新的命名實體識別算法從語料庫里面不斷識別出詞典未登錄詞,逐漸擴充這個專門詞典.如果這就是優勢的話,那么這個優勢能夠保持多久就是個很明顯的問題.

上面說過,經過分析得出百度的分詞系統采用雙向最大匹配分詞,但是后來發現推理過程中存在一個漏洞,而且推導出來的百度分詞算法步驟還是過于繁瑣,所以進一步進行分析,看看是否前面的推導有錯誤.

那么以前的分析有什么漏洞呢?我們推導百度分詞有反向最大匹配的依據是百度將"北京華煙云"分詞為<北,京華煙云>,從這里看好像采用了反向最大匹配,因為正向最大匹配的結果應該是<北京,華,煙云>,但是由此就推論說百度采用了雙向最大匹配還是太倉促了,前面文章我們也講過,百度有兩個詞典,一個普通詞典,一個專有詞典,而且是專有詞典的詞匯先切分,然后將剩余片斷交給普通詞典去切分.所以上面的"北京華煙云"之所以被切分成<北,京華煙云>,另外一個可能是:京華煙云這個詞匯是在專有詞典里面存儲的,所以先分析,這樣得出"京華煙云",剩下"北",沒什么好切分的,所以輸出<北,京華煙云>.

這里只是假設,那么是否確實"京華煙云"在專有詞典呢?我們再看一個例子"山東北京華煙云",百度切分的結果是<山東,北,京華煙云>,如果"京華煙云"在普通詞典,如果是反向切分,那么結果應該是<山,東北,京華煙云>,如果是正向切分應該是<山東,北京,華,煙云>,無論如何都分不出<山東,北,京華煙云>.這說明什么?說明"京華煙云"是在那個專有詞典,所以先切分出"京華煙云",然后剩下的"山東北"交由普通詞典切分,明顯是正向最大匹配的結果輸出<山東,北>.當然按照我們在第一篇文章的算法推導"山東北"的切分也會得出<山東,北>的結論,但是明顯比正向最大匹配多幾個判斷步驟,既然效果一樣,另外一個更加簡潔的方法也能說得通,那當然選擇簡便的方法了.所以初步判斷百度采取的是正向最大匹配.

我們繼續測試采用何種分詞算法,為了減少專有詞典首先分詞造成的影響,那么查詢里面不能出現相對特殊的詞匯,構筑查詢"天才能量級",這里應該沒有專有詞典出現過的詞匯,百度切分為<天才,能量,級>,看來是正向最大匹配的結果.另外,如果所有查詢詞匯都出現在專有詞典,那么采取的是何種方法?這樣首先就得保證詞匯都出現在專有詞典,這么保證這一點呢?我們構造查詢"鋪陳曉東方",百度切分為<鋪,陳曉東,方>,可以看出"陳曉東"是在專有詞典的所以先切分出來.另外一個例子 "山東京城",百度切分為<山東,京城>,說明"東京"是在普通詞典的.OK,構造查詢"陳曉東京華煙云",通過前面分析可以看出兩個詞匯都在專有詞典里面,百度切分為<陳曉東,京華煙云>,說明對于專有詞典詞匯也是采取正向最大匹配或者雙向最大匹配.那么使用反向最大匹配了嗎?構造查詢例子"陳曉東方不敗",首先我們肯定"陳曉東"和"東方不敗"都是在專有詞典出現的,如果是正向切分,那么應該是<陳曉東,方,不敗>或者<陳曉東,方,不,敗>如果是反向切分則是<陳,曉,東方不敗>,可以看出百度的切分是<陳曉東,方,不敗>或者<陳曉東,方,不,敗>,說明采用的是正向最大匹配.通過分析,百度的詞典不包含"不敗"這個單詞,所以實際上百度的切分結果是<陳曉東,方,不,敗>,很明顯這和我們以前推導的算法是有矛盾的,所以以前的分析算法確實有問題,所以結論是百度采取的是正向最大匹配算法.

重新歸納一下百度的分詞系統:首先用專有詞典采用最大正向匹配分詞,切分出部分結果,剩余沒有切分交給普通詞典,同樣采取正向最大匹配分詞,最后輸出結果.

另外,GOOGLE也是采用正向最大匹配分詞算法,不過好像沒有那個專用詞典,所以很多專名都被切碎了.

從這點講,GOOGLE在中文詞典構建上比百度差些,還需要加把子力氣才行,不過這也不是什么多難的事.

 
公司簡介 | 資訊中心 | 營銷業務 | 聯系我們 | 客戶留言 | 人才招聘 | 下載中心
Copyright©2007-2008 深圳(觀瀾)騰飛電腦有限公司
業務QQ:190785994 有事找我請點這里!聯系電話:13751057178
E-mail:[email protected] 粵ICP備08008234號
公司地址:深圳市觀瀾鎮君子布村

觀瀾電腦維修 IT外包

(www.kkibyz.tw)版權所有
26选5开奖规则