1 引言

伴隨著互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展和普及以及用戶規(guī)模的爆發(fā)式增長，互聯(lián)網(wǎng)已經(jīng)步入了“大數(shù)據(jù)”時代。網(wǎng)絡(luò)大數(shù)據(jù)的“大”，不僅僅體現(xiàn)在其體量巨大(大數(shù)據(jù)的起始計量單位至少是Petabyte、Exabyte或Zettabyte)，而且還體現(xiàn)在其增長異常迅猛(通常是指數(shù)級的速率)，數(shù)據(jù)類型多樣(包括了文本、圖像、聲音、視頻等)，數(shù)據(jù)質(zhì)量良莠不齊并且關(guān)聯(lián)關(guān)系復(fù)雜。同時，網(wǎng)絡(luò)大數(shù)據(jù)另外一個突出的特點就是其價值密度低，大數(shù)據(jù)中包含了大量重復(fù)、噪聲和垃圾數(shù)據(jù)，存在大量共現(xiàn)但又毫無意義的關(guān)聯(lián)模式，如果缺乏有效的信息處理手段提取網(wǎng)絡(luò)大數(shù)據(jù)中潛在的價值，網(wǎng)絡(luò)大數(shù)據(jù)不僅不能成為一個價值“寶藏”，反倒會成為一個數(shù)據(jù)的“墳?zāi)?rdquo;。

文本內(nèi)容分析是網(wǎng)絡(luò)信息處理的關(guān)鍵技術(shù)。網(wǎng)絡(luò)大數(shù)據(jù)對于文本內(nèi)容分析而言是一把雙刃劍：一方面，網(wǎng)絡(luò)大數(shù)據(jù)提供了需要文本分析豐富的數(shù)據(jù)源，大規(guī)模的樣本資源可以更好地支持文本分析關(guān)鍵技術(shù)的發(fā)展;另一方面，網(wǎng)絡(luò)大數(shù)據(jù)復(fù)雜的內(nèi)在特征對傳統(tǒng)文本分析技術(shù)提出了嚴(yán)峻的挑戰(zhàn)。例如，網(wǎng)絡(luò)大數(shù)據(jù)越來多地存在于電商、問答等私有化網(wǎng)絡(luò)或者深網(wǎng)中，包括了結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)的獲取和存儲更加困難;數(shù)據(jù)龐大的規(guī)模、復(fù)雜的關(guān)聯(lián)關(guān)系，使得傳統(tǒng)的文本分析和挖掘技術(shù)在計算的時空復(fù)雜度上激增;另外，迅猛的數(shù)據(jù)增長速率、巨大的數(shù)據(jù)體量也使得傳統(tǒng)的全量計算模式(依賴于全體樣本的計算模式)不再適用。本文從短文本主題建模、單詞表達(dá)學(xué)習(xí)和網(wǎng)頁排序?qū)W習(xí)3個子方向探討網(wǎng)絡(luò)大數(shù)據(jù)文本內(nèi)容分析的挑戰(zhàn)和研究成果。

2 文本內(nèi)容分析關(guān)鍵技術(shù)

2.1 短文本主題建模

隨著Web2.0、社交媒體和移動互聯(lián)網(wǎng)等技術(shù)的發(fā)展，每個網(wǎng)民都成為了互聯(lián)網(wǎng)上信息的創(chuàng)造者與傳播者，促使網(wǎng)上文本信息爆炸式增長。與此同時，互聯(lián)網(wǎng)上的文本內(nèi)容形式也在不斷變化。從博客到輕博客和微博、從郵件到論壇和即時通信、從新聞到評論等，一個顯著的特點就是這些文本信息的長度越來越短。這是因為短文本信息編寫簡單隨意，發(fā)布更為便捷。同時，短文本信息比長文本更簡約、緊湊，能節(jié)省其他用戶閱讀消息的時間和精力。短文本信息比傳統(tǒng)文本信息來源要廣得多，更新頻率也快得多，大大加速了互聯(lián)網(wǎng)上信息產(chǎn)生與傳播的速度。

海量的短文本數(shù)據(jù)中蘊藏著大量有價值的信息，但也給現(xiàn)有文本語義分析技術(shù)帶來了新的挑戰(zhàn)。與長文本相比，短文本信息內(nèi)部上下文信息缺乏。此外，普通用戶常常用語不規(guī)范，新詞、多義詞等比較普遍。因此，對一條短文本信息的理解要比長文本要困難得多。在以往的長文本語義分析領(lǐng)域，一種普遍的方法就是利用概率話題模型(如LDA和PLSA)對文檔內(nèi)部的話題結(jié)構(gòu)進(jìn)行建模，然后利用統(tǒng)計推斷手段學(xué)習(xí)出文檔集合中潛在的話題以及話題結(jié)構(gòu)。這些模型的一個基本假設(shè)是文檔是話題的一個混合分布，其中每個詞來源于一個話題。當(dāng)文檔長度較長時，可以較準(zhǔn)確地根據(jù)文檔中的詞推斷出文檔的話題屬性。然而，當(dāng)文檔很短(只有幾個或十幾個詞，甚至少于話題的個數(shù))時，由于數(shù)據(jù)不足，難以準(zhǔn)確推斷出文檔中話題混合分布的參數(shù)以及每個詞的話題屬性，從而影響話題學(xué)習(xí)的效果。

為克服短文本信息的數(shù)據(jù)稀疏性，一種簡單做法是利用外部數(shù)據(jù)(如Wikipedia、搜索結(jié)果)擴(kuò)充文檔的表示，再利用現(xiàn)有的長文本語義建模工具處理。但這種方式的效果嚴(yán)重依賴于原短文本文檔與擴(kuò)充的外部數(shù)據(jù)的相關(guān)程度。對于一些實時性強(qiáng)的數(shù)據(jù)(如微博)，要找到合適的外部數(shù)據(jù)源是很困難的。為此，很多人嘗試?yán)脙?nèi)部數(shù)據(jù)擴(kuò)充文檔的表示，如偽相關(guān)反饋、加入短語特征[3]、相關(guān)消息聚合[4]等。無論是利用外部數(shù)據(jù)擴(kuò)充，還是利用內(nèi)部數(shù)據(jù)擴(kuò)充，都面臨著擴(kuò)充數(shù)據(jù)選擇不當(dāng)帶來額外噪音的風(fēng)險。另外，這兩種方法并沒有從模型上帶來任何改變，只是治標(biāo)不治本。另外，一些研究者[5,6]則提出一條短文本消息只包含一個話題，將短文本消息用單詞混合模型(mixture of unigrams)建模。該方式雖然可緩解參數(shù)估計時的數(shù)據(jù)稀疏性問題，但對短文本消息的建模過于簡化。現(xiàn)實情況下，一條短文本消息仍然可能包含多個話題，尤其是在話題粒度較細(xì)的時候。此時，單詞混合模型無法區(qū)分。

由于短文本消息和長文本文檔顯著不同，傳統(tǒng)面向長文本的話題建模方法并不能簡單地套用到短文本文檔上。為了更好地對短文本進(jìn)行語義建模，提出了一種新的話題建模方法——雙詞話題模型(biterm topic model，BTM)。BTM和傳統(tǒng)基于文檔產(chǎn)生式建模的話題模型的最大區(qū)別是，它通過建模文檔集合中雙詞的產(chǎn)生來學(xué)習(xí)話題。這里，雙詞指的是在同一個上下文中共現(xiàn)的詞對。由于一條短文本消息很短，可以簡單地認(rèn)為每條消息是一條上下文。比如在“短文本語義建模”中，可以抽取出3個雙詞：(“短文本”，“語義”)、(“短文本”，“建模”)、(“語義”，“建模”)。其直接體現(xiàn)了詞的共現(xiàn)關(guān)系，因此采用雙詞作為建模單元。直觀地講，兩個詞共現(xiàn)次數(shù)越多，其語義越相關(guān)，也就越可能屬于同一話題。根據(jù)這一認(rèn)識，假設(shè)每個雙詞由同一個話題產(chǎn)生，而話題從一個定義在整個語料集合上的話題混合分布產(chǎn)生。與LDA相比，BTM通過直接建模雙詞(即詞共現(xiàn)模式)來學(xué)習(xí)話題，從而避免短文本文檔過短導(dǎo)致的文檔建模困難問題。二者的圖模型表示如圖1所示。實驗結(jié)果表明，BTM在短文本上的效果相比LDA等傳統(tǒng)方法有明顯提升，而且在長文本上的效果也不輸于LDA。

除了長度短之外，互聯(lián)網(wǎng)上的短文本大數(shù)據(jù)還具有規(guī)模大、更新快的特點。為此，提出了BTM的兩種在線學(xué)習(xí)算法：在線BTM(oBTM)和增量BTM(iBTM)。

這兩種算法的主要思想是用最近時間段內(nèi)接收到的數(shù)據(jù)來持續(xù)更新模型，而不必反復(fù)計算較久遠(yuǎn)的歷史數(shù)據(jù)。這兩種算法不僅可以用來處理大規(guī)模流式短文本數(shù)據(jù)，其學(xué)到的模型還可以即時反映話題的動態(tài)變化，比較適合用于大規(guī)模流式短文本語義建模。在微博等互聯(lián)網(wǎng)應(yīng)用中，短文本信息還具備很強(qiáng)的時效性，因此其潛在的話題結(jié)構(gòu)也會劇烈變化。尤其受一些突發(fā)和熱點事件、活動的影響，每天都可能涌現(xiàn)出大量的突發(fā)話題。為了對微博中突發(fā)話題建模，在BTM的基礎(chǔ)上提出了一種突發(fā)雙詞話題模型(BBTM或Bursty BTM)。BBTM的做法是利用雙詞的突發(fā)性來指導(dǎo)突發(fā)話題的建模。原因是雙詞的突發(fā)性可以根據(jù)其時序頻率估算出來，突發(fā)性越強(qiáng)、共現(xiàn)次數(shù)越多的雙詞，越可能來源于某個突發(fā)話題?；谶@一思想，BBTM首先將文檔集合中的話題分為突發(fā)和非突發(fā)兩類，然后將雙詞的突發(fā)性作為一個雙詞話題類別判定的先驗。在實驗驗證過程中，發(fā)現(xiàn)BBTM識別出來的突發(fā)話題的準(zhǔn)確性和可讀性都顯著優(yōu)于現(xiàn)有的啟發(fā)式方法。

盡管在短文本語義建模方向取得了一些進(jìn)展，但和人對短文本信息的認(rèn)知能力相比，目前的研究仍然非常初步。在該方向上，筆者認(rèn)為目前值得深入探索的一些研究點如下。

(1)多源異質(zhì)數(shù)據(jù)下的短文本語義建模

在大數(shù)據(jù)時代的背景下，如何廣泛利用其他數(shù)據(jù)源中的知識(如Wikipedia、開放網(wǎng)頁、知識庫等)，進(jìn)一步提高計算機(jī)短文本的理解與處理能力，是進(jìn)一步提升短文本語義建模的必經(jīng)之路。

(2)復(fù)雜結(jié)構(gòu)語義建模

目前研究的話題模型結(jié)構(gòu)都比較簡單，只有一層潛在語義結(jié)構(gòu)，話題的數(shù)目也很有限。這種簡單結(jié)構(gòu)的話題模型只能大概反映文本中的語義，難以準(zhǔn)確、全面地描述文本內(nèi)容。真實文本數(shù)據(jù)中的語義結(jié)構(gòu)很復(fù)雜，可以考慮采用層次、圖狀等結(jié)構(gòu)提升模型的表達(dá)能力。

(3)融合上下文特征的話題建模

目前的語義建模方法大多仍然局限在利用詞共現(xiàn)信息上。在真實的應(yīng)用環(huán)境中，短文本消息還包含大量的上下文信息(如詞性、詞序等內(nèi)源特征)以及作者、地點、人物關(guān)系、時間等外源特征。豐富的上下文特征對解決短文本內(nèi)容稀疏性會有很大幫助。

(4)與應(yīng)用結(jié)合

對短文本語義建模能力的提升最終還需要落地于具體應(yīng)用中。要最大限度地提升應(yīng)用效果，需要研究與具體應(yīng)用相關(guān)的語義建模方法。

2.2 單詞表示學(xué)習(xí)

單詞表示一直是人工智能、自然語言處理、信息檢索等領(lǐng)域的一個基本核心問題。

自然語言處理等相關(guān)領(lǐng)域最常用的單詞表示方法是one-hot表達(dá)，將單詞表示為一個高維向量，這個向量的維度是詞表大小，其中絕大多數(shù)元素為0，只有一個維度的值為1，這個維度就代表了當(dāng)前的詞。這種one-hot表達(dá)如果采用稀疏方式存儲，非常簡潔、高效，配合上最大熵、SVM、CRF等算法，已經(jīng)很好地完成了NLP(natural language processing，自然語言處理)領(lǐng)域的各種主流任務(wù)。

但是，這種表達(dá)有著根本性的缺陷，其假設(shè)所有詞都是獨立無關(guān)的，拋棄了單詞之間的相關(guān)性。這意味著，即使是兩個同義詞，在此表達(dá)下，它們的相似度也是0，這顯然是不合理的。同時，也因為每個單詞都是一個孤立的離散單元，在許多實際問題中會遇到維度災(zāi)難問題。例如語言模型中，對于一個詞匯集合為100 000的模型，即使只使用二元組，其可能的組合情況便可以達(dá)到100億種。這樣就面臨嚴(yán)重的稀疏問題，傳統(tǒng)的語言模型必須使用各種復(fù)雜的平滑技術(shù)來估計那些沒有在語料中出現(xiàn)的組合的概率。

為解決語言模型中的維度災(zāi)難和稀疏問題，Bengio等人提出了神經(jīng)網(wǎng)絡(luò)語言模型[10]。此模型將每個單詞表示為一個連續(xù)的低維稠密實數(shù)向量，這樣得到的語言模型自帶平滑，無須傳統(tǒng)n-gram模型中那些復(fù)雜的平滑算法。這樣的連續(xù)低維稠密實數(shù)向量叫做分布式表達(dá)(distributed representation)，最早由Hinton提出，有別于傳統(tǒng)語義網(wǎng)絡(luò)中用一個獨立節(jié)點表示一個概念的局部表達(dá)(local representation)的方式。而其真正意義上流行開來，始于Bengio在語言模型上取得的成功?，F(xiàn)在，單詞的分布式表達(dá)已經(jīng)廣泛應(yīng)用于自然語言處理的各個方面，如機(jī)器翻譯、情感分析和詞性標(biāo)注等。

使用語言模型來學(xué)習(xí)單詞表達(dá)涉及在給定前文下預(yù)測下一個單詞出現(xiàn)的概率，因此需要在整個詞匯集合中進(jìn)行歸一化操作，這是非常耗時的一個操作。而當(dāng)年Bengio的神經(jīng)網(wǎng)絡(luò)語言模型在今天看來并不很大的語料上訓(xùn)練了4個月之久，即使后來的C&W的工作，也花了兩個月時間才得到一份單詞的表達(dá)。這在更大的數(shù)據(jù)上幾乎是不可忍受的。早期的單詞分布式表達(dá)工作主要集中在如何加速訓(xùn)練上面。

代表性工作有Bengio等人2005年提出的層次神經(jīng)網(wǎng)絡(luò)模型，輸出端不再是一個平坦的softmax層，而是一個樹狀輸出，利用WordNet將一個多項分布分解為一串伯努利分布來優(yōu)化。AndriyMnih和Geoffrey Hinton提出Log-Bilinear模型，去掉了網(wǎng)絡(luò)中隱層的非線性，在此基礎(chǔ)上又提出hierarchical log-bilinear模型，同樣也是將模型的輸出改為層級輸出，從而加速模型的訓(xùn)練，并且效果也有一定的提升。此后，Mnih將噪聲對比估計(noise contrastive estimation，NCE)用于近似優(yōu)化神經(jīng)網(wǎng)絡(luò)語言模型中的sofmax目標(biāo)函數(shù)。而在這方面走得最遠(yuǎn)的當(dāng)屬目前最受關(guān)注的Mikolov等人的工作——Word2Vec。Mikolov在循環(huán)神經(jīng)網(wǎng)絡(luò)語言模型的工作中發(fā)現(xiàn)，將單詞的表達(dá)學(xué)習(xí)與語言模型的學(xué)習(xí)分離開來，可以獲得很好的結(jié)果。于是提出了continuous bag-of-words(CBOW)和skip-gram(SG)兩種單詞表達(dá)學(xué)習(xí)模型。這兩種模型的目標(biāo)不再是學(xué)習(xí)語言模型，而是直接利用自然語言處理中的分布式假設(shè)(distributional hypothesis)來學(xué)習(xí)單詞表達(dá)。這個假設(shè)認(rèn)為一個單詞的語義由其周圍的上下文決定，因此出現(xiàn)在相似上下文中的詞，其含義也相似。CBOW模型利用上下文單詞的表達(dá)，直接預(yù)測當(dāng)前詞的表達(dá);而SG模型則是使用當(dāng)前詞預(yù)測上下文中的每一個詞。這兩種模型都可以使用哈夫曼樹或者Negative sampling加速優(yōu)化。

單詞表達(dá)學(xué)習(xí)算法大體都是基于一個同樣的假設(shè)——分布式假設(shè)。其假設(shè)一個單詞的語義由其周圍的上下文決定。由于單詞之間存在橫向(syntagmatic)和縱向(paradigmatic)兩種關(guān)系，如圖2所示。其中，橫向關(guān)系主要關(guān)注的是詞與詞之間在上下文中的共現(xiàn)關(guān)系，是一種組合性關(guān)系;而縱向關(guān)系則關(guān)注的是詞與詞之間具有相似上下文的關(guān)系，是一種替代性關(guān)系。根據(jù)所使用的分布信息的不同，單詞表達(dá)學(xué)習(xí)方法就可以分為兩大類：基于橫向關(guān)系和基于縱向關(guān)系?，F(xiàn)有模型都只單獨考慮了一種關(guān)系。如隱式語義索引(latent semantic indexing，LSI)，假設(shè)在文檔中共現(xiàn)的單詞具有相似的語義，其利用了橫向關(guān)系;而Word2Vec這類方法認(rèn)為，如果兩個單詞其周圍上下文相似，則其語義相似，其利用了縱向關(guān)系。

如圖2所示，如果僅僅使用橫向關(guān)系，不能得到wolf和tiger相似，這并不合理;另一方面，如果只是用縱向關(guān)系，則wolf和fierce也不相似?？梢姡瑔为毷褂萌我魂P(guān)系，都不能很好地捕捉單詞間的關(guān)聯(lián)。在ACL2015的工作提出了兩種新的單詞表達(dá)學(xué)習(xí)模型(如圖3所示)，有別于現(xiàn)有模型只建模單詞間的橫向關(guān)系或縱向關(guān)系，以并列(PDC模型)或?qū)哟?HDC模型)的方式同時建模這兩種關(guān)系，以得到更好的單詞表達(dá)。PDC模型和HDC模型對應(yīng)地擴(kuò)展了Word2Vec中CBOW和HDC模型，在其基礎(chǔ)上，利用文檔表達(dá)來預(yù)測文檔中出現(xiàn)的單詞，以捕捉單詞間的橫向關(guān)系。

在單詞的類似與相似度任務(wù)上，這兩個模型均取得了state-of-the-art結(jié)果。

分布式表達(dá)的假設(shè)自身也有不足之處，比如不能很好地處理反義詞情形。因為互為反義詞的兩個詞，經(jīng)常出現(xiàn)在同樣的上下文中，所以往往反義詞之間的相似度反而高于其他近義詞。針對此問題，主流思路都是利用外部的知識庫來輔助單詞的表達(dá)學(xué)習(xí)。這類工作的思路大體類似，都是利用外部知識庫如Wikipedia、WordNet約束單詞表達(dá)的學(xué)習(xí)過程，比如讓更新同義詞表達(dá)、限制反義詞表達(dá)等。此外，分布式表達(dá)的假設(shè)也不能很好地處理那些出現(xiàn)次數(shù)很少的單詞。因為這些單詞的上下文信息太少，不足以學(xué)到一個很好的表達(dá)。比較直接的辦法就是直接利用語素信息來改善單詞的表達(dá)，如果兩個單詞具有相同的詞根，則其語義相似。

另外，目前單詞的表達(dá)學(xué)習(xí)主要還是無監(jiān)督的學(xué)習(xí)。因此，評價更多地集中在對單詞本身的語義表達(dá)性能，如各種word similarity和word analogy任務(wù)。然而，這些任務(wù)并不能反映單詞表達(dá)在真實的自然語言處理或者信息檢索任務(wù)中的性能，所以更應(yīng)該使用真實的任務(wù)作為實驗。但這樣帶來的一個問題就是前端表達(dá)學(xué)習(xí)作為無監(jiān)督學(xué)習(xí)，與后端的具體任務(wù)是脫節(jié)的。這也導(dǎo)致許多研究反映，雖然不同的單詞學(xué)習(xí)模型在單詞表達(dá)任務(wù)上可能性能差異很大，但是在具體實際任務(wù)中并沒有顯著差異。但如果直接根據(jù)任務(wù)設(shè)計有監(jiān)督的單詞學(xué)習(xí)模型，又會面臨可用的標(biāo)注數(shù)據(jù)太少的問題。一種可行的方案可能是先利用大規(guī)模數(shù)據(jù)進(jìn)行無監(jiān)督學(xué)習(xí)，得到初始的單詞表達(dá)，然后根據(jù)具體的監(jiān)督任務(wù)調(diào)整單詞表達(dá)，以期望實現(xiàn)更好的應(yīng)用性能。

2.3 網(wǎng)頁排序?qū)W習(xí)

網(wǎng)絡(luò)搜索引擎已經(jīng)成為人們?nèi)粘Ｉ钪械闹匾ぞ?，在搜索引擎的各個組成部分中，排序模型直接決定了人們看到的搜索結(jié)果，因此這種模型對于搜索引擎的性能起著至關(guān)重要的作用。

在信息檢索發(fā)展的歷史上，人們提出了很多排序模型，如進(jìn)行相關(guān)性排序的BM25模型[17]和語言模型以及進(jìn)行搜索結(jié)果多樣化的MMR模型等。這些模型對推動搜索技術(shù)發(fā)展起到了一定作用，但是也存在一些問題：有的模型建立在人們對搜索問題的主觀理解之上，需要根據(jù)經(jīng)驗人為設(shè)定模型參數(shù);還有一些模型雖然可以從大量網(wǎng)頁中學(xué)習(xí)，不斷調(diào)整參數(shù)，但無法利用用戶的反饋信息對模型參數(shù)進(jìn)行優(yōu)化。由于用戶提交不同的查詢詞或者不同用戶提交相同的查詢詞都有可能代表不同的信息需求，因此僅從研究者的主觀理解或者僅從網(wǎng)頁數(shù)據(jù)中學(xué)習(xí)排序模型，都無法很好地解決復(fù)雜的網(wǎng)絡(luò)搜索問題。在這樣的背景下，近年來研究人員開始嘗試使用有監(jiān)督的機(jī)器學(xué)習(xí)方法，即從用戶標(biāo)注或者反饋中學(xué)習(xí)最優(yōu)的相關(guān)性排序模型，稱為排序?qū)W習(xí)(learning to rank)。

為了學(xué)習(xí)最優(yōu)的相關(guān)性排序模型，需要一個訓(xùn)練數(shù)據(jù)集。該集合包含隨機(jī)抽取的查詢詞、與查詢詞有關(guān)的網(wǎng)頁以及這些網(wǎng)頁的標(biāo)注。這些標(biāo)注可能是由用戶顯式提供的絕對信息，如一個網(wǎng)頁和查詢詞是非常相關(guān)、相關(guān)還是不相關(guān)等;也可能是從搜索引擎的用戶行為中挖掘出來的相對信息，如某個網(wǎng)頁是否比另外一個網(wǎng)頁更加相關(guān)。為了從這些標(biāo)注數(shù)據(jù)中學(xué)到最優(yōu)的排序模型，通常需要定義3個部分：一是表征網(wǎng)頁信息的特征向量(如詞頻、頁面分級(PageRank)等)和網(wǎng)頁間關(guān)系的特征向量(如網(wǎng)頁相似度等);二是模型的基本形式(如線性、非線性等);三是用來控制學(xué)習(xí)過程的損失函數(shù)(它衡量了當(dāng)前模型的排序結(jié)果和標(biāo)注信息之間的差別)。極小化損失函數(shù)可以得到與標(biāo)注數(shù)據(jù)最吻合的模型參數(shù)。經(jīng)過優(yōu)化的模型將用于回答新的查詢詞。給定新的查詢詞，首先通過倒排表找到包含該查詢詞的網(wǎng)頁，然后為每個網(wǎng)頁提取特征向量，并將排序模型應(yīng)用到這些特征向量上，從而給每個網(wǎng)頁輸出一個分?jǐn)?shù)，最后將網(wǎng)頁按照分?jǐn)?shù)的降序進(jìn)行排列并返回給用戶。

目前針對相關(guān)性的排序?qū)W習(xí)算法效果已經(jīng)做得很好，部分算法甚至還應(yīng)用到了搜索引擎的部分模塊中。然而一個好的排序不僅依賴于相關(guān)性，多樣化也是一個重要考慮。其目標(biāo)在于在排序結(jié)果的頂部盡量多地展現(xiàn)不同子話題的網(wǎng)頁，因此在排序的同時需要考慮網(wǎng)頁間的相似度。然而，這種解決方案的難點在于傳統(tǒng)的排序算法都以查詢和單個文檔作為輸入，計算查詢—文檔相關(guān)性很難將文檔間的關(guān)系融入排序模型內(nèi)。

為了解決上述問題，有的研究者們直接利用結(jié)構(gòu)化支持向量機(jī)直接優(yōu)化多樣化排序評價準(zhǔn)則，樂(Yue)等也利用結(jié)構(gòu)化支持向量機(jī)尋找最佳文檔子集。然而，由于上述算法沒有對排序模型進(jìn)行本質(zhì)上的改變，模型仍然難以勝任多樣化排序任務(wù)。

朱(Zhu)等人提出了關(guān)系排序?qū)W習(xí)模型R-LTR，其基本思想是：利用傳統(tǒng)的搜索結(jié)果多樣化模型MMR的思想，使用序列文檔選擇的方式構(gòu)造文檔排序，即從序列的頂部開始，依次選擇排在每一個位置上的文檔。在每一次進(jìn)行文檔選擇時，考慮查詢—文檔的相關(guān)性和當(dāng)前文檔與已選擇文檔間的相似性，如圖4所示。

因此，R-LTR模型的參數(shù)分成兩個部分：第一部分為相關(guān)性參數(shù)，其對應(yīng)的特征描述了與查詢—文檔之間匹配的情況和文檔的重要性等;第二部分為文檔關(guān)系參數(shù)，其對應(yīng)的特征描述了文檔—文檔之間的關(guān)系，包括文檔在話題、詞等級別的相似性等。在訓(xùn)練過程中，R-LTR通過最大化似然的方式進(jìn)行參數(shù)估計。在TREC標(biāo)注數(shù)據(jù)集合上的測試表明，在搜索結(jié)果多樣化的任務(wù)上，R-LTR能夠超過傳統(tǒng)的排序?qū)W習(xí)模型，取得了顯著的效果提升。

夏(Xia)等人針對R-LTR算法只利用了“正例”排序(如α-NDCG=1的最佳排序)進(jìn)行訓(xùn)練的問題，提出了PAMM算法，其主要思想是：同時利用“正例”排序和“負(fù)例”排序進(jìn)行訓(xùn)練;在排序過程中直接優(yōu)化多樣化排序評價準(zhǔn)則。實驗結(jié)果表明，上述改進(jìn)方法進(jìn)一步改善了搜索結(jié)果多樣化的排序效果，且使得算法具有優(yōu)化制定的評價準(zhǔn)則的能力。

盡管上述各項工作取得了一定的成功，但是由于搜索結(jié)果多樣化任務(wù)本身的復(fù)雜性，且評價準(zhǔn)則本身不連續(xù)、不可導(dǎo)，使得直接對其進(jìn)行優(yōu)化仍然存在很多困難。相關(guān)的學(xué)習(xí)算法可能無法收斂或者很容易陷入局部極值點。總體上講，這個方向還面臨很多挑戰(zhàn)，需要不斷探索。另外，是否能夠利用深度學(xué)習(xí)的方法自動學(xué)習(xí)多樣性排序的特征和樣本之間的依賴關(guān)系也是一個非常有前景的方向。

3 結(jié)束語

綜上所述，內(nèi)容分析成為理解網(wǎng)絡(luò)大數(shù)據(jù)的重要手段。其中，短文本主題建模、單詞表達(dá)學(xué)習(xí)和多樣性排序?qū)W習(xí)是網(wǎng)絡(luò)大數(shù)據(jù)內(nèi)容分析的熱點問題。隨著網(wǎng)絡(luò)大數(shù)據(jù)的發(fā)展，這些方向還存在很多值得探討的科學(xué)問題，例如多源異構(gòu)數(shù)據(jù)的主題建模、如何有效利用監(jiān)督信息得到特定主題的單詞表達(dá)以及如何使用深度學(xué)習(xí)的方法來自動學(xué)習(xí)多樣性的特征等。這些問題的解決有助于更好地理解和挖掘網(wǎng)絡(luò)大數(shù)據(jù)，從而達(dá)到內(nèi)容分析的目的，為精準(zhǔn)檢索、推薦等應(yīng)用提供支持。

作者：程學(xué)旗   蘭艷艷

來源：大數(shù)據(jù)期刊