近日，自然語言處理領(lǐng)域（NLP）頂級(jí)學(xué)術(shù)會(huì)議 ACL 2020 (https://acl2020.org/) 正在火熱舉行。

令人振奮的是，來自創(chuàng)新工場(chǎng)大灣區(qū)人工智能研究院的兩篇論文入選。這兩篇論文均聚焦中文分詞領(lǐng)域，是深度學(xué)習(xí)引入知識(shí)后的有益嘗試，將該領(lǐng)域近年來廣泛使用的各數(shù)據(jù)集上的分?jǐn)?shù)全部刷至新高，在工業(yè)中也有著可觀的應(yīng)用前景。

"Improving Chinese Word Segmentation with Wordhood Memory Networks"

"Joint Chinese Word Segmentation and Part-of-speech Tagging via Two-way Attentions of Auto-analyzed Knowledge"

分詞及詞性標(biāo)注是中文自然語言處理的基本任務(wù)，尤其在工業(yè)場(chǎng)景對(duì)分詞有非常直接的訴求，但當(dāng)前沒有比較好的一體化解決方案，而且中文分詞普遍存在歧義和未登錄詞的難題。

基于此，兩篇論文各自提出了“鍵-值記憶神經(jīng)網(wǎng)絡(luò)的中文分詞模型”和“基于雙通道注意力機(jī)制的分詞及詞性標(biāo)注模型”，將外部知識(shí)（信息）創(chuàng)造性融入分詞及詞性標(biāo)注模型，有效剔除了分詞“噪音”誤導(dǎo)，大幅度提升了分詞及詞性標(biāo)注效果。

兩篇文章的作者有：華盛頓大學(xué)博士研究生、創(chuàng)新工場(chǎng)實(shí)習(xí)生田元賀，創(chuàng)新工場(chǎng)大灣區(qū)人工智能研究院執(zhí)行院長(zhǎng)宋彥，創(chuàng)新工場(chǎng)科研合伙人張潼，創(chuàng)新工場(chǎng)CTO兼人工智能工程院執(zhí)行院長(zhǎng)王詠剛等人。

ACL（The Association for Computational Linguistics）國際計(jì)算語言學(xué)協(xié)會(huì)是自然語言處理領(lǐng)域影響力最大、最具活力的國際學(xué)術(shù)組織之一，自1962年創(chuàng)立以來已有58年歷史，其每年夏天舉辦的年會(huì)是該領(lǐng)域?qū)W術(shù)頂會(huì)。

與往年不同的是，受新冠疫情影響，ACL 2020全部轉(zhuǎn)為線上進(jìn)行，不過這絲毫沒有減弱熱度。根據(jù)之前公布的數(shù)據(jù)，今年大會(huì)投稿數(shù)量超過3000篇，共接收 779 篇論文，包括 571 篇長(zhǎng)論文和 208 篇短論文，接收率為 25.2%，在全球疫情沖擊下反而是有史以來最盛大的一屆ACL會(huì)議，創(chuàng)新工場(chǎng)的技術(shù)大牛們也頂著時(shí)差連續(xù)數(shù)晚熬夜參會(huì)。

利用記憶神經(jīng)網(wǎng)絡(luò)，將中文分詞性能刷到歷史新高

中文分詞目的是在中文的字序列中插入分隔符，將其切分為詞。例如，“我喜歡音樂”將被切分為“我/喜歡/音樂”(“/”表示分隔符)。

中文語言因其特殊性，在分詞時(shí)面臨著兩個(gè)主要難點(diǎn)。一是歧義問題，由于中文存在大量歧義，一般的分詞工具在切分句子時(shí)可能會(huì)出錯(cuò)。例如，“部分居民生活水平”，其正確的切分應(yīng)為“部分/居民/生活/水平”，但存在“分居”、“民生”等歧義詞。“他從小學(xué)電腦技術(shù)”，正確的分詞是：他/從小/學(xué)/電腦技術(shù)，但也存在“小學(xué)”這種歧義詞。

二是未登錄詞問題。未登錄詞指的是不在詞表，或者是模型在訓(xùn)練的過程中沒有遇見過的詞。例如經(jīng)濟(jì)、醫(yī)療、科技等科學(xué)領(lǐng)域的專業(yè)術(shù)語或者社交媒體上的新詞，或者是人名。這類問題在跨領(lǐng)域分詞任務(wù)中尤其明顯。

對(duì)此，《Improving Chinese Word Segmentation with Wordhood Memory Networks》這篇論文提出了基于鍵-值記憶神經(jīng)網(wǎng)絡(luò)的中文分詞模型。

該模型利用n元組（即一個(gè)由連續(xù)n個(gè)字組成的序列，比如“居民”是一個(gè)2元組，“生活水平”是一個(gè)4元組）提供的每個(gè)字的構(gòu)詞能力，通過加（降）權(quán)重實(shí)現(xiàn)特定語境下的歧義消解。并通過非監(jiān)督方法構(gòu)建詞表，實(shí)現(xiàn)對(duì)特定領(lǐng)域的未標(biāo)注文本的利用，進(jìn)而提升對(duì)未登錄詞的識(shí)別。

例如，在“部分居民生活水平”這句話中，到底有多少可能成為詞的組塊？單字可成詞，如“民”；每?jī)蓚€(gè)字的組合可能成詞，如“居民”；甚至四個(gè)字的組合也可能成詞，例如“居民生活”。

“民” → 單字詞 
“居民” → 詞尾
“民生”→ 詞首
“居民生活” → 詞中
根據(jù)構(gòu)詞能力，找到所有的成詞組合

把這些可能成詞的組合全部找到以后，加入到該分詞模型中。通過神經(jīng)網(wǎng)絡(luò)，學(xué)習(xí)哪些詞對(duì)于最后完整表達(dá)句意的幫助更大，進(jìn)而分配不同的權(quán)重。像“部分”、“居民”、“生活”、“水平”這些詞都會(huì)被突出出來，但“分居”、“民生”這些詞就會(huì)被降權(quán)處理，從而預(yù)測(cè)出正確的結(jié)果。

鍵-值記憶神經(jīng)網(wǎng)絡(luò)分詞模型

在“他從小學(xué)電腦技術(shù)” 這句話中，對(duì)于有歧義的部分“從小學(xué)”（有“從/小學(xué)”和“從小/學(xué)”兩種分法），該模型能夠?qū)?ldquo;從小”和“學(xué)”分配更高的權(quán)重，而對(duì)錯(cuò)誤的n元組——“小學(xué)”分配較低的權(quán)重。

為了檢驗(yàn)該模型的分詞效果，論文進(jìn)行了嚴(yán)格的標(biāo)準(zhǔn)實(shí)驗(yàn)和跨領(lǐng)域?qū)嶒?yàn)。
實(shí)驗(yàn)結(jié)果顯示，該模型在5個(gè)數(shù)據(jù)集（MSR、PKU、AS、CityU、CTB6）上的表現(xiàn)，均達(dá)了最好的成績(jī)（F值越高，性能越好）。（注：所選擇的五個(gè)數(shù)據(jù)集是中文分詞領(lǐng)域目前全世界唯一通用的標(biāo)準(zhǔn)數(shù)據(jù)集）

創(chuàng)新工場(chǎng)大灣區(qū)人工智能研究院執(zhí)行院長(zhǎng)宋彥表示，與前人的模型進(jìn)行比較發(fā)現(xiàn)，該模型在所有數(shù)據(jù)集上的表現(xiàn)均超過了之前的工作，“把中文分詞領(lǐng)域廣泛使用的標(biāo)準(zhǔn)數(shù)據(jù)集上的性能全部刷到了新高。”

和前人工作的比較

在跨領(lǐng)域?qū)嶒?yàn)中，論文使用網(wǎng)絡(luò)博客數(shù)據(jù)集（CTB7）測(cè)試。實(shí)驗(yàn)結(jié)果顯示，在整體F值以及未登陸詞的召回率上都有比較大提升。

“雙通道注意力機(jī)制”，有效剔除“噪音”誤導(dǎo)

第二篇論文《Joint Chinese Word Segmentation and Part-of-speech Tagging via Two-way Attentions of Auto-analyzed Knowledge》提供了一種基于雙通道注意力機(jī)制的分詞及詞性標(biāo)注模型。

中文分詞和詞性標(biāo)注是兩個(gè)不同的任務(wù)。詞性標(biāo)注是在已經(jīng)切分好的文本中，給每一個(gè)詞標(biāo)注其所屬的詞類，例如動(dòng)詞、名詞、代詞、形容詞。詞性標(biāo)注對(duì)后續(xù)的句子理解有重要的作用。

在詞性標(biāo)注中，歧義仍然是個(gè)老大難的問題。例如，對(duì)于“他要向全班同學(xué)報(bào)告書上的內(nèi)容”中，“報(bào)告書”的正確的切分和標(biāo)注應(yīng)為“報(bào)告_VV/書_N”。但由于“報(bào)告書”本身也是一個(gè)常見詞，一般的工具可能會(huì)將其標(biāo)注為“報(bào)告書_NN”。

利用句法知識(shí)進(jìn)行正確的詞性標(biāo)注

句法標(biāo)注本身需要大量的時(shí)間和人力成本。在以往的標(biāo)注工作中，使用外部自動(dòng)工具獲取句法知識(shí)是主流方法。在這種情況下，如果模型不能識(shí)別并正確處理帶有雜音的句法知識(shí)，很可能會(huì)被不準(zhǔn)確的句法知識(shí)誤導(dǎo)，做出錯(cuò)誤的預(yù)測(cè)。

例如，在句子“他馬上功夫很好”中，“馬”和“上”應(yīng)該分開（正確的標(biāo)注應(yīng)為“馬_NN/上_NN”）。但按照一般的句法知識(shí)，卻可能得到不準(zhǔn)確的切分及句法關(guān)系，如“馬上”。

斯坦福大學(xué)的自動(dòng)句法分析工具結(jié)果，分成了“馬上”

針對(duì)這一問題，該論文提出了一個(gè)基于雙通道注意力機(jī)制的分詞及詞性標(biāo)注模型。該模型將中文分詞和詞性標(biāo)注視作聯(lián)合任務(wù)，可一體化完成。模型分別對(duì)自動(dòng)獲取的上下文特征和句法知識(shí)加權(quán)，預(yù)測(cè)每個(gè)字的分詞和詞性標(biāo)簽，不同的上下文特征和句法知識(shí)在各自所屬的注意力通道內(nèi)進(jìn)行比較、加權(quán)，從而識(shí)別特定語境下不同上下文特征和句法知識(shí)的貢獻(xiàn)。

這樣一來，那些不準(zhǔn)確的，對(duì)模型預(yù)測(cè)貢獻(xiàn)小的上下文特征和句法知識(shí)就能被識(shí)別出來，并被分配小的權(quán)重，從而避免模型被這些有噪音的信息誤導(dǎo)。

基于“雙通道注意力機(jī)制”的分詞及詞性標(biāo)注

即便在自動(dòng)獲取的句法知識(shí)不準(zhǔn)確的時(shí)候，該模型仍能有效識(shí)別并利用這種知識(shí)。例如，將前文有歧義、句法知識(shí)不準(zhǔn)確的句子（“他馬上功夫很好”），輸入該雙通道注意力模型后，便得到了正確的分詞和詞性標(biāo)注結(jié)果。

分詞及詞性標(biāo)注實(shí)例

為了測(cè)試該模型的性能，論文在一般領(lǐng)域和跨領(lǐng)域分別進(jìn)行了實(shí)驗(yàn)。

一般領(lǐng)域?qū)嶒?yàn)結(jié)果顯示，該模型在5個(gè)數(shù)據(jù)集（CTB5，CTB6，CTB7，CTB9，Universal Dependencies）的表現(xiàn)（F值）均超過前人的工作，也大幅度超過了斯坦福大學(xué)的 CoreNLP 工具，和伯克利大學(xué)的句法分析器。

即使是在與CTB詞性標(biāo)注規(guī)范不同的UD數(shù)據(jù)集中，該模型依然能吸收不同標(biāo)注帶來的知識(shí)，并使用這種知識(shí)，得到更好的效果。

該模型在所有數(shù)據(jù)集上均超過了之前的工作

CTB5（CTB5是使用最多的中文分詞和詞性標(biāo)注的數(shù)據(jù)集）結(jié)果

而在跨領(lǐng)域的實(shí)驗(yàn)中，和斯坦福大學(xué)的 CoreNLP 工具相比，該模型也有近10個(gè)百分點(diǎn)的提升。

跨領(lǐng)域分詞實(shí)驗(yàn)（對(duì)話測(cè)試集）的結(jié)果

主動(dòng)引入和分辨知識(shí)，實(shí)現(xiàn)中文分詞技術(shù)突破

中文分詞在中國科研領(lǐng)域已經(jīng)有幾十年的歷史。最初的中文分詞是基于詞典構(gòu)建，詞典的好壞會(huì)直接影響到最后分析的效果。如果某個(gè)新詞在詞典里沒有，那么模型是死活都分不出來的。

這種方式的局限性還在于，詞典和分詞兩件事情中間始終有一條鴻溝，盡管詞典可以編撰得非常全面，但在處理分詞的時(shí)候，因?yàn)槊恳痪湓挾加猩舷挛恼Z境，往往會(huì)產(chǎn)生多種不同的切分方法，從而無法有效地在當(dāng)前語境下對(duì)分詞結(jié)構(gòu)進(jìn)行恰當(dāng)?shù)闹笇?dǎo)。

從2003年開始，分詞方法出現(xiàn)了新的突破。研究人員提出了打標(biāo)簽的方式，通過給每一個(gè)字打詞首、詞尾、詞中的標(biāo)簽，不再需要構(gòu)建詞典，大幅度提升了未登錄詞的召回效果。

到了2014年左右，深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)開始被廣泛應(yīng)用到中文分詞中，打標(biāo)簽的模型從之前的淺層學(xué)習(xí)變成了深度學(xué)習(xí)，但算法本質(zhì)沒有發(fā)生變化，所以提升作用并不太大。

近兩年，學(xué)界開始研究怎么在打標(biāo)簽的過程中加入外部知識(shí)和信息。創(chuàng)新工場(chǎng)的這兩篇文章就是沿著這個(gè)路徑，用記憶神經(jīng)網(wǎng)絡(luò)的方式記錄對(duì)分詞結(jié)果有影響的 n元組，并引入對(duì)詞性標(biāo)注有影響的句法知識(shí)，將分詞結(jié)果和自動(dòng)獲得的知識(shí)銜接起來，既發(fā)揮了神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)，也把知識(shí)的優(yōu)勢(shì)用上，實(shí)現(xiàn)了分詞技術(shù)上小而有效的改進(jìn)和突破。

宋彥表示，“從技術(shù)創(chuàng)新的角度，我們的貢獻(xiàn)主要有兩點(diǎn)。一是在現(xiàn)有技術(shù)的基礎(chǔ)上，建立了一個(gè)一體化的模型框架，使用非監(jiān)督方法構(gòu)建詞表，并把知識(shí)（信息）融入進(jìn)來，使用更高層次的句法知識(shí)，來幫助詞性標(biāo)注，起到'他山之石，可以攻玉’的效果。”

“二是主動(dòng)吸收和分辨不同的外部知識(shí)（信息）。通過鍵-值記憶神經(jīng)網(wǎng)絡(luò)和雙通道注意力機(jī)制，進(jìn)行動(dòng)態(tài)權(quán)重的分配，能夠有效分辨知識(shí)，區(qū)分哪些是有效的，哪些是無效的。雖然這些知識(shí)是自動(dòng)獲取的、不準(zhǔn)確的，但‘三個(gè)臭皮匠，頂個(gè)諸葛亮’，經(jīng)過有效利用，總能湊出一些有用的信息。如何實(shí)現(xiàn)模型的主動(dòng)吸收和分辨，就變得更加重要。”

據(jù)了解，今年的ACL大會(huì)，在分詞領(lǐng)域一共收錄了18篇論文，創(chuàng)新工場(chǎng)人工智能工程院同時(shí)有2篇入選，也表現(xiàn)出ACL官方對(duì)這一貢獻(xiàn)的認(rèn)可。

具備跨領(lǐng)域分詞能力，提升工業(yè)應(yīng)用效率

中文分詞和詞性標(biāo)注是最底層的應(yīng)用，對(duì)于接下來的應(yīng)用和任務(wù)處理非常重要。例如對(duì)于文本分類、情感分析，文本摘要、機(jī)器翻譯等，分詞都是不可或缺的基本“元件”。

宋彥表示，做此項(xiàng)研究的目的是主要為了拓展其工業(yè)場(chǎng)景的應(yīng)用，正確的分詞能夠平衡公司應(yīng)用開發(fā)的效率和性能，同時(shí)方便人工干預(yù)及（預(yù)）后處理。

這也是創(chuàng)新工場(chǎng)人工智能工程院的努力方向之一。工程院成立于2016年9月，宗旨是銜接科技創(chuàng)新和行業(yè)賦能，做嫁接科研和產(chǎn)業(yè)應(yīng)用的橋梁，為行業(yè)改造業(yè)務(wù)流程、提升業(yè)務(wù)效率。

工程院下設(shè)北京總部、南京研究院和大灣區(qū)研究院。大灣區(qū)研究院再下設(shè)信息感知和理解實(shí)驗(yàn)室，專注于對(duì)自然語言處理（NLP）領(lǐng)域的研究。執(zhí)行院長(zhǎng)宋彥本人也有超過15年的NLP領(lǐng)域的科研經(jīng)驗(yàn)。

創(chuàng)新工場(chǎng)人工智能工程院架構(gòu)圖

“在工業(yè)場(chǎng)景使用的時(shí)候，跨領(lǐng)域的模型能力是一個(gè)非常直接的訴求。”宋彥表示，在某個(gè)領(lǐng)域的訓(xùn)練模型，大概率也需要應(yīng)用到其他領(lǐng)域。

“如何在新領(lǐng)域缺少數(shù)據(jù)，或者新領(lǐng)域只有少量未標(biāo)注數(shù)據(jù)的情況下，實(shí)現(xiàn)模型的冷啟動(dòng)，依然是項(xiàng)巨大的挑戰(zhàn)。如果能利用外部知識(shí)，提高模型性能，就能有效地召回很多在訓(xùn)練集中沒有出現(xiàn)過的新詞。”

例如搜索引擎的廣告系統(tǒng)，最初也是通過組詞匹配的方式，在某個(gè)特定領(lǐng)域訓(xùn)練其分詞模型，但在進(jìn)入一個(gè)新的領(lǐng)域時(shí)，例如從新聞?lì)I(lǐng)域進(jìn)入醫(yī)療領(lǐng)域或體育領(lǐng)域，效果往往會(huì)大打折扣，甚至頻頻出錯(cuò)。

而使用跨領(lǐng)域特性后，廣告系統(tǒng)在進(jìn)入新領(lǐng)域時(shí)，便無需額外的數(shù)據(jù)，就可以對(duì)它進(jìn)行比較準(zhǔn)確的分詞和標(biāo)注，從而有效匹配廣告和客戶，大大提升系統(tǒng)運(yùn)行的效率和穩(wěn)定性。

目前，這兩篇論文的工具都已經(jīng)開源，在下面兩個(gè)鏈接中，可以找到對(duì)應(yīng)的所有代碼和模型，各位朋友可按需自取：

分詞工具： https://github.com/SVAIGBA/WMSeg
分詞及詞性標(biāo)注工具： https://github.com/SVAIGBA/TwASP

來源：數(shù)據(jù)猿