工商銀行在大家傳統(tǒng)的印象當(dāng)中是一個(gè)體形非常龐大但是穩(wěn)步前行的形象，但是近些年來(lái)在大數(shù)據(jù)的挑戰(zhàn)下工商銀行積極應(yīng)對(duì)外界變化，做一些轉(zhuǎn)型。其中一個(gè)舉措就是通過(guò)數(shù)據(jù)應(yīng)用驅(qū)動(dòng)業(yè)務(wù)變革。今天我所分享的主題就是和銀行的客戶服務(wù)相關(guān)的，如何應(yīng)用文本挖掘技術(shù)洞察客戶的心聲。

工商銀行每天都在面臨著來(lái)自各方的海量的客戶心聲，最近我們的95588接到這樣一個(gè)來(lái)電，李先生做了一筆跨行匯款操作，對(duì)方還沒(méi)有收到，他來(lái)詢問(wèn)什么時(shí)候可以到帳，這是一個(gè)典型的咨詢?？蛻敉跸壬且粋€(gè)貴賓客戶，他來(lái)電反映說(shuō)在機(jī)場(chǎng)和火車站沒(méi)有享受到工行提供的貴賓廳，他希望工行在以上場(chǎng)所做明顯提示。還有張小姐到一個(gè)支行網(wǎng)點(diǎn)做存款業(yè)務(wù)，發(fā)現(xiàn)里面柜員服務(wù)態(tài)度不耐煩，讓她很不滿意，她要求把這個(gè)情況記錄下來(lái)做一個(gè)反映，這是一個(gè)典型的投訴。

除了官方服務(wù)渠道之外，現(xiàn)在客戶越來(lái)越希望通過(guò)互聯(lián)網(wǎng)社交網(wǎng)絡(luò)的方式表達(dá)他們的心聲，并探討熱點(diǎn)話題。最近我們監(jiān)測(cè)到這樣一個(gè)熱點(diǎn)話題的討論，有人說(shuō)“大家看清楚了，針孔攝像頭就是這樣裝進(jìn)ATM機(jī)偷看你的密碼的。”這是一個(gè)風(fēng)險(xiǎn)事件，工商銀行需要做到及時(shí)了解和掌握。

同時(shí)在互聯(lián)網(wǎng)的新聞網(wǎng)站上最近也有一些報(bào)道，有的市民在便利店蹭WiFi，上了兩個(gè)小時(shí)網(wǎng)，他的銀行卡就被盜刷了，這個(gè)又是怎么辦到的，工商銀行需要對(duì)這些事件做到了解掌控，并且制定對(duì)應(yīng)的措施。以上這些信息都是以文本方式存在的，我們可以通過(guò)文本挖掘的方法了解用戶在說(shuō)什么，挖掘出對(duì)我們有價(jià)值的信息，這對(duì)工商銀行客戶服務(wù)的提升會(huì)有很大的幫助。

傳統(tǒng)客戶服務(wù)分析流程

首先我們了解一下傳統(tǒng)銀行客戶服務(wù)的分析流程。當(dāng)我們的客戶撥打95588熱線電話之后，客服座席會(huì)把他說(shuō)的話和要求記錄下來(lái)，存到客戶之聲系統(tǒng)之中，系統(tǒng)會(huì)對(duì)結(jié)構(gòu)化的部分進(jìn)行分析，比如投訴的數(shù)量、客戶對(duì)我們滿意度的打分或問(wèn)題處理時(shí)效。

對(duì)于其中非結(jié)構(gòu)化數(shù)據(jù)的部分，就是客戶說(shuō)了什么當(dāng)時(shí)沒(méi)辦法做自動(dòng)分析，這只能由分析人員逐個(gè)來(lái)看，但畢竟數(shù)量比較多，人工閱讀做不到非常全面，只能做抽查，大概看看客戶在說(shuō)什么。我們監(jiān)測(cè)分析人員同時(shí)還會(huì)去登錄一些新聞網(wǎng)站了解一下近期有沒(méi)有跟工行相關(guān)的事情發(fā)生，然后他會(huì)把這個(gè)情況記錄下來(lái)，人工編寫(xiě)這么一個(gè)服務(wù)的報(bào)告。當(dāng)時(shí)對(duì)我們的社交媒體是沒(méi)有辦法做到關(guān)注的。

結(jié)合文本挖掘的客戶服務(wù)分析流程

在結(jié)合了文本挖掘技術(shù)之后有了一些流程變化，不僅對(duì)結(jié)構(gòu)化數(shù)據(jù)做分析，同時(shí)也能夠從客戶反饋的文本當(dāng)中提取出客戶的熱點(diǎn)意見(jiàn)，再把熱點(diǎn)去和結(jié)構(gòu)化數(shù)據(jù)做關(guān)聯(lián)分析，就能得到更加豐富的分析場(chǎng)景，這在后面會(huì)有一個(gè)詳細(xì)的介紹。

同時(shí)，我們又新建了一套互聯(lián)網(wǎng)的監(jiān)測(cè)分析系統(tǒng)，能夠?qū)ヂ?lián)網(wǎng)上的金融網(wǎng)站和社交媒體網(wǎng)站做到自動(dòng)的監(jiān)控和分析，當(dāng)然有些重要的事情發(fā)生的時(shí)候可以自動(dòng)的形成監(jiān)測(cè)報(bào)告。

從剛才服務(wù)流程的演變可以看到有了一些挖掘的功能，首先從技術(shù)來(lái)說(shuō)豐富了分析的手段，原來(lái)只能對(duì)結(jié)構(gòu)化進(jìn)行分析，現(xiàn)在能夠?qū)ξ谋緮?shù)據(jù)客戶所說(shuō)的內(nèi)容進(jìn)行分析，然后擴(kuò)大了分析的范圍，原來(lái)只能關(guān)注到工商銀行官方服務(wù)渠道所記錄下來(lái)的信息，現(xiàn)在能夠關(guān)注到在互聯(lián)網(wǎng)上所傳播的信息。第三點(diǎn)是提升了分析的效率，原來(lái)需要員工逐條閱讀工單，現(xiàn)在機(jī)器自動(dòng)閱讀。

客戶意見(jiàn)挖掘業(yè)務(wù)價(jià)值

這些技術(shù)提升點(diǎn)之后就能在文本反饋當(dāng)中發(fā)現(xiàn)客戶的熱點(diǎn)意見(jiàn)集中在哪些方面，如果我們能夠?qū)@些客戶所反映的共性問(wèn)題主動(dòng)發(fā)起一些措施，優(yōu)化我們的業(yè)務(wù)流程，可以提升我們的客戶滿意度和客戶忠誠(chéng)度，而另一方面這些來(lái)電的投訴量會(huì)進(jìn)一步的減少，也就從另一方面降低我們的服務(wù)成本，減少了二次被動(dòng)的服務(wù)投入。

案例分析

今天想分享兩個(gè)具體的案例，一個(gè)是對(duì)95588客戶服務(wù)的一些工單如何做到客戶意見(jiàn)挖掘，這個(gè)是從無(wú)到有的設(shè)計(jì)和探索的全過(guò)程;第二個(gè)案例當(dāng)中會(huì)介紹一下如何聆聽(tīng)在互聯(lián)網(wǎng)上傳播的客戶的心聲。

客戶意見(jiàn)發(fā)掘——業(yè)務(wù)目標(biāo)

通過(guò)95588服務(wù)熱線記錄大量的客戶反饋的文本，拿到一堆文本之后怎么切入客戶的意見(jiàn)挖掘呢?最重要的是先對(duì)客戶做分類，結(jié)合業(yè)務(wù)的處理流程設(shè)計(jì)這么一套適用于銀行客戶意見(jiàn)的分類體系，當(dāng)有投訴過(guò)來(lái)的時(shí)候就知道他所說(shuō)的是關(guān)于自助服務(wù)的還是銀行卡、還是關(guān)于網(wǎng)點(diǎn)服務(wù)的。這樣我們就能分析各個(gè)類別里不同的發(fā)展趨勢(shì)并且進(jìn)行有效處理。

但有了意見(jiàn)分類還不夠，我們知道哪一類的意見(jiàn)是最多的，我們嘗試性做熱詞分析，文本由大量的詞匯構(gòu)成的，我們想看一下在這么多的客戶反饋文本當(dāng)中大家提到哪些詞匯，從中提取客戶說(shuō)的最多的、最頻繁使用的詞匯，用可視化的方式生成一個(gè)詞語(yǔ)。

從這個(gè)圖上我們就能看到有一些效果，包括像工作人員、機(jī)具、查詢、詞匯等等凸顯出來(lái)。在這個(gè)圖上所反應(yīng)的信息不夠精準(zhǔn)，我們只知道有一些關(guān)于工作人員的評(píng)價(jià)或描述，但是不知道工作人員到底出現(xiàn)什么問(wèn)題，我們的自助機(jī)具到底是故障比較多還是客戶不會(huì)用。同時(shí)這個(gè)圖當(dāng)中還存在多詞疑義的問(wèn)題，工作人員和柜員兩個(gè)詞說(shuō)的是類似的問(wèn)題，這對(duì)我們?cè)斐筛蓴_。

如何精準(zhǔn)概括客戶意見(jiàn)?我們提出統(tǒng)一的、概括的用戶觀點(diǎn)的表達(dá)方式，就是對(duì)象、屬性、評(píng)價(jià)三元組的形式。下面這個(gè)例子有四句話：柜員說(shuō)話口氣非常差。今天在柜臺(tái)辦業(yè)務(wù)，里面的人態(tài)度很差;柜員脾氣不好，柜員語(yǔ)氣很不耐煩。用我們的屬性評(píng)價(jià)方式概括就是“柜員態(tài)度不好”。

有了這樣的方式之后對(duì)剛才的詞云做分析，發(fā)現(xiàn)剛才的詞云已經(jīng)演變成了意見(jiàn)云，這些意見(jiàn)都是指向非常明確的比較精準(zhǔn)的，比如說(shuō)網(wǎng)銀跨行匯款不成功，短信余額變動(dòng)不能接收，網(wǎng)點(diǎn)效率低，網(wǎng)點(diǎn)排隊(duì)時(shí)間過(guò)長(zhǎng)，相信大家對(duì)這些問(wèn)題也并不陌生，在有了這個(gè)圖之后我們的分析師就能夠比較直觀的了解最需要去改進(jìn)的問(wèn)題，客戶的意見(jiàn)都聚集在哪些方面。

客戶意見(jiàn)挖掘——模型建立

有了剛才的這些設(shè)計(jì)方式之后，我們可以怎么樣選擇最貼合我們業(yè)務(wù)場(chǎng)景的分析方法，剛才我們首先提到了需要對(duì)文本做自動(dòng)分類，我們最容易想到的就是樸素貝葉斯，它可以計(jì)算一篇文章屬于哪個(gè)類別的概率最大，可以完成分類。

但是進(jìn)行實(shí)際分析和嘗試的過(guò)程當(dāng)中發(fā)現(xiàn)這樣一個(gè)典型的算法，在我們的實(shí)際業(yè)務(wù)場(chǎng)景上其實(shí)并不是特別的適用，首先我們?nèi)鄙儆?xùn)練數(shù)據(jù)，因?yàn)槲覀冞@一套意見(jiàn)類別的分類體系是新建的，歷史上并沒(méi)有積累好數(shù)據(jù)，如果我們重新去標(biāo)注呢，這些意見(jiàn)類別又特別多，有的類別層次又比較深，所以很難在比較短的時(shí)間內(nèi)完成高質(zhì)量的標(biāo)注。

其次，樸素貝葉斯假設(shè)的就是文本當(dāng)中的詞匯與詞匯之間是相互獨(dú)立的，跟我們的業(yè)務(wù)也不相符合，比如之前提到的“態(tài)度不好”這兩個(gè)詞基本是會(huì)關(guān)聯(lián)出現(xiàn)的，不會(huì)單獨(dú)分開(kāi)出現(xiàn)，如果單獨(dú)統(tǒng)計(jì)也就失去了意義。

所以我們發(fā)現(xiàn)當(dāng)我們的業(yè)務(wù)描述語(yǔ)言和業(yè)務(wù)描述邏輯非常復(fù)雜的時(shí)候，統(tǒng)計(jì)的準(zhǔn)確度都不會(huì)太高。剛才又提到需要自動(dòng)提取對(duì)象屬性評(píng)價(jià)用戶觀點(diǎn)，一開(kāi)始用戶的觀點(diǎn)是在討論一個(gè)個(gè)話題，是不是可以用基于LDA這樣的模型完成話題的提取呢?

我們也做一些嘗試，最后發(fā)現(xiàn)像LDA提取出來(lái)的話題有時(shí)候過(guò)粗，不適合我們的具體業(yè)務(wù)，比如我們想要的是“柜員態(tài)度不好”，最后只能精確到柜員描述的層面，作為一個(gè)非精度的模型比較難以調(diào)優(yōu)，有某幾個(gè)話題質(zhì)量不是太高甚至存在重復(fù)話題的時(shí)候，沒(méi)有辦法做針對(duì)性的調(diào)優(yōu)，最重要的一點(diǎn)還是它的可警示性比較差，分析出一些主題之后沒(méi)有辦法把話題歸納成我們所需要的對(duì)象屬性的評(píng)價(jià)形式。

既然我們嘗試過(guò)一些典型的傳統(tǒng)方法不太適用的時(shí)候，接下來(lái)怎么辦?我們選擇了本體模型，從具體的實(shí)際業(yè)務(wù)出發(fā)建立這樣一套適用于業(yè)務(wù)的一套本體體系，首先介紹一下本體是什么概念?

本體最早是一個(gè)哲學(xué)概念，在哲學(xué)層面指的是現(xiàn)實(shí)世界中事物的具體存在，比如我手上拿的話筒具體的事物存在就是本體，比如我們還可以稱它話筒或麥克風(fēng)，甚至可以拿一張?jiān)捦驳膱D片來(lái)描述它。

把本體概念引申到信息科學(xué)的語(yǔ)義層面就變成知識(shí)科學(xué)體系。首先我們用本體表示多層次的業(yè)務(wù)分類或具體的業(yè)務(wù)目標(biāo)，本體業(yè)務(wù)可以由要素和概念兩個(gè)不同的層面構(gòu)成，要素是業(yè)務(wù)層次，一般描述業(yè)務(wù)對(duì)象或業(yè)務(wù)屬性，這跟我們的專業(yè)領(lǐng)域相關(guān)，需要專家來(lái)維護(hù)，在銀行領(lǐng)域就需要維護(hù)像“信用卡”和“借記卡”這樣的業(yè)務(wù)要素。

概念是語(yǔ)言層次，描述基礎(chǔ)的語(yǔ)言概念，比如說(shuō)我們對(duì)時(shí)間怎么描述、對(duì)地點(diǎn)怎么描述，包括人的情緒或者人對(duì)事物的評(píng)價(jià)等等，這些語(yǔ)言概念由于基礎(chǔ)的資源，它跟專業(yè)的業(yè)務(wù)領(lǐng)域是不相關(guān)的，這就可以由我們的技術(shù)人員協(xié)助業(yè)務(wù)專家做一些收集和積累，比如說(shuō)常見(jiàn)的一些語(yǔ)言概念，比如對(duì)于“不及時(shí)”怎么說(shuō)，對(duì)于“異常”有哪些說(shuō)法。

在我們的設(shè)計(jì)當(dāng)中把業(yè)務(wù)層次和語(yǔ)言層次進(jìn)行了相互分離，這樣的事情就有兩方面的好處，我們的業(yè)務(wù)專家就可以專注在業(yè)務(wù)要素的維護(hù)上，而不需要再去關(guān)注語(yǔ)言上的表達(dá)細(xì)節(jié)。另外，這些語(yǔ)言概念有些是不相關(guān)的，就有比較高的附庸性。

本體模型的示例和難點(diǎn)

具體模型示例，我們建立的銀行客戶建立本體體系，跟剛才提到的客戶分類體系是完全一致的，這里面有一個(gè)本體叫“工作人員”，它又可以和對(duì)象要素和屬性要素進(jìn)行關(guān)聯(lián)，對(duì)象要素包括柜員、保安、保潔、大堂經(jīng)理，屬性要素包括態(tài)度、業(yè)務(wù)熟練度，本體和要素又同時(shí)可以從第三個(gè)層次“概念”里相互關(guān)聯(lián)，概念像好、快、熱情、熟練、故障。

通過(guò)對(duì)象要素、屬性要素和評(píng)價(jià)概念這三者進(jìn)行相互連接和組合就能夠構(gòu)成我們對(duì)工作人員這個(gè)本體挖掘表達(dá)式的設(shè)置，從中得到我們想要的三因素，比如像柜員態(tài)度好、大堂經(jīng)理業(yè)務(wù)熟練，同時(shí)我們只要知道這個(gè)觀點(diǎn)是在描述柜員或者保安，能夠把這樣一個(gè)情況給分類到工作人員這個(gè)類別下。

剛才介紹到這里的時(shí)候大家會(huì)感受到一個(gè)本體模型明顯的問(wèn)題和難點(diǎn)，這些本體還是依賴于人工梳理，人工很難，我們采用的是基于深度學(xué)習(xí)的本體半自動(dòng)構(gòu)建方式，其中一個(gè)方式就是對(duì)文本當(dāng)中鄰近詞匯做剪輯，我們具體使用的是 Google 開(kāi)源的 Word2Vec 詞向量模型。

這些詞向量具有一個(gè)特點(diǎn)，它的緯度是固定的，避免了傳統(tǒng)空間向量模型當(dāng)中維數(shù)災(zāi)難的問(wèn)題。由于我們已經(jīng)用詞匯向量表示一個(gè)詞匯的含義，向量之間又是可以加起來(lái)的，所以我們?cè)诖罅课谋镜谋澈罂梢苑治龀鰸撛诘恼Z(yǔ)言學(xué)的規(guī)律，最典型的例子是國(guó)王-皇后等于男人-女人。

在實(shí)際運(yùn)用中是不是有比較好的表現(xiàn)呢?我們做了一些嘗試，最后有一些定律定義詞匯之間語(yǔ)義的相關(guān)性。從這個(gè)例子當(dāng)中看到效果還是不錯(cuò)，對(duì)ATM這個(gè)語(yǔ)義最相近的詞匯有ATM機(jī)、取款機(jī)、自動(dòng)取款機(jī)、柜員機(jī)、自助機(jī)。還有“好”這個(gè)詞語(yǔ)義最相近的比如溫柔、利索、忙前忙后、謙虛、和藹可親?？梢钥吹絎ord2Vec是有一個(gè)比較好的表現(xiàn)。

進(jìn)一步看一下Word2Vec能不能幫助我們的業(yè)務(wù)要素找到最靠譜的平臺(tái)概念。做一個(gè)嘗試，有三個(gè)比較常用的業(yè)務(wù)對(duì)象，包括短信、柜員和保險(xiǎn)，設(shè)置了一組評(píng)價(jià)概念的詞匯，通過(guò)Word2Vec找到了這些概念和評(píng)價(jià)詞匯之間的相似度，標(biāo)紅的部分是明顯高于其它的連接方式的。

能夠看到短信連接到漏發(fā)、錯(cuò)發(fā)、詐騙，柜員可以連接到怠慢、欺騙、誤導(dǎo)，保險(xiǎn)可以連接到欺騙、詐騙和誤導(dǎo)，這確實(shí)能夠有效幫助我們輔助人工做梳理，縮短整個(gè)模型構(gòu)建的周期。

客戶意見(jiàn)挖掘——實(shí)施效果

既然有了客戶意見(jiàn)表示方式，接下來(lái)應(yīng)用于什么業(yè)務(wù)場(chǎng)景當(dāng)中。首先把客戶個(gè)體意見(jiàn)和客戶星級(jí)數(shù)據(jù)做關(guān)聯(lián)，這樣就能看到不同星級(jí)之間的客戶關(guān)心的不同問(wèn)題在哪里，其中我們看到像七星級(jí)客戶和三星級(jí)客戶關(guān)注的問(wèn)題有非常大的差異，其中還有五星級(jí)客戶甚至成為一個(gè)孤島，和其它類型的客戶關(guān)注的點(diǎn)都是完全不同的，從中我們可以制定針對(duì)于高星級(jí)客戶的差異化的服務(wù)策略的提升。

第二個(gè)問(wèn)題是關(guān)聯(lián)的問(wèn)題，比如U盾的問(wèn)題，通過(guò)關(guān)聯(lián)分析就知道哪個(gè)品牌的U盾關(guān)聯(lián)到哪個(gè)問(wèn)題是最多的，形成關(guān)聯(lián)網(wǎng)絡(luò)，從這個(gè)圖上能夠針對(duì)性的制定產(chǎn)品改進(jìn)的措施。

第三個(gè)例子是連續(xù)投訴分析，同一個(gè)客戶在很短的時(shí)間內(nèi)針對(duì)同一個(gè)問(wèn)題反復(fù)投訴的情況，有這個(gè)分析結(jié)果以后有兩個(gè)方面可以利用，首先我們可以知道哪些問(wèn)題是客戶最不能容忍的，一旦沒(méi)有給他很好的得到解決的話他會(huì)反復(fù)投訴，增加我們的投訴量。

另一方面也能夠知道工商銀行在哪些問(wèn)題上的解決是比較欠缺的，由于工商銀行沒(méi)有到位導(dǎo)致客戶進(jìn)一步的投訴。還可以看到客戶意見(jiàn)地域上的分布，隨著時(shí)間的變化這些意見(jiàn)會(huì)得到什么樣的趨勢(shì)性的發(fā)展。把這些緯度進(jìn)行相互結(jié)合可以得到更加靈活的分析結(jié)果，比如說(shuō)在上半年上海高星級(jí)客戶，增長(zhǎng)最快的客戶意見(jiàn)有哪些。

如何聆聽(tīng)互聯(lián)網(wǎng)客戶的心聲

接下來(lái)講講如何聆聽(tīng)互聯(lián)網(wǎng)客戶的心聲。工商銀行非常關(guān)注于行內(nèi)官方途徑的反饋，也特別注意互聯(lián)網(wǎng)上客戶傳播的心聲，我們建立了互聯(lián)網(wǎng)客戶心聲聆聽(tīng)系統(tǒng)，能夠覆蓋到互聯(lián)網(wǎng)上各類新聞網(wǎng)站和社交網(wǎng)絡(luò)渠道，對(duì)我們所關(guān)注的信息做自動(dòng)化收集，在我們得到信息之后會(huì)做多緯度的分類，看這些信息都是關(guān)于什么銀行的，提到了哪一類業(yè)務(wù)和產(chǎn)品，打上什么標(biāo)簽，完成打標(biāo)簽之后跟行內(nèi)的信息也做一個(gè)更好的關(guān)聯(lián)。

由于我們主要關(guān)注互聯(lián)網(wǎng)上所關(guān)注的投訴，在大量信息當(dāng)中識(shí)別負(fù)面評(píng)價(jià)，當(dāng)一個(gè)比較重大的事件發(fā)生的時(shí)候會(huì)有一個(gè)傳播特征的分析，去看這個(gè)事件首發(fā)在什么網(wǎng)站，什么時(shí)候發(fā)生的，經(jīng)過(guò)什么樣的傳播途徑和轉(zhuǎn)載關(guān)系之后達(dá)到爆發(fā)的頂峰，它又是怎么樣慢慢消退的，最后在一些重要事情發(fā)生的時(shí)候可以做及時(shí)預(yù)警。

由于我們所獲取到的信息都是來(lái)源于互聯(lián)網(wǎng)，有一個(gè)最大的特點(diǎn)，就是價(jià)值信息利用率特別低，困擾我們最大的問(wèn)題是怎么在海量數(shù)據(jù)中篩選出最有價(jià)值的信息。

我們用一些比較精準(zhǔn)的關(guān)鍵詞獲取信息，比如說(shuō)工行、工商銀行、ICBC、95588等等，但獲取回來(lái)的信息仍然存在大量垃圾信息，包括一些廣告、尋人尋物和招聘信息等等，垃圾信息占了80%以上的數(shù)據(jù)量，真正有用的信息，我們所需要的投訴、抱怨或者建議最多就是20%的量，怎么樣通過(guò)自動(dòng)化的方式把垃圾信息過(guò)濾掉。

我們也嘗試一些簡(jiǎn)單粗暴的方法，比如設(shè)置一些垃圾信息詞匯的過(guò)濾，像是積分有優(yōu)惠，刷卡有驚喜這樣的詞匯，大概能過(guò)濾掉三分之一的垃圾信息，但畢竟覆蓋是不全面的，這時(shí)候我們又使用這個(gè)方法，在這個(gè)場(chǎng)景下和剛才所說(shuō)的場(chǎng)景就有所區(qū)別，現(xiàn)在變成了二次分類，我們?cè)诙畏诸惿献鲆恍?shù)據(jù)的交付是比較能夠容易實(shí)現(xiàn)的。

同時(shí)用樸素貝葉斯過(guò)濾一些垃圾郵件，最后發(fā)現(xiàn)樸素貝葉斯在這個(gè)方面是比較好的，廣告詞匯和我們有用的詞匯之間區(qū)分度也比較明顯。

完成了過(guò)濾垃圾信息之后，我們所看到的信息看上去比較干凈，但還是不能直接提供給分析師直接使用，因?yàn)槲覀儾杉降臄?shù)據(jù)來(lái)自于互聯(lián)網(wǎng)上的各個(gè)渠道，同一個(gè)事件在不同渠道有不同的報(bào)道，甚至同一個(gè)事件在社交網(wǎng)站上還有很多的評(píng)論，我們?cè)趺礃影淹粋€(gè)事件、同一個(gè)報(bào)道聚合到一起呢?

首先我們想到了K-means的方法，但有一些局限性，比如K值是固定的，但是我不可能知道一堆新聞當(dāng)中存在多少話題和多少事件，同時(shí)這些事件也是不斷地在成長(zhǎng)，新的話題不斷地在發(fā)生，這個(gè)時(shí)候我們引入了新的思想叫“中國(guó)餐館過(guò)程”進(jìn)行優(yōu)化。

這個(gè)可能是外國(guó)人提出來(lái)的，在外國(guó)人眼里中國(guó)人吃飯的時(shí)候喜歡跟中國(guó)人扎堆，當(dāng)我們進(jìn)入中國(guó)餐館的時(shí)候第一人坐在一張桌子上，第二個(gè)人進(jìn)來(lái)的時(shí)候會(huì)看跟第一個(gè)人的熟識(shí)程度怎么樣，如果認(rèn)識(shí)他就坐到第一張桌子上吃飯，如果不認(rèn)識(shí)就新開(kāi)一張桌子自己一個(gè)人坐在那里吃飯，隨著大量顧客逐步進(jìn)入到餐館之后，通過(guò)這樣的原則坐定之后，自然而然的完成了聚類的過(guò)程，每張桌子上坐的是熟識(shí)的人，這跟我們是類似的。

新聞媒體跟社交媒體會(huì)做區(qū)分處理，主要是因?yàn)檫@兩個(gè)數(shù)據(jù)之間的措詞有比較大的區(qū)分，比如說(shuō)在新聞媒體上的措詞相對(duì)比較正規(guī)、嚴(yán)謹(jǐn)，在社交媒體上的措詞比較隨意一些，所以我們會(huì)對(duì)一個(gè)批次的數(shù)據(jù)首先做一個(gè)新聞媒體上的聚類，然后完成社交媒體的聚類。

第三步看社交媒體聚合出來(lái)的話題有沒(méi)有針對(duì)性的評(píng)論某個(gè)新聞事件，如果有第三類就把它劃過(guò)去，如果沒(méi)有它自己?jiǎn)为?dú)成為一個(gè)話題。通過(guò)這樣的方式，我們的信息可以提供給分析師做查詢，他們查看各自領(lǐng)域當(dāng)中發(fā)生的重要事件。

但是這個(gè)時(shí)候業(yè)務(wù)方面給我們提出更加高的要求，能不能在重要事件發(fā)生的時(shí)候做到自動(dòng)的提示預(yù)警，這就帶來(lái)一個(gè)問(wèn)題，我們?cè)趺磁袛嘁粋€(gè)信息是重要還是一般呢?首先根據(jù)人的經(jīng)驗(yàn)來(lái)看一下，影響一件事情成為重要一般有這樣一些分析因素。

首先是涉及的機(jī)構(gòu)，如果一個(gè)事件跟工行相關(guān)比跟同業(yè)其它銀行相關(guān)更重要一些;二是帶有情感色彩;三是轉(zhuǎn)載數(shù)量;四是轉(zhuǎn)載媒體數(shù);五是來(lái)源渠道，來(lái)源于新聞網(wǎng)站的比來(lái)源于社交媒體的重要，因?yàn)樾侣劸W(wǎng)站上的渠道比較正規(guī)正式，社交媒體上可能有大家隨口說(shuō)的小道消息;六是有沒(méi)有關(guān)聯(lián)到我們的業(yè)務(wù)類型。

我們選擇了邏輯回歸的模型，通過(guò)歷史上發(fā)生的重要事件的學(xué)習(xí)就可以自動(dòng)來(lái)識(shí)別這些即將發(fā)生的重要的信息。當(dāng)我們識(shí)別出重要信息之后，除了完成提示預(yù)警之外，還可以提供分析師做查詢的時(shí)候按重要度排序的方式，重要的信息可以提到前面來(lái)，每天我們可以把當(dāng)天的所有信息自動(dòng)生成監(jiān)測(cè)日?qǐng)?bào)提供給分析師做參考。

一些體會(huì)

文本領(lǐng)域挖掘過(guò)程中我們有一些具體的體會(huì)，比如首先選擇貼合業(yè)務(wù)算法的模型，通過(guò)剛才的介紹也可以看到在文本挖掘領(lǐng)域很多的分析模型都有一個(gè)特點(diǎn)，就是可復(fù)印性比較低，往往在一個(gè)領(lǐng)域比較有效的方法換個(gè)領(lǐng)域就不太有效了，甚至換一批數(shù)據(jù)準(zhǔn)確性就有很大的影響。

所以我們?cè)谶x擇一些方法的時(shí)候需要針對(duì)具體的業(yè)務(wù)特征和具體業(yè)務(wù)的特色多做一些嘗試和實(shí)驗(yàn)，通過(guò)實(shí)驗(yàn)的數(shù)據(jù)來(lái)說(shuō)話，我們到底選擇一個(gè)什么樣的比較合適的模型。

第二點(diǎn)是需要去注重語(yǔ)義資源庫(kù)的建設(shè)，語(yǔ)義資源庫(kù)扮演重要的角色，雖然我們可以在互聯(lián)網(wǎng)上獲取重要的資源，比如說(shuō)中文單詞的詞庫(kù)或情感辭典的詞庫(kù)，但是這些詞庫(kù)往往不能直接產(chǎn)生比較好的效果，因?yàn)檫@些詞庫(kù)只包含大眾的詞匯，這需要結(jié)合我們自身專業(yè)的特色。

比如說(shuō)金融行業(yè)就要不斷地整理梳理自身所需要的特色詞匯，這個(gè)可能是需要投入比較大的精力的，我們?cè)谶@個(gè)過(guò)程中也是花費(fèi)了不少的精力，最終才能夠完成我們所需要的分析的效果。

第三個(gè)問(wèn)題，尤其是針對(duì)傳統(tǒng)行業(yè)來(lái)說(shuō)的，因?yàn)?a href="http://www.getteks.net/search?q=大數(shù)據(jù)" class="link-bottom" target="_blank" rel="nofollow">大數(shù)據(jù)商業(yè)的概念其實(shí)已經(jīng)被炒的像一個(gè)神話一樣，大家都在說(shuō)，其實(shí)也很少人知道應(yīng)該怎么去做，經(jīng)常我們得到一些需求都是特別宏觀、特別大的，其實(shí)都不太容易落地，從我們實(shí)際落地的角度來(lái)看，大數(shù)據(jù)要在傳統(tǒng)行業(yè)有效的落地還是要從解決小問(wèn)題開(kāi)始。

總結(jié)

最后做一個(gè)總結(jié)。今天我們討論了兩個(gè)話題，首先對(duì)于95588客戶意見(jiàn)挖掘設(shè)置了“對(duì)象-屬性-評(píng)價(jià)”這樣的方式，然后建立本體模型，針對(duì)本體模型我們?cè)O(shè)計(jì)了詞向量輔助建模。第二個(gè)話題在互聯(lián)網(wǎng)客戶心聲聆聽(tīng)當(dāng)中，我們用樸素貝葉斯完成垃圾信息過(guò)濾，然后完成跨渠道事件聚類，最后完成重要信息的識(shí)別。

來(lái)源：一起大數(shù)據(jù)