前言：

大數(shù)據(jù)是一個(gè)事關(guān)我國經(jīng)濟(jì)社會(huì)發(fā)展全局的戰(zhàn)略性產(chǎn)業(yè)，大數(shù)據(jù)技術(shù)為社會(huì)經(jīng)濟(jì)活動(dòng)提供決策依據(jù)，提高各個(gè)領(lǐng)域的運(yùn)行效率，提升整個(gè)社會(huì)經(jīng)濟(jì)的集約化程度，對于我國經(jīng)濟(jì)發(fā)展轉(zhuǎn)型具有重要的推動(dòng)作用!2016年，由中國首席數(shù)據(jù)官聯(lián)盟與網(wǎng)加時(shí)代網(wǎng)發(fā)起并承辦，北京大學(xué)信息化與信息管理研究中心、中國新一代IT產(chǎn)業(yè)推進(jìn)聯(lián)盟、數(shù)邦客協(xié)辦的"影響中國大數(shù)據(jù)產(chǎn)業(yè)進(jìn)程100人"大型人物專訪活動(dòng)全面啟動(dòng)，被采訪對象分別來自政府、產(chǎn)、學(xué)、研、企各個(gè)領(lǐng)域，他們將從不同角度，不同層面向大家闡述當(dāng)前大數(shù)據(jù)產(chǎn)業(yè)熱點(diǎn)、難點(diǎn)、疑點(diǎn)問題，為中國大數(shù)據(jù)產(chǎn)業(yè)健康、持續(xù)發(fā)展探索經(jīng)驗(yàn)、保駕護(hù)航，敬請關(guān)注!

智慧星光總裁白劍波（中）

白劍波，中國首席數(shù)據(jù)官聯(lián)盟專家組成員，北京智慧星光信息技術(shù)有限公司總裁。北航計(jì)算機(jī)專業(yè)碩士。曾經(jīng)擔(dān)任翰云時(shí)代科技有限公司總裁，NOKIA位置服務(wù)部門大中國區(qū)產(chǎn)品總監(jiān)，甲骨文顧問咨詢服務(wù)部中國區(qū)實(shí)施總監(jiān)，Sun公司ISV工程部高級(jí)經(jīng)理，北航教師。

本期特邀嘉賓中國首席數(shù)據(jù)官聯(lián)盟發(fā)起人劉冬冬，就文本大數(shù)據(jù)應(yīng)用與白劍波先生進(jìn)行深入探討。

劉冬冬：白總，今天談文本大數(shù)據(jù)，還請您先給我們介紹一下文本大數(shù)據(jù)挖掘的基本情況，好吧?

白劍波：大數(shù)據(jù)的概念在最近的幾年迅速升溫，成為最熱門的一個(gè)概念。企業(yè)和政府機(jī)構(gòu)都紛紛加大對大數(shù)據(jù)領(lǐng)域的投入，但是普遍存在著應(yīng)用的焦慮，甚至是有些茫然。大數(shù)據(jù)帶來的不僅僅是大的機(jī)遇，同時(shí)也是大的挑戰(zhàn)，這需要我們對大數(shù)據(jù)挖掘的意義進(jìn)行更加深刻的探索。

大數(shù)據(jù)挖掘的根本意義在于從數(shù)據(jù)中提煉出有價(jià)值的信息，針對這些信息創(chuàng)造出洞察，再根據(jù)這些洞察并結(jié)合現(xiàn)狀做出決定，依決定去執(zhí)行，將大數(shù)據(jù)帶來的機(jī)遇變?yōu)槭斋@和成就。

大數(shù)據(jù)是一個(gè)非常大的概念，我們在這里把討論范圍聚焦在文本大數(shù)據(jù)上。相對于傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)，業(yè)界已經(jīng)做了大量的積累，對于數(shù)據(jù)的獲取、存儲(chǔ)、處理、檢索等已經(jīng)具備了相當(dāng)多的技術(shù)儲(chǔ)備。但是對于非結(jié)構(gòu)化的大數(shù)據(jù)，特別是文本大數(shù)據(jù)，業(yè)界正在持續(xù)加大投入。

在文本大數(shù)據(jù)的源頭方面，除了企業(yè)或機(jī)構(gòu)內(nèi)部的數(shù)據(jù)，互聯(lián)網(wǎng)是一個(gè)巨大的來源。從互聯(lián)網(wǎng)受眾來講，中國互聯(lián)網(wǎng)擁有全球人數(shù)最多的網(wǎng)民。據(jù)中國互聯(lián)網(wǎng)信息中心CNNIC發(fā)布的第37次《中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》中顯示，截至2015年12月，中國網(wǎng)民規(guī)模達(dá)6.88億，互聯(lián)網(wǎng)普及率為50.3%;手機(jī)網(wǎng)民規(guī)模達(dá)6.2億，占比提升至90.1%。在當(dāng)今的這個(gè)自媒體時(shí)代，信息的傳播也發(fā)生了巨大的改變，不僅量發(fā)生了爆炸式的增長，內(nèi)容也更加多樣化。

文本大數(shù)據(jù)處理的第一個(gè)環(huán)節(jié)就是能夠迅速地獲取這些數(shù)據(jù)，不論是機(jī)構(gòu)內(nèi)部的數(shù)據(jù)，還是互聯(lián)網(wǎng)上相關(guān)的數(shù)據(jù)，在第一時(shí)間獲取這些數(shù)據(jù)，并且是全量的數(shù)據(jù)，才是數(shù)據(jù)挖掘的根本。第二個(gè)環(huán)節(jié)就是在這些數(shù)據(jù)中進(jìn)行挖掘，通過各種創(chuàng)新的分析工具和手段將其整合為有價(jià)值的分析結(jié)果。

劉冬冬：您剛才談到，文本大數(shù)據(jù)在大數(shù)據(jù)應(yīng)用領(lǐng)域已經(jīng)取得了一定的進(jìn)展，那么，您認(rèn)為文本大數(shù)據(jù)挖掘都有哪些應(yīng)用場景?

白劍波：文本大數(shù)據(jù)的應(yīng)用領(lǐng)域非常廣泛，政府機(jī)構(gòu)和企業(yè)非常關(guān)心的互聯(lián)網(wǎng)輿情監(jiān)測與預(yù)警，已經(jīng)成為一個(gè)比較普遍的應(yīng)用。企業(yè)口碑監(jiān)測分析、競爭情報(bào)分析、精準(zhǔn)營銷、人物畫像、企業(yè)畫像、行業(yè)市場研究、客戶滿意度分析、風(fēng)險(xiǎn)評(píng)估、產(chǎn)品及業(yè)務(wù)流程優(yōu)化等等多個(gè)應(yīng)用場景也是以文本大數(shù)據(jù)挖掘?yàn)楹诵牡摹?/p>

劉冬冬：互聯(lián)網(wǎng)輿情作為文本大數(shù)據(jù)重要的應(yīng)用領(lǐng)域之一，您給大家介紹一下當(dāng)前互聯(lián)網(wǎng)輿情應(yīng)用情況

白劍波：好的，從輿情監(jiān)測市場來說，我國對輿情監(jiān)測系統(tǒng)需求較大的大致可以分為黨政機(jī)關(guān)和政府組織、企業(yè)、學(xué)校和科研單位等。根據(jù)2014年全年輿情系統(tǒng)招標(biāo)信息的發(fā)布數(shù)據(jù)統(tǒng)計(jì)，32.3%的輿情監(jiān)測系統(tǒng)需求來自政府組織，27.9%來自企業(yè)單位，黨政機(jī)關(guān)占17.6%，科研單位13.2%，學(xué)校比例8.82%。而對輿情監(jiān)測需求最大的區(qū)域前三名分別是北京、浙江和貴州，達(dá)到20%和10%的水平。市場對輿情監(jiān)測的要求也越來越高，主要從信息采集的及時(shí)性、覆蓋面及預(yù)警的精準(zhǔn)度及發(fā)現(xiàn)危機(jī)后應(yīng)對機(jī)制上有了更高的要求。

傳統(tǒng)的輿情監(jiān)測系統(tǒng)通常都以系統(tǒng)建設(shè)為主，由供應(yīng)商為客戶提供一套系統(tǒng)建設(shè)方案，進(jìn)行數(shù)據(jù)采集，處理和分析的所有過程，但是這樣的系統(tǒng)在后續(xù)維護(hù)，特別是采集環(huán)節(jié)的維護(hù)上難以跟上互聯(lián)網(wǎng)信息變化的節(jié)奏，同時(shí)受限于硬件部署規(guī)模和網(wǎng)絡(luò)帶寬的限制，在信息采集的全面性和及時(shí)性上與客戶的需求也有差距。智慧星光采用SAAS模式為客戶提供服務(wù)，我們自己投巨資建設(shè)了一個(gè)高標(biāo)準(zhǔn)的智能化信息采集和處理平臺(tái)，能夠有效地避免這些情況，為客戶大大降低了成本，同時(shí)在信息的及時(shí)性、全面性、精確性方面滿足客戶的需求。

劉冬冬：剛才您提到人物畫像、企業(yè)畫像等畫像技術(shù)應(yīng)用，畫像技術(shù)可以帶來哪些價(jià)值?實(shí)現(xiàn)過程是什么樣的?

白劍波：在互聯(lián)網(wǎng)逐漸步入大數(shù)據(jù)時(shí)代后，每個(gè)參與到互聯(lián)網(wǎng)的人或企業(yè)都不可避免的留下行為記錄，或者是發(fā)布在互聯(lián)網(wǎng)上，或者是沉淀在各個(gè)日志環(huán)節(jié)中，所有的這些行為都將是"可視化"的。畫像技術(shù)就是對這些數(shù)據(jù)進(jìn)行挖掘，企業(yè)專注于如何利用其為精準(zhǔn)營銷服務(wù)，政府機(jī)構(gòu)則專注于如何利用其為公共治理進(jìn)行服務(wù)，改善公共服務(wù)，指導(dǎo)決策。

我們這里說的畫像技術(shù)包括人物畫像和企業(yè)畫像。人物畫像就是通過公開的數(shù)據(jù)，對人物上網(wǎng)行為分析，對其不同的屬性進(jìn)行標(biāo)記，從而能夠區(qū)別其喜好等特點(diǎn)，這些屬性包括：人口屬性、社交關(guān)系、興趣偏好、消費(fèi)行為、情感的傾向性，甚至是個(gè)人信用度等方面。人物畫像技術(shù)可以讓客戶精確地了解其客戶群的分類特點(diǎn)，從而能夠選擇精準(zhǔn)的營銷策略。

企業(yè)畫像就是通過互聯(lián)網(wǎng)的公開數(shù)據(jù)針對企業(yè)進(jìn)行描繪，例如工商注冊信息、知識(shí)產(chǎn)權(quán)信息、司法裁判信息、行政機(jī)構(gòu)審核信息、企業(yè)及其品牌的互聯(lián)網(wǎng)聲量信息和美譽(yù)度信息等。這類信息能夠讓人們迅速地對一家企業(yè)的背景和經(jīng)營現(xiàn)狀進(jìn)行判斷，可以廣泛地應(yīng)用在企業(yè)監(jiān)管、盡職調(diào)查、投資評(píng)估、營銷等領(lǐng)域。

畫像技術(shù)的實(shí)現(xiàn)可以分為這幾個(gè)部分：

首先，收集到人物或企業(yè)所有的相關(guān)數(shù)據(jù)并將數(shù)據(jù)劃分為靜態(tài)信息數(shù)據(jù)、動(dòng)態(tài)信息數(shù)據(jù)兩大類，靜態(tài)數(shù)據(jù)就是相對穩(wěn)定的信息，如人物的性別、地域、職業(yè)、消費(fèi)等級(jí)等，企業(yè)的工商注冊、專利、軟件著作權(quán)等，動(dòng)態(tài)數(shù)據(jù)就是不停變化的行為信息，如人物的自媒體言論，瀏覽網(wǎng)頁行為、搜索商品、發(fā)表評(píng)論、接觸渠道等，企業(yè)的新聞報(bào)道，用戶評(píng)價(jià)等。

其次，通過剖析數(shù)據(jù)為人物或企業(yè)貼上相應(yīng)的標(biāo)簽及指數(shù)，標(biāo)簽代表用戶對該內(nèi)容有興趣、偏好、需求等，指數(shù)代表用戶的興趣程度、需求程度、購買概率等;

第三，用標(biāo)簽建模，對于人物或企業(yè)進(jìn)行分類。

我們目前所實(shí)現(xiàn)的人物畫像，已經(jīng)應(yīng)用到了公安的網(wǎng)監(jiān)領(lǐng)域，在企業(yè)方面，也應(yīng)用于意見領(lǐng)袖遴選、客戶精準(zhǔn)營銷等方面。

劉冬冬：前面您給我們分享了文本大數(shù)據(jù)以及其典型的應(yīng)用場景，我想問一個(gè)更具體的應(yīng)用問題，如何利用互聯(lián)網(wǎng)大數(shù)據(jù)實(shí)現(xiàn)品牌監(jiān)測和分析?

白劍波：企業(yè)品牌信息的傳播對于企業(yè)的營銷至關(guān)重要，這些品牌相關(guān)信息出現(xiàn)在新聞報(bào)道，網(wǎng)站宣傳，電商平臺(tái)，以及眾多自媒體信息中：博客、論壇、微博、微信公眾號(hào)等。在進(jìn)行監(jiān)測和分析時(shí)，通過對所有這些信息源進(jìn)行數(shù)據(jù)獲取，從中過濾出相關(guān)品牌的信息，再進(jìn)一步分析。分析維度主要包括：

所監(jiān)測各品牌的傳播總量排名分析

高頻熱詞的排名

行業(yè)整體口碑分析，包括正負(fù)面的比例，以及相關(guān)的熱詞

地域分布分析

產(chǎn)品多維度觀點(diǎn)分析，比如對于汽車潤滑油產(chǎn)品，可以包括價(jià)格、油耗、動(dòng)力性、性能等多個(gè)方面的屬性

通過對自己和競爭對手產(chǎn)品的品牌傳播分析，能夠做到知己知彼，了解行業(yè)內(nèi)的機(jī)會(huì)和威脅，及時(shí)調(diào)整品牌和產(chǎn)品策略，獲取競爭中的優(yōu)勢。

我們在品牌監(jiān)測和分析這方面做的很多工作，包括基于標(biāo)準(zhǔn)化產(chǎn)品的企業(yè)和品牌監(jiān)測，在品牌分析方面曾經(jīng)為多個(gè)行業(yè)的客戶提供過服務(wù)：物流、銀行、汽車、互聯(lián)網(wǎng)等。

劉冬冬：剛才我們講了文本大數(shù)據(jù)挖掘在企業(yè)營銷方向的應(yīng)用，文本大數(shù)據(jù)挖掘還可以哪些行業(yè)得到深度應(yīng)用?

白劍波：文本大數(shù)據(jù)挖掘的應(yīng)用非常廣泛，在未來的幾年中，將會(huì)在電子政務(wù)，金融，電信，醫(yī)療衛(wèi)生等領(lǐng)域得到推廣和普及。我們目前正在實(shí)施的應(yīng)用方向包括：

智慧城市：主要是綜合分析各個(gè)方面的數(shù)據(jù)，提供城市形象指數(shù)監(jiān)測，跨部門文本數(shù)據(jù)分析，公共治理的輔助決策等。

證券市場：結(jié)合企業(yè)畫像技術(shù)，為投資商，量化交易的操作人員提供企業(yè)畫像信息，企業(yè)監(jiān)測信息，相關(guān)互聯(lián)網(wǎng)聲量信息，從而可以幫助其更快更準(zhǔn)確地獲取所需的信息。

電信：通過跟運(yùn)營商的合作，為其廣大的企業(yè)客戶提供精準(zhǔn)化信息服務(wù)。

銀行：依據(jù)其內(nèi)部的投訴數(shù)據(jù)，以及來自互聯(lián)網(wǎng)的網(wǎng)民評(píng)價(jià)數(shù)據(jù)，建立其服務(wù)質(zhì)量指數(shù)評(píng)估體系。

來源：首席數(shù)據(jù)官聯(lián)盟