導(dǎo)語(yǔ)：古有水泊梁山英雄108將叱咤江湖，今有“中國(guó)大數(shù)據(jù)技術(shù)先鋒108將”高端人物訪談攪動(dòng)風(fēng)云。2017年，由DT學(xué)院、中國(guó)城市報(bào)大數(shù)據(jù)中心、清華大數(shù)據(jù)產(chǎn)業(yè)聯(lián)合會(huì)、山西省大數(shù)據(jù)產(chǎn)業(yè)協(xié)會(huì)聯(lián)合舉辦，面向大數(shù)據(jù)產(chǎn)業(yè)的技術(shù)精英、專家學(xué)者以及大數(shù)據(jù)產(chǎn)業(yè)鏈領(lǐng)域公司CTO的“中國(guó)大數(shù)據(jù)技術(shù)先鋒108將”高端人物訪談活動(dòng)正式啟動(dòng)，圍繞大數(shù)據(jù)技術(shù)的多個(gè)層面進(jìn)行分享，旨在搭建大數(shù)據(jù)技術(shù)傳播分享的高端平臺(tái)，促進(jìn)大數(shù)據(jù)技術(shù)的業(yè)內(nèi)交流。

第2期專訪人物

中國(guó)頂尖數(shù)據(jù)科學(xué)家 盧億雷

盧億雷：大數(shù)據(jù)資深專家，精碩科技(AdMaster)技術(shù)副總裁兼總架構(gòu)師，CCF（中國(guó)計(jì)算學(xué)會(huì)）大數(shù)據(jù)專委委員，北京航空航天大學(xué)特聘教授，新智元智庫(kù)專家。關(guān)注數(shù)據(jù)采集、清洗、存儲(chǔ)、挖掘整個(gè)數(shù)據(jù)流過(guò)程，關(guān)注高可靠、高可用、高擴(kuò)展、高性能系統(tǒng)服務(wù)、Hadoop/HBase/Storm/Spark/ElasticSearch/Druid等離線、流式及實(shí)時(shí)分布式計(jì)算服務(wù)。有超過(guò)10年云計(jì)算、云存儲(chǔ)、大數(shù)據(jù)經(jīng)驗(yàn)。曾在聯(lián)想、百度、Carbonite工作，并擁有多篇大數(shù)據(jù)相關(guān)的專利和論文。

訪談主題

社交數(shù)據(jù)情感分析的大數(shù)據(jù)應(yīng)用實(shí)踐

訪談錄

DT學(xué)院：作為業(yè)內(nèi)資深人士，能先給大家介紹一下自己的技術(shù)經(jīng)歷嗎？

盧億雷：2006年碩士畢業(yè)后就加入聯(lián)想研究院，印象最深的就是跟我們一位同事一塊折騰過(guò)約50萬(wàn)行 C++代碼)，使自己的代碼能力得到顯著提高。

后來(lái)加入百度系統(tǒng)部核心 Hadoop 組，之后又合并到基礎(chǔ)架部，使我對(duì) Hadoop 有了更深的理解與體會(huì)。 另外就是離開(kāi)百度加入 Carbonite China 是一次創(chuàng)業(yè)的選擇,當(dāng)時(shí)在 中國(guó)的時(shí)候連 Office 都沒(méi)有就開(kāi)始一起做事了,這使我熟悉了整個(gè)創(chuàng)業(yè)過(guò)程, 使自己在技術(shù)、產(chǎn)品、管理方面都有了非常大的提升；2013年加入AdMaster，我作為技術(shù)副總裁兼總架構(gòu)師，負(fù)責(zé)公司的完整數(shù)據(jù)流過(guò)程服務(wù)（包括采集，清理，存儲(chǔ)，挖掘等）。Hadoop/HBase/Storm/Spark/ElasticSearch/Druid等離線、流式及實(shí)時(shí)分布式計(jì)算服務(wù)等多方面均有深入研究與應(yīng)用。

DT學(xué)院：作為業(yè)內(nèi)人士，您對(duì)大數(shù)據(jù)是如何理解的？

盧億雷：大數(shù)據(jù)不僅僅是指海量的數(shù)據(jù)，而是指和大數(shù)據(jù)相關(guān)的整個(gè)流程。數(shù)據(jù)流之所以稱之為數(shù)據(jù)流，是因?yàn)橹挥挟?dāng)數(shù)據(jù)流動(dòng)起來(lái)，才能發(fā)揮其真正的意義。如果只是海量的數(shù)據(jù)擺在那里，無(wú)異于一潭死水，毫無(wú)生機(jī)。整個(gè)流程中的每一個(gè)環(huán)節(jié)，無(wú)論是最初的采集，之后的清理，存儲(chǔ)，后期的分析，都至關(guān)重要，并且每一部分都有其相對(duì)應(yīng)的技術(shù)來(lái)進(jìn)行處理。大數(shù)據(jù)目前進(jìn)入一個(gè)平穩(wěn)期，其更偏向于實(shí)際的應(yīng)用如人工智能、深度學(xué)習(xí)、區(qū)塊鏈等。大數(shù)據(jù)最終目的必定是為人類帶來(lái)多方面收益和便利。

DT學(xué)院：根據(jù)您的觀察和研究，在大數(shù)據(jù)領(lǐng)域有哪些關(guān)鍵性技術(shù)？經(jīng)歷了怎樣的發(fā)展歷程？

盧億雷：大數(shù)據(jù)存儲(chǔ)技術(shù)，HDFS，HBase，ElasticSearch，MongoDB，GlusterFS，F(xiàn)astDFS，Swift等這些技術(shù)已經(jīng)成為開(kāi)源界事實(shí)上的標(biāo)準(zhǔn)，從剛出現(xiàn)時(shí)的種種穩(wěn)定性BUG，到現(xiàn)在堅(jiān)不可催，并且出現(xiàn)了越來(lái)越多的新功能。

大數(shù)據(jù)計(jì)算，從最開(kāi)始的MapReduce一統(tǒng)江湖，到后來(lái) Yarn、Storm、Tez，再到現(xiàn)在 Spark、Flink、Apex 等更高效更易用的計(jì)劃框架百花齊放，可做的選擇越來(lái)越多，并且可以在大數(shù)據(jù)基礎(chǔ)上做機(jī)器學(xué)習(xí)、人工智能等多種應(yīng)用。

多維實(shí)時(shí)分布式查詢，隨著 Druid、Kylin、vertica 等開(kāi)源和商用OLAP 系統(tǒng)的成長(zhǎng)，大數(shù)據(jù)層面的秒級(jí)查詢，也漸漸走近我們。Alluxio 這一存儲(chǔ)中間層的出現(xiàn)，讓計(jì)算向著更快更廉價(jià)的方向又給出了一個(gè)新的方案。

大數(shù)據(jù)技術(shù)有一個(gè)發(fā)展趨勢(shì)，就是功能越來(lái)越強(qiáng)大，使用門檻越來(lái)越低，所以開(kāi)始走向大眾企業(yè)。

大數(shù)據(jù)技術(shù)發(fā)展路線圖

DT學(xué)院：您所在的公司，使用過(guò)哪些大數(shù)據(jù)技術(shù)？你對(duì)這些技術(shù)滿意的地方和不滿意的地方分別有什么？

盧億雷：現(xiàn)在流行的大數(shù)據(jù)技術(shù)， AdMaster 基本上都在使用或使用過(guò)。

HDFS + MapReduce + HBase 的標(biāo)準(zhǔn) 3架馬車，伴隨著我們的一些業(yè)務(wù)一直運(yùn)行到現(xiàn)在，但是對(duì)于一些實(shí)時(shí)性要求較高的業(yè)務(wù)開(kāi)始顯示出它們的不足。

Spark、Flink 在對(duì)“快”有著最高要求的業(yè)務(wù)里，扮演著重要角色，廣告業(yè)務(wù)的實(shí)時(shí)監(jiān)控，基礎(chǔ)報(bào)告的 Lambda 架構(gòu)， 都是由這兩個(gè)框架來(lái)支持，這兩種技術(shù)在 Yarn 上的穩(wěn)定性，還有進(jìn)一步提高的空間。

Vertica 和 ElasticSearch 則在對(duì)于多維數(shù)據(jù)分析和 OLAP 的業(yè)務(wù)上發(fā)光發(fā)熱，比如廣告業(yè)務(wù)的多維數(shù)據(jù)呈現(xiàn)，社交數(shù)據(jù)的實(shí)時(shí)處理。這兩個(gè)技術(shù)， 在超大規(guī)模數(shù)據(jù)集場(chǎng)景下，還有待進(jìn)一步提高。

DT學(xué)院：可否結(jié)合具體應(yīng)用場(chǎng)景，給我們分享一個(gè)案例？

盧億雷：這里可以給大家分享一下 AdMaster 用于支持精準(zhǔn)營(yíng)銷的 DMP 標(biāo)簽平臺(tái)。大家知道，要做到精準(zhǔn)營(yíng)銷，關(guān)鍵點(diǎn)在于發(fā)現(xiàn)這個(gè)人對(duì)什么感興趣，即對(duì)于每個(gè)人給出他感興趣的標(biāo)簽。

這涉及到幾個(gè)小問(wèn)題，網(wǎng)民在查找手機(jī)相關(guān)的內(nèi)容，他應(yīng)該是對(duì)于手機(jī)感興趣，那怎么在他下一個(gè)訪問(wèn)的頁(yè)面，就給他看到手機(jī)的廣告？也就是從發(fā)現(xiàn)數(shù)據(jù)到數(shù)據(jù)生效，要快。為了解決這個(gè)問(wèn)題，AdMaster 使用了改進(jìn)版的 Flume 來(lái)進(jìn)行實(shí)時(shí)傳輸數(shù)據(jù)，接入 Kafka，使用 Spark 和 Flink實(shí)時(shí)處理數(shù)據(jù)入庫(kù)，從一個(gè)數(shù)據(jù)的產(chǎn)生到入庫(kù)，時(shí)間可以控制在 10 秒以內(nèi)。

10 秒可能大家覺(jué)得已經(jīng)太久了， 但是我們每天處理的數(shù)據(jù)量在 100 億以上，還要累積最近 45 天內(nèi)的所有數(shù)據(jù)，為了達(dá)到快的要求， AdMaster 使用了 AeroSpike 集群做為數(shù)據(jù)存儲(chǔ)， 可以達(dá)到400萬(wàn)的 QPS。

為了分析出每個(gè)頁(yè)面代表的內(nèi)容，AdMaster 研究院獨(dú)立研發(fā)了自己的內(nèi)容分析系統(tǒng)，以保證準(zhǔn)確分析出頁(yè)面內(nèi)容。AdMaster 與新浪微博達(dá)成了戰(zhàn)略合作關(guān)系，保證數(shù)據(jù)的及時(shí)性和穩(wěn)定性。

DT學(xué)院：您對(duì)社交數(shù)據(jù)情感分析頗有研究，請(qǐng)您給大家講下社交數(shù)據(jù)情感分析及應(yīng)用現(xiàn)狀？

盧億雷：社交數(shù)據(jù)情感分析是商業(yè)用戶的一個(gè)訴求，各大商業(yè)公司在做廣告的同時(shí)，還會(huì)在自己的微博和微信等社交平臺(tái)上發(fā)布一些信息，就是所謂的官方微信、官方微博。同時(shí)，也會(huì)有人在這些賬號(hào)上作評(píng)論，或者是在個(gè)人的社交賬號(hào)上發(fā)一些言論。企業(yè)用戶比較關(guān)心的是“是不是有人說(shuō)我壞話了？” 、“是不是競(jìng)爭(zhēng)對(duì)手又搞什么動(dòng)作了？” 。 前一個(gè)問(wèn)題， 就是現(xiàn)在社交數(shù)據(jù)情感分析的一個(gè)主要訴求。簡(jiǎn)單說(shuō)就是，企業(yè)用戶想盡快知道是不是有人說(shuō)他壞話了。

社交數(shù)據(jù)情感分析應(yīng)用有：用戶畫像與精準(zhǔn)營(yíng)銷、產(chǎn)品比較與推薦、個(gè)人與機(jī)構(gòu)聲譽(yù)分析、電視節(jié)目滿意度分析、用戶反饋分析、互聯(lián)網(wǎng)輿情分析危機(jī)公關(guān)、未來(lái)的預(yù)測(cè)、KOL分析等。

目前社交數(shù)據(jù)情感分析已經(jīng)不是簡(jiǎn)單的情感分析了，在朝著人工智能、深度學(xué)習(xí)、智能客服等方向發(fā)展了。

DT學(xué)院：社交數(shù)據(jù)情感分析用到哪些技術(shù)和工具？目前的技術(shù)瓶頸是什么？期待有什么改進(jìn)？

盧億雷：用到的技術(shù)有：網(wǎng)絡(luò)爬蟲，分詞，語(yǔ)義分析，句法分類，相關(guān)性判斷，分類模型等。

難點(diǎn)：

情感本身很主觀，同一句話，寫作者和閱讀者對(duì)于情感的判斷可能是相反的，有語(yǔ)義歧義。

客戶一般要求速度要快，行業(yè)內(nèi)有基于規(guī)則匹配的方法，對(duì)短句（20 個(gè)詞以內(nèi)）有效， 但是長(zhǎng)句一般都會(huì)標(biāo)錯(cuò)。

語(yǔ)料中有關(guān)于兩個(gè)關(guān)鍵詞比較的，不好判別情感；基本上是一個(gè)在某方面好，另一個(gè)在另一方面好。

客戶一般要求模糊查找，近義詞同義詞或相關(guān)詞語(yǔ)查找，但是真正使用時(shí)往往用的又不是事先約定的關(guān)鍵詞，所以不能提前標(biāo)注。又要求速度快，挑戰(zhàn)比較大。

DT學(xué)院：國(guó)際上有哪些技術(shù)創(chuàng)新和新型的開(kāi)發(fā)工具？與國(guó)際大數(shù)據(jù)技術(shù)對(duì)比，我國(guó)大數(shù)據(jù)技術(shù)處于怎樣的發(fā)展水平？

盧億雷：Apex 可以算是目前國(guó)際上大數(shù)據(jù)領(lǐng)域創(chuàng)新方向的一個(gè)代表，計(jì)算原子化，易組合，數(shù)據(jù)盡可能內(nèi)存計(jì)算，同時(shí)支持批處理和流式計(jì)算，可以對(duì)接多種大數(shù)據(jù)生態(tài)。

近幾年隨著互聯(lián)網(wǎng)開(kāi)源運(yùn)動(dòng)的發(fā)展，國(guó)內(nèi)的大數(shù)據(jù)技術(shù)已經(jīng)在漸漸融入國(guó)際社會(huì)，百度、阿里、華為等互聯(lián)網(wǎng)企業(yè)已經(jīng)開(kāi)始在開(kāi)源界展露頭角，在2015年Spark Summit大會(huì)上，Spark最大的集群來(lái)自于騰訊有8000個(gè)節(jié)點(diǎn)，單個(gè)Job最大分別是阿里巴巴和Databricks為1PB，非常震撼人心。比如阿里對(duì) Storm 貢獻(xiàn)的 Jstorm，百度對(duì) Hadoop 貢獻(xiàn)的 HCE，華為對(duì)大數(shù)據(jù)存儲(chǔ)貢獻(xiàn)的CarbonData 等等，可以說(shuō)，我國(guó)的大數(shù)據(jù)技術(shù)，已經(jīng)完全融入國(guó)際環(huán)境，有世界上最多的網(wǎng)民支持，已經(jīng)開(kāi)始在某些領(lǐng)域引領(lǐng)大數(shù)據(jù)的發(fā)展方向（比如雙 11 造就的“瞬間大流量處理”）。

最后，我們可以非常自豪的說(shuō)中國(guó)的大數(shù)據(jù)技術(shù)已經(jīng)走在世界前列了。

DT學(xué)院：根據(jù)您的判斷，大數(shù)據(jù)技術(shù)未來(lái)會(huì)有怎樣的發(fā)展？又會(huì)面臨怎樣的挑戰(zhàn)和機(jī)遇？

盧億雷：毫無(wú)疑問(wèn)的是，大數(shù)據(jù)技術(shù)有著光明且長(zhǎng)遠(yuǎn)的未來(lái)。盡管大數(shù)據(jù)相關(guān)的技術(shù)已經(jīng)發(fā)展了十余年的時(shí)間，但是我們面對(duì)的仍是渺無(wú)邊際的技術(shù)藍(lán)海。

舉一個(gè)例子，在過(guò)去的十年中，我們可獲取的數(shù)據(jù)量在飛速的提升。我們不再滿足獲取局限于互聯(lián)網(wǎng)上已有的數(shù)據(jù)，而隨著物聯(lián)網(wǎng)技術(shù)的進(jìn)步，我們生活中的每一個(gè)事物都先后被安上傳感器，接入互聯(lián)網(wǎng)，納入了大數(shù)據(jù)的范疇。面對(duì)激增的數(shù)據(jù)量，我們應(yīng)該如何應(yīng)對(duì)？在增加硬件設(shè)施的同時(shí)，是否也在技術(shù)算法上做出了相應(yīng)改進(jìn)？面對(duì)種類更加繁雜的數(shù)據(jù)，現(xiàn)有的分析模型是否已經(jīng)不能滿足需求？挑戰(zhàn)千變?nèi)f化，我們需要打好技術(shù)基礎(chǔ)，方能解決這些難題。

隨著大數(shù)據(jù)技術(shù)的發(fā)展，使得企業(yè)日生產(chǎn)量在逐漸增加，盡管近60%的企業(yè)日生產(chǎn)量不到1T，但是由于此處統(tǒng)計(jì)的是裸數(shù)據(jù)增長(zhǎng)，所以企業(yè)實(shí)際占的存儲(chǔ)可能會(huì)大于3T（大數(shù)據(jù)企業(yè)一般會(huì)將數(shù)據(jù)存儲(chǔ)3份）；有部分的企業(yè)選擇“自主研發(fā)”，這里主要是包括了基于大數(shù)據(jù)平臺(tái)開(kāi)發(fā)應(yīng)用、二次開(kāi)發(fā)等，而不是企業(yè)自己開(kāi)發(fā)一個(gè)類似于Hadoop這樣的大數(shù)據(jù)系統(tǒng)；HDFS依然是企業(yè)構(gòu)建大數(shù)據(jù)分布式存儲(chǔ)的首選架構(gòu)；在分布式計(jì)算領(lǐng)域，MapReduce仍然是最通用的計(jì)算框架，Spark也是來(lái)勢(shì)兇猛，不過(guò)實(shí)際生產(chǎn)線上MapReduce的占比可能還要更高一些，但是隨著實(shí)時(shí)計(jì)算的快速發(fā)展，像類似于Spark、Flink都會(huì)快速成長(zhǎng)；由于ElasticSearch的迅速發(fā)展，使得日志數(shù)據(jù)可視化工具ELK（ElasticSearch+Logstash+Kibana）得到較高的使用，而像用于大數(shù)據(jù)實(shí)時(shí)查詢和分析的分布式系統(tǒng)如Druid、Pinot等發(fā)展也越來(lái)越快；最后企業(yè)對(duì)于大數(shù)據(jù)人才的需求越來(lái)越多，要求也越來(lái)越高，不光是技術(shù)要好，業(yè)務(wù)也需要了解。

DT學(xué)院：對(duì)于大數(shù)據(jù)技術(shù)學(xué)習(xí)者，如何更高效的掌握大數(shù)據(jù)技術(shù)，您有哪些建議？

盧億雷：對(duì)于大數(shù)據(jù)技術(shù)學(xué)習(xí)者，最基本一定要掌握大數(shù)據(jù)技術(shù)處理的流程，包括有數(shù)據(jù)采集、清洗、存儲(chǔ)、分析與挖掘、數(shù)據(jù)可視化，理解大數(shù)據(jù)分為離線、在線、流式、實(shí)時(shí)系統(tǒng)；了解大數(shù)據(jù)OLTP與OLAP分布式多維實(shí)時(shí)查詢系統(tǒng)的區(qū)別等?？傊?，不管大數(shù)據(jù)技術(shù)如何發(fā)展，對(duì)分布式系統(tǒng)理論一定要有深入理解，萬(wàn)變不離其宗。最后實(shí)踐是檢驗(yàn)真理的唯一標(biāo)準(zhǔn)，多動(dòng)手實(shí)踐，多與業(yè)務(wù)結(jié)合一起實(shí)踐，有條件的去類似于大數(shù)據(jù)汽車、快消品、金融、地產(chǎn)、廣告等公司實(shí)踐。

DT學(xué)院：對(duì)于大數(shù)據(jù)教育培訓(xùn)的課程類型設(shè)計(jì)、教學(xué)設(shè)計(jì)，您有哪些看法和建議？

盧億雷：根據(jù)面向的聽(tīng)眾不同，可以分成兩個(gè)大類：

入門級(jí)聽(tīng)眾，對(duì)大數(shù)據(jù)僅僅是聽(tīng)說(shuō)過(guò)，或做過(guò)一些類似 helloworld 之類的小實(shí)驗(yàn)， 可以系統(tǒng)地安排講解大數(shù)據(jù)發(fā)展史，知其然知其所以然，并盡可能全面地介紹大數(shù)據(jù)的發(fā)展方向，最關(guān)鍵的是各方向形成的原因，應(yīng)用的場(chǎng)景，可以解決哪些問(wèn)題，簡(jiǎn)要介紹一些案例。

高級(jí)聽(tīng)眾，使用過(guò)或正在使用大數(shù)據(jù)技術(shù)，更關(guān)心的應(yīng)該是應(yīng)用場(chǎng)景，以及使用中各種總是的解決方案。對(duì)于這類聽(tīng)眾，應(yīng)更多地結(jié)合實(shí)際案例，講解各種常見(jiàn)故障及解決方案，切實(shí)解決工作中的問(wèn)題。

延伸閱讀

董飛：預(yù)測(cè)性營(yíng)銷原理和實(shí)踐——“中國(guó)大數(shù)據(jù)技術(shù)先鋒108將”高端人物訪談第1期

注：

本文由 DT學(xué)院 投稿數(shù)據(jù)猿發(fā)布。

歡迎更多大數(shù)據(jù)企業(yè)、愛(ài)好者投稿數(shù)據(jù)猿，來(lái)稿請(qǐng)直接投遞至：tougao@datayuan.cn

來(lái)源：數(shù)據(jù)猿