網(wǎng)易杭州研究院執(zhí)行院長汪源:十余年大數(shù)據(jù)凝結(jié)成“網(wǎng)易云”
汪源 | 2016-07-19 09:51
【數(shù)據(jù)猿導(dǎo)讀】 日前,網(wǎng)易杭州研究院執(zhí)行院長汪源應(yīng)邀出席了在上海舉辦的WAW大會(huì)。面向近400位與會(huì)者,汪源首次深入解密了網(wǎng)易在大數(shù)據(jù)分析領(lǐng)域的發(fā)展歷程

作為國內(nèi)最早誕生的互聯(lián)網(wǎng)公司之一,網(wǎng)易在過去十余年的產(chǎn)品研發(fā)、孵化和運(yùn)維過程中,各個(gè)部門對(duì)數(shù)據(jù)有著不同且繁雜的需求。而如何把這些繁雜的需求用統(tǒng)一的手段來解決,網(wǎng)易在大數(shù)據(jù)分析方面同樣進(jìn)行了十余年的探索,并自去年開始通過“網(wǎng)易云”將這些能力開放出來,推出了一系列面向B端企業(yè)客戶的云服務(wù)產(chǎn)品。
從起步到整合,“平臺(tái)化”讓網(wǎng)易大數(shù)據(jù)分析進(jìn)入全新階段
“如何梳理數(shù)據(jù)、處理數(shù)據(jù)、提高數(shù)據(jù)分析的效率,這是網(wǎng)易一直思考的問題。”為此,汪源將網(wǎng)易大數(shù)據(jù)分析之路劃分為的初步階段、起步階段和整合階段。
在2008年之前的初步階段中,網(wǎng)易和國內(nèi)的大部分公司一樣,使用傳統(tǒng)的方法進(jìn)行數(shù)據(jù)統(tǒng)計(jì)。2009和2010這兩年的起步階段可以說是網(wǎng)易大數(shù)據(jù)分析的“初體驗(yàn)”,當(dāng)然,這也與網(wǎng)易及國內(nèi)整體互聯(lián)網(wǎng)行業(yè)的快速發(fā)展密切相關(guān)。據(jù)汪源介紹道,正是因?yàn)槊鎸?duì)海量的業(yè)務(wù)數(shù)據(jù),網(wǎng)易開始嘗試引入Hadoop等成熟的開源技術(shù)來解決數(shù)據(jù)存儲(chǔ)和計(jì)算的瓶頸。
從2011年開始,針對(duì)在前一階段中數(shù)據(jù)格式不規(guī)范、產(chǎn)品接入成本高、計(jì)算任務(wù)不穩(wěn)定等突出問題,網(wǎng)易開始走上大數(shù)據(jù)分析的整合階段,其中最顯著的變化便是整合、規(guī)范各類采集機(jī)制、指標(biāo)體系等等,將數(shù)據(jù)分析“工具化”,以適應(yīng)產(chǎn)品、設(shè)計(jì)、運(yùn)營和市場等不同場景。
在經(jīng)歷全面整合的階段之后,“盡管將數(shù)據(jù)分析進(jìn)行‘工具化’,問題依舊無法全部解決,個(gè)性化的數(shù)據(jù)需求以及靈活的多維分析難以完全滿足,數(shù)據(jù)分析的“平臺(tái)化”開始被提出并讓網(wǎng)易的大數(shù)據(jù)分析進(jìn)入了全新的階段。”汪源介紹說。
十年磨一劍,平臺(tái)化產(chǎn)品逐漸成型
2014年以來,網(wǎng)易開始加速大數(shù)據(jù)分析的平臺(tái)化發(fā)展,以提高數(shù)據(jù)獲取速度,提升數(shù)據(jù)分析效率,更快發(fā)揮數(shù)據(jù)價(jià)值。汪源在現(xiàn)場著重向與會(huì)人員介紹的“網(wǎng)易猛犸”與“網(wǎng)易有數(shù)”兩大數(shù)據(jù)分析平臺(tái)就是在這個(gè)階段逐漸成型的。
對(duì)于很多企業(yè)而言,大數(shù)據(jù)雖然看起來很美,卻又面臨著數(shù)據(jù)孤立,需求反饋周期長的問題。汪源介紹說,“網(wǎng)易猛犸大數(shù)據(jù)平臺(tái)可以實(shí)現(xiàn)從各種不同數(shù)據(jù)源提取數(shù)據(jù),同步到內(nèi)核存儲(chǔ)系統(tǒng),同時(shí)對(duì)外提供便捷的操作體驗(yàn)”。據(jù)悉,現(xiàn)在每天約有130億條數(shù)據(jù)進(jìn)入網(wǎng)易猛犸平臺(tái),經(jīng)過數(shù)據(jù)建模和清洗,進(jìn)行數(shù)據(jù)分析預(yù)測(cè)。
網(wǎng)易的另一大數(shù)據(jù)分析平臺(tái),網(wǎng)易有數(shù)則可以極大簡化數(shù)據(jù)探索,提高數(shù)據(jù)可視化方面的效率,提供靈活報(bào)表制作等,以幫助分析師專注于自己的工作內(nèi)容。此外,網(wǎng)易有數(shù)在二維空間通過綜合運(yùn)用分區(qū)塊、顏色、大小等標(biāo)識(shí),展示多維數(shù)據(jù),推動(dòng)數(shù)據(jù)文化落地,有利于管理層和業(yè)務(wù)人員的自助分析。
未來設(shè)想:融合大數(shù)據(jù)處理平臺(tái)
在演講最后,汪源對(duì)未來大數(shù)據(jù)平臺(tái)進(jìn)行了展望。他認(rèn)為,從網(wǎng)易大數(shù)據(jù)分析發(fā)展歷程的第三階段開始,抽象數(shù)據(jù)的層次已經(jīng)很高。進(jìn)入第四個(gè)階段,網(wǎng)易希望能夠開發(fā)出更基礎(chǔ)的大數(shù)據(jù)處理平臺(tái)。
大數(shù)據(jù)分析面臨著各種挑戰(zhàn),既有集成、計(jì)算和分析等老問題,同時(shí)也有新的挑戰(zhàn),諸如數(shù)據(jù)量多樣性、數(shù)據(jù)類型多樣性、需求多樣性等等。面對(duì)這些問題,汪源對(duì)網(wǎng)易大數(shù)據(jù)分析平臺(tái)未來的解決方案做了設(shè)想:“回歸到計(jì)算機(jī)軟硬件設(shè)計(jì)的基礎(chǔ),各類計(jì)算機(jī)應(yīng)用場景,總線和組件的標(biāo)準(zhǔn)是統(tǒng)一的。從底層基礎(chǔ)開始,設(shè)計(jì)大數(shù)據(jù)平臺(tái)的數(shù)據(jù)集成、計(jì)算和分析,開發(fā)出融合大數(shù)據(jù)處理平臺(tái),從而滿足未來遇到的各種個(gè)性化的數(shù)據(jù)分析需求。”
網(wǎng)易云:網(wǎng)易技術(shù)服務(wù)能力的全面開放
從網(wǎng)易大數(shù)據(jù)發(fā)展的歷程來看,基于杭州研究院10年的技術(shù)積累,網(wǎng)易已經(jīng)具備了成熟的互聯(lián)網(wǎng)產(chǎn)品技術(shù)體系,并且有力的支撐了網(wǎng)易云音樂、云課堂、易信、LOFTER、公開課等產(chǎn)品的發(fā)展。
汪源表示,網(wǎng)易云將會(huì)把這些能力開放出來,提供給更多的用戶使用。比如網(wǎng)易易盾作為網(wǎng)易云推出的極速智能反垃圾云服務(wù),其依托的便是網(wǎng)易的大數(shù)據(jù)和云計(jì)算服務(wù),提供文本過濾、圖片識(shí)別、語音分析、視頻檢測(cè)等服務(wù),幫助企業(yè)和開發(fā)者實(shí)現(xiàn)對(duì)垃圾有害信息的實(shí)時(shí)過濾、精準(zhǔn)攔截。
除了網(wǎng)易易盾,從去年開始,以網(wǎng)易技術(shù)服務(wù)能力的全面開放為初衷,網(wǎng)易云還陸續(xù)發(fā)布了網(wǎng)易云信(即時(shí)通訊云服務(wù))、網(wǎng)易七魚(全智能云客服)、網(wǎng)易視頻云、網(wǎng)易蜂巢(容器云)、網(wǎng)易云捕(質(zhì)量跟蹤平臺(tái))一系列的產(chǎn)品,并從研發(fā)云、運(yùn)營云、運(yùn)作云的角度對(duì)云服務(wù)進(jìn)行了重新的劃分。不難想象,隨著網(wǎng)易在云計(jì)算、大數(shù)據(jù)等方面的研發(fā)積累日漸成熟,將會(huì)有更多樣的云服務(wù)出現(xiàn)。
來源: 網(wǎng)易
刷新相關(guān)文章
我要評(píng)論
活動(dòng)推薦more >
- 2018 上海國際大數(shù)據(jù)產(chǎn)業(yè)高2018-12-03
- 2018上海國際計(jì)算機(jī)網(wǎng)絡(luò)及信2018-12-03
- 中國國際信息通信展覽會(huì)將于2018-09-26
- 第五屆FEA消費(fèi)金融國際峰會(huì)62018-06-21
- 第五屆FEA消費(fèi)金融國際峰會(huì)2018-06-21
- “無界區(qū)塊鏈技術(shù)峰會(huì)2018”2018-06-14
不容錯(cuò)過的資訊
-
1#后疫情時(shí)代的新思考#疫情之下,關(guān)于醫(yī)
-
2眾盟科技獲ADMIC 2020金粲獎(jiǎng)“年度汽車
-
3數(shù)據(jù)智能 無限未來—2020世界人工智能大
-
4#2020非凡大賞:數(shù)字化風(fēng)起云涌時(shí),共尋
-
5#榜樣的力量#天璣數(shù)據(jù)大腦疫情風(fēng)險(xiǎn)感知
-
6#榜樣的力量#內(nèi)蒙古自治區(qū)互聯(lián)網(wǎng)醫(yī)療服
-
7#榜樣的力量#實(shí)時(shí)新型肺炎疫情數(shù)據(jù)小程
-
8#榜樣的力量#華佗疫情防控平臺(tái)丨數(shù)據(jù)猿
-
9#后疫情時(shí)代的新思考#構(gòu)建工業(yè)互聯(lián)網(wǎng)新
-
102020可信云大會(huì)丨《云MSP發(fā)展白皮書》重