大家好，非常感謝能夠參加2015年的CIO峰會(huì)，感謝IT經(jīng)理人世界組織這么好的一個(gè)活動(dòng)，能夠聽(tīng)到各位CIO，CTO，CEO以及各個(gè)行業(yè)內(nèi)的專家的分享，很多的亮點(diǎn)，收益良多!

簡(jiǎn)單介紹一下，我是張溪夢(mèng)，過(guò)去的12年間一直在美國(guó)工作，我之前一直在美國(guó)負(fù)責(zé)數(shù)據(jù)分析分析的工作。包括之前負(fù)責(zé)LinkedIn美國(guó)所有和營(yíng)收相關(guān)的數(shù)據(jù)分析團(tuán)隊(duì)，八年前我在eBay負(fù)責(zé)整個(gè)電子商務(wù)的網(wǎng)站分析，之前也有很多的零售分析，市場(chǎng)營(yíng)銷分析的經(jīng)驗(yàn)。早年我是腦外科醫(yī)生，在腫瘤醫(yī)院工作。之所以今天能夠站在這里和大家分享，有兩個(gè)重要原因，第一是，我很幸運(yùn)，在做自己喜歡做的事情，年輕的時(shí)候我喜歡玩游戲、電腦、互聯(lián)網(wǎng)，覺(jué)得很有意思，所以那時(shí)候選擇離開醫(yī)院，專注做計(jì)算機(jī)和互聯(lián)網(wǎng)有關(guān)的行業(yè)。第二，我非常幸運(yùn)，是因?yàn)樵谶^(guò)去12年里，我在美國(guó)受到MBA的教育之后，一直在從事和數(shù)據(jù)分析，數(shù)據(jù)庫(kù)， 市場(chǎng)營(yíng)銷、銷售和網(wǎng)站手機(jī)端的數(shù)據(jù)分析等相關(guān)各個(gè)領(lǐng)域，一直從事和數(shù)據(jù)有關(guān)系的工作。大家可以看到，在過(guò)去8年間大數(shù)據(jù)和數(shù)據(jù)科學(xué)的概念悄然興起，但在當(dāng)時(shí)我工作的時(shí)候沒(méi)有想到今天數(shù)據(jù)分析會(huì)變成熱門的一個(gè)行業(yè)。這里我要感謝我以前工作過(guò)的公司，其中包括LinkedIn，eBay，Petco， Epson等等公司對(duì)我的培養(yǎng)。我在美國(guó)最大的職業(yè)社交網(wǎng)站LinkedIn工作過(guò)五年，eBay做過(guò)三年， 還有其它的互聯(lián)網(wǎng)營(yíng)銷各個(gè)行業(yè)的公司，參與了用數(shù)據(jù)做很多決策的很多環(huán)節(jié)。我非常感謝過(guò)去遇到這么多優(yōu)秀的人，沒(méi)有他們的幫助，我是不可能有機(jī)會(huì)站在這里跟大家分享這些個(gè)人的經(jīng)驗(yàn)。

言歸正傳：首先我們來(lái)講講什么是數(shù)據(jù)?

其實(shí)我對(duì)數(shù)據(jù)的理解很簡(jiǎn)單，數(shù)據(jù)就是一種鏈接。它連接4個(gè)最基本的象限，時(shí)間，地點(diǎn)，任務(wù)，事件。我們?yōu)槭裁匆f(shuō)數(shù)據(jù)會(huì)是下一次技術(shù)革命浪潮的最重要的指針?大家來(lái)看一下，根據(jù)美國(guó)幾家頂級(jí)研究機(jī)構(gòu)的報(bào)告，(Gartner，IDC等等)，在未來(lái)的5年，我們會(huì)有40億人通過(guò)互聯(lián)網(wǎng)產(chǎn)生各種數(shù)據(jù)，將成就一個(gè)4萬(wàn)億美元的市場(chǎng)，將有兩千五百萬(wàn)種軟件接入，250億臺(tái)各種各樣的設(shè)備接入各種數(shù)據(jù)系統(tǒng)，五百萬(wàn)億GB的數(shù)據(jù)產(chǎn)生。這些數(shù)字看上去非常龐大，可能在做的各位行業(yè)領(lǐng)袖會(huì)覺(jué)得和您的產(chǎn)業(yè)可能沒(méi)有太直接的關(guān)系。那我們來(lái)看一看和數(shù)據(jù)有關(guān)的美國(guó)企業(yè)軟件服務(wù)市場(chǎng)的格局是什么樣子的?

2015年一月份，美國(guó)統(tǒng)計(jì)出將近兩千家B2B的企業(yè)，在過(guò)去一年前多少家?900家左右。我們看到一個(gè)數(shù)量上幾乎翻倍的市場(chǎng)。大家看到的是一個(gè)井噴的企業(yè)軟件市場(chǎng)。特別是在過(guò)去的一年，大量的新興企業(yè)應(yīng)用都是以云端軟件服務(wù)形式出現(xiàn)的。歐美國(guó)家的企業(yè)在銷售，運(yùn)營(yíng)，市場(chǎng)，產(chǎn)品等等部門已經(jīng)進(jìn)入下一個(gè)幾何量級(jí)飛躍的數(shù)據(jù)驅(qū)動(dòng)時(shí)代。這個(gè)趨勢(shì)可以從過(guò)去12個(gè)月入場(chǎng)的與云服務(wù)，SaaS(軟件即服務(wù))，以及數(shù)據(jù)科技有關(guān)的B2B創(chuàng)業(yè)公司的數(shù)量增長(zhǎng)中可見(jiàn)一斑。美國(guó)是一個(gè)商業(yè)機(jī)制非常發(fā)達(dá)，以各種數(shù)據(jù)分析為基礎(chǔ)，供求關(guān)系相對(duì)平衡的國(guó)家。特別是在硅谷，各種企業(yè)需求或者行業(yè)痛點(diǎn)會(huì)被各種新興創(chuàng)新公司的產(chǎn)品迅速填充解決。多種多樣數(shù)據(jù)驅(qū)動(dòng)的需求催生了大量的企業(yè)服務(wù)提供者和對(duì)傳統(tǒng)企業(yè)軟件行業(yè)的顛覆者。其中各種企業(yè)軟件最核心的通用性就是對(duì)商業(yè)各種流程的具有規(guī)模的，大范圍的，大幅度的分析和優(yōu)化。

然后我們?cè)趤?lái)看看什么是分析?

實(shí)際上分析很簡(jiǎn)單，分析就是了解歷史，預(yù)測(cè)未來(lái)，然后對(duì)全局進(jìn)行優(yōu)化。李世民講過(guò)的人以銅為鏡，可以正衣冠，以古為鏡，可以見(jiàn)興替，以人為鏡，可以知得失，講的就是這個(gè)道理。大家可以看看這張圖，它展示了美國(guó)人沉淀出來(lái)的數(shù)據(jù)分析的5大步驟，這五大步驟的復(fù)雜度是以幾何倍數(shù)遞增的。即第一：了解歷史上發(fā)生了什么，第二：為什么會(huì)發(fā)生。第三現(xiàn)在正在發(fā)生什么。第四：未來(lái)會(huì)發(fā)生什么。第五：如何做到最優(yōu)。第六點(diǎn)，是我新近加上去的，就是在新的時(shí)代要盡全力做到全數(shù)據(jù)分析大量自動(dòng)化。

收集分析的框架和方法論：

下面，讓我們來(lái)看看，數(shù)據(jù)分析到底有什么作用，他具體有哪些細(xì)節(jié)和框架。 首先，美國(guó)若干企業(yè)精耕細(xì)作多年，美國(guó)的數(shù)據(jù)分析驅(qū)動(dòng)精益運(yùn)營(yíng)在管理學(xué)，科學(xué)，方法論，經(jīng)驗(yàn)，軟件工具，特別是內(nèi)部員工的經(jīng)驗(yàn)以及企業(yè)內(nèi)部基于數(shù)據(jù)信息協(xié)作等各個(gè)方面都已經(jīng)相當(dāng)成熟。比如說(shuō)，美國(guó)在傳統(tǒng)企業(yè)零售、保險(xiǎn)、物流、銀行、風(fēng)控、能源、服務(wù)等各個(gè)領(lǐng)域都有已經(jīng)沉淀幾十年的數(shù)據(jù)分析解決方案。商業(yè)數(shù)據(jù)分析已經(jīng)深深植入到企業(yè)的各個(gè)組織，特別是各種運(yùn)營(yíng)部門的日常運(yùn)行之中。以銷售部門，產(chǎn)品部門以及市場(chǎng)部門為例，很多公司的銷售部門都能夠熟練使用云端服務(wù)軟件和各種數(shù)據(jù)分析工具做到非常有效率的管理銷售漏斗和預(yù)算的方法。數(shù)據(jù)分析已經(jīng)深入到企業(yè)的每個(gè)員工每日運(yùn)營(yíng)和業(yè)務(wù)經(jīng)驗(yàn)中。更重要的一點(diǎn)，幾十年的管理學(xué)經(jīng)驗(yàn)， 各種方法論和經(jīng)典運(yùn)營(yíng)以及管理經(jīng)驗(yàn)已經(jīng)融合在他們使用的軟件之中。這種沉淀進(jìn)一步在新興的SaaS軟件里面得到了極致的體現(xiàn)。比如說(shuō)人力資源軟件Workday，銷售管理軟件Salesforce，企業(yè)獵頭軟件LinkedIn，SaaS支付軟件Zuora等等。 在數(shù)據(jù)分析領(lǐng)域，美國(guó)企業(yè)應(yīng)用數(shù)據(jù)倉(cāng)庫(kù)，ERP以及BI(商業(yè)智能)很多年，經(jīng)驗(yàn)非常成熟，可以在各個(gè)領(lǐng)域看到諸多成果。

我們?nèi)匀豢梢詫⒅纸獬蓭讉€(gè)細(xì)節(jié)的步驟，大家仍然可以看到，這里各個(gè)環(huán)節(jié)從先到后是以價(jià)值不斷提高為條件的。第一，也是最重要的一點(diǎn)，正確的數(shù)據(jù)采集，數(shù)據(jù)標(biāo)簽方法的實(shí)施，對(duì)未來(lái)的數(shù)據(jù)分析迅速產(chǎn)生結(jié)果有幾何倍數(shù)的促進(jìn)作用。這也是若干企業(yè)缺失或者非常忽略的部分。第二：大數(shù)據(jù)的工程架構(gòu)，數(shù)據(jù)倉(cāng)庫(kù)，分布式計(jì)算層面?，F(xiàn)在的分布式計(jì)算系統(tǒng)，和以往的數(shù)據(jù)倉(cāng)庫(kù)的整體構(gòu)架有了很大的分別，這要求我們的IT部門能夠跟上節(jié)奏，實(shí)施部署新的基于開源的分布式數(shù)據(jù)技術(shù)、例如已經(jīng)比較成熟的Hadoop，這個(gè)技術(shù)已經(jīng)在美國(guó)應(yīng)用了將近10年，漸漸在互聯(lián)網(wǎng)公司變成了主流。第三：響應(yīng)性分析，這就是大部分企業(yè)也許做的最多的事情，就是不斷地用數(shù)據(jù)回答業(yè)務(wù)方提出的各種問(wèn)題，制作簡(jiǎn)單的報(bào)表，商業(yè)智能，BI等等。第四：診斷性分析，比如說(shuō)多維度的歸因，積分卡的實(shí)施等等。第五：戰(zhàn)略型分析：競(jìng)爭(zhēng)趨勢(shì)，價(jià)格彈性，企業(yè)財(cái)務(wù)營(yíng)收的判斷等等。第六：預(yù)測(cè)性分析即對(duì)未來(lái)的業(yè)務(wù)進(jìn)行基于統(tǒng)計(jì)模型，機(jī)器學(xué)習(xí)，以及各種大規(guī)模模擬和優(yōu)化的分析。第七：即達(dá)到回到我們剛才說(shuō)的全數(shù)據(jù)自動(dòng)分析和決策。

下面我給大家看一看大多數(shù)的企業(yè)都是如何完成這些工作的

您們?cè)谧母魑恍袠I(yè)領(lǐng)袖，特別是CTO專注技術(shù)的，是不是對(duì)這個(gè)圖比較熟悉。這不就是企業(yè)內(nèi)部的數(shù)據(jù)流程圖嗎?如果我告訴您，這張圖是美國(guó)漢密爾頓河污水處理的流程圖您會(huì)怎么想?這張圖是把美國(guó)一條污染的河變成清水的過(guò)程，也非常類似于現(xiàn)在今天數(shù)據(jù)分析的流程。很多企業(yè)內(nèi)部做數(shù)據(jù)分析的一個(gè)基本的流程正如：很多臟水流了進(jìn)來(lái)，我們需要人力對(duì)它們進(jìn)行各種監(jiān)控，把他放到一個(gè)池子里進(jìn)行沉淀。然后我們做各種清洗、聚合、再清洗、再消毒，再傳輸，一步一步，美國(guó)做過(guò)一個(gè)研究，真正從數(shù)據(jù)收集到最后數(shù)據(jù)的產(chǎn)生有用的商業(yè)價(jià)值的過(guò)程，需要三個(gè)星期到五個(gè)星期。大家想想，每做一個(gè)很簡(jiǎn)單的決策，需要三到五個(gè)星期的流程，這是多么痛苦的過(guò)程。未來(lái)的企業(yè)如果要在數(shù)據(jù)戰(zhàn)略上成功，必須能夠有能力迅速的把污水變成清水的能力。

大家再來(lái)看一看，真正產(chǎn)生的價(jià)值的部分都在這個(gè)金字塔的上端。而根據(jù)美國(guó)白宮的首席數(shù)據(jù)科學(xué)家DJ Patil的一份研究報(bào)告，90%的數(shù)據(jù)工程和分析師的時(shí)間是放在數(shù)據(jù)收集和清理部分，只有10%左右的資源放在能夠產(chǎn)生大量商業(yè)價(jià)值的工作上。在傳統(tǒng)意義上來(lái)說(shuō)，整個(gè)的數(shù)據(jù)分析是由若干的部門按照順序處理，這樣效能是非常緩慢的。大家講大數(shù)據(jù)，數(shù)據(jù)是從數(shù)據(jù)標(biāo)簽的采集開始的，一般都由前端工程人員實(shí)施，然后數(shù)據(jù)傳輸?shù)墓ぷ饔蒊T來(lái)管理，ETL一般由企業(yè)內(nèi)部的數(shù)據(jù)倉(cāng)庫(kù)或者數(shù)據(jù)平臺(tái)的團(tuán)隊(duì)負(fù)責(zé)，BI(商業(yè)智能)部門在分析部或者存在于業(yè)務(wù)部門之中，然后我們還有各種商業(yè)分析師，統(tǒng)計(jì)學(xué)家參與其中，這個(gè)運(yùn)行框架體系因?yàn)楦鱾€(gè)部門參與的人非常多，流程很長(zhǎng)， 大量降低了效率。特別是站在技術(shù)先頭部隊(duì)的互聯(lián)網(wǎng)企業(yè)，做過(guò)各種嘗試，比如想打破這個(gè)僵局就要對(duì)各個(gè)功能性部門進(jìn)行整合，但是因?yàn)楣δ苄缘牟块T要求人員的能力和經(jīng)驗(yàn)有千差萬(wàn)別的需求，造成了懂業(yè)務(wù)的部門很難真正理解技術(shù)，懂技術(shù)的部門又沒(méi)有沒(méi)有足夠的精力完全理解業(yè)務(wù)部門五花八門的需求，這樣就產(chǎn)生了若干決策環(huán)節(jié)的緩慢與低效。為了解決不斷增加的需求， 企業(yè)內(nèi)部需要內(nèi)建和定制化各種IT系統(tǒng)，這種定制化造成了企業(yè)內(nèi)部各個(gè)部門形成了若干數(shù)據(jù)微型小島，若干企業(yè)數(shù)據(jù)孤島進(jìn)一步增加IT部門的工作負(fù)荷、即對(duì)各種內(nèi)部定制化的系統(tǒng)進(jìn)行數(shù)據(jù)整合從而進(jìn)行各種統(tǒng)一的數(shù)據(jù)決策。短期之內(nèi)這種定制化的數(shù)據(jù)整合貌似解決了企業(yè)的信息決策的問(wèn)題，但是在長(zhǎng)遠(yuǎn)上看會(huì)甚至進(jìn)一步拖慢企業(yè)決策速度。請(qǐng)看這張數(shù)據(jù)分析金字塔圖，在過(guò)去若干年里面，我們發(fā)現(xiàn)大數(shù)據(jù)分析真正產(chǎn)生價(jià)值就是上面10%的投入時(shí)間，會(huì)產(chǎn)生超過(guò)90%甚至超過(guò)90%的價(jià)值。但是他如果沒(méi)有時(shí)間和沒(méi)有資源做下面90%的工作，就不可能產(chǎn)生任何的價(jià)值。包括銷售的管理也是一個(gè)數(shù)字驅(qū)動(dòng)運(yùn)營(yíng)化。

大家再來(lái)看看最新的Hadoop分布式計(jì)算的流程圖，其復(fù)雜程度和運(yùn)營(yíng)難度還是有很高的門檻的。同時(shí)再看看企業(yè)里面有這么多的數(shù)據(jù)系統(tǒng)。想把這些若干小環(huán)節(jié)連在一起，是需要一個(gè)很大的工程實(shí)施和管控能力的。中國(guó)今天飛速發(fā)展?fàn)顟B(tài)下，我們要問(wèn)問(wèn)自己，我們的企業(yè)是否每一家都有需要內(nèi)建一個(gè)“污水處理廠”，或者重復(fù)開發(fā)和部署那么多種軟件來(lái)為實(shí)現(xiàn)企業(yè)分析服務(wù)。今天我們面前的一個(gè)機(jī)會(huì)，就是如何用非常有效地采用先進(jìn)的方法越過(guò)各種技術(shù)和管理鴻溝，讓我們企業(yè)變得更有效率。而且人口紅利的減少，企業(yè)增加效率就是我們要做的最重要一件事。

圖片來(lái)自： Tera Data

如何提高數(shù)據(jù)分析，以及運(yùn)營(yíng)決策的規(guī)模和效率?

主要的手段，就是要對(duì)現(xiàn)有的業(yè)務(wù)的數(shù)據(jù)分析流程進(jìn)行大規(guī)模的簡(jiǎn)化，從而達(dá)到端對(duì)端的整合，讓決策分析系統(tǒng)趨于閉環(huán)。這種數(shù)據(jù)分析閉環(huán)的速度基本上等同于企業(yè)決策速度。企業(yè)大數(shù)據(jù)分析閉環(huán)至少要具備兩個(gè)組成部分，第一部分：業(yè)務(wù)端的參與度，第二部分：技術(shù)端的實(shí)施。這個(gè)決策環(huán)業(yè)務(wù)端外部參與越多，技術(shù)端內(nèi)部實(shí)施越少越快，那么效能就越高。如何理解呢，在美國(guó)最新的權(quán)威機(jī)構(gòu)的研究資料中提到了下一代數(shù)據(jù)革命中的影子CTO的概念，即IT部門應(yīng)該成為企業(yè)軟件的外部管理者，而不是內(nèi)部執(zhí)行者。而且美國(guó)的云端SaaS軟件，也就是把信息決策的功能放在云端從而跨越過(guò)若干IT的冗長(zhǎng)流程和技術(shù)鴻溝。這已經(jīng)在硅谷若干引領(lǐng)潮流的公司中有了很好的詮釋，比如Salesforce，LinkedIn(領(lǐng)英)，F(xiàn)acebook(臉書)，Uber(優(yōu)步)以及Airbnb等一流公司的各個(gè)部門都越來(lái)越多的采用采購(gòu)基于SaaS的各種解決方案，而不是全部自建得到了充分驗(yàn)證。

另外，我們的企業(yè)要仔細(xì)考慮是否多利用云的平臺(tái)和基于云的技術(shù)。大家都知道水循環(huán)吧，因?yàn)橛幸环N偉大的力量能夠自然把數(shù)據(jù)像水一樣抽入天空，然后行程降雨來(lái)澆灌植物，這就是云的概念。云能夠幫我們解決什么問(wèn)題?1. 人力資源的匱乏，讓企業(yè)無(wú)法夠用到足夠多的專家來(lái)建立整套數(shù)據(jù)分析體系。2. 云端服務(wù)一般都是基于開源的框架技術(shù)，在成本層面上可以得到控制。而且它特有的彈性機(jī)制能夠做到彈性擴(kuò)展彈性收縮，能夠幫助企業(yè)減低成本。3.云軟件服務(wù)都是沉淀了高級(jí)的企業(yè)管理的方法論的，優(yōu)秀的SaaS服務(wù)不是一個(gè)軟件，而是一個(gè)管理體系。這樣我們就跨過(guò)了這個(gè)冗長(zhǎng)的污水處理場(chǎng)建造的階段。人口紅利下降之后，提升效率是非常重要一種能力。在我們這個(gè)百花齊放的市場(chǎng)，最重要一點(diǎn)就是時(shí)間，我們想幫助企業(yè)提高效率，爭(zhēng)取更多的時(shí)間用數(shù)據(jù)創(chuàng)造額外價(jià)值，而不是增加成本。

我們從美國(guó)回國(guó)創(chuàng)建GrowingIO.com，我們關(guān)注如何利用企業(yè)的移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)，希望我們做的數(shù)據(jù)分析產(chǎn)品能幫助企業(yè)把90%的數(shù)據(jù)分析工作完全自動(dòng)化，彌補(bǔ)分析師的不足，能夠幫助幫助企業(yè)把幾個(gè)星期的信息決策變成幾分鐘內(nèi)可以做的決策，變成很多員工能夠利用數(shù)據(jù)驅(qū)動(dòng)來(lái)做決策。從而大幅度的增加運(yùn)營(yíng)和決策的效率。讓互聯(lián)網(wǎng)企業(yè)能夠有更多的時(shí)間優(yōu)化他們的業(yè)務(wù)，更好的服務(wù)于他們的客戶。

謝謝大家!

來(lái)源：軟件定義世界