來(lái)源：數(shù)據(jù)猿 作者：趙乾坤 

我們認(rèn)為“自助式數(shù)據(jù)分析”會(huì)是后續(xù)數(shù)據(jù)分析的一個(gè)發(fā)展方向。目前，諸葛io也是在朝著這個(gè)方向轉(zhuǎn)換和發(fā)展。

在做諸葛io之前，我們最開始實(shí)際上也在給企業(yè)做一些DMP的產(chǎn)品和項(xiàng)目，當(dāng)時(shí)也是從第三方數(shù)據(jù)切入的。比如：最早我們通過微博的數(shù)據(jù)給企業(yè)CRM里面的用戶進(jìn)行畫像的豐富或者是通過其他社交網(wǎng)絡(luò)上的數(shù)據(jù)補(bǔ)全用戶的一些行為特征或者是消費(fèi)模式。后來(lái)做諸葛io是因?yàn)槲覀冋J(rèn)為企業(yè)內(nèi)的第一方數(shù)據(jù)的價(jià)值是遠(yuǎn)遠(yuǎn)高于第三方數(shù)據(jù)的，所以我們先要幫助企業(yè)解決第一個(gè)問題，即通過內(nèi)部數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)，挖掘數(shù)據(jù)價(jià)值。

一、自助式數(shù)據(jù)分析的興起：BI發(fā)展的3個(gè)十年 

自助式數(shù)據(jù)分析是最近幾年興起的一個(gè)概念。傳統(tǒng)的數(shù)據(jù)分析需要傳統(tǒng)的IT、數(shù)據(jù)部門去支持，最后通過數(shù)據(jù)分析師來(lái)幫忙實(shí)現(xiàn)。這個(gè)過程中間的依賴性比較強(qiáng)。所謂自助式數(shù)據(jù)分析主要是指業(yè)務(wù)人員能夠自主、敏捷的通過一些數(shù)據(jù)分析工具滿足自己分析的需求。在這一過程中，業(yè)務(wù)人員基本上不需要IT部門的支持，比如：二次開發(fā)、重新建模等一系列邏輯。

我們可以先回顧一下，正式的數(shù)據(jù)分析起源于所謂的BI，即商業(yè)智能。當(dāng)時(shí)，BI核心的概念是基于商業(yè)的事實(shí)，通過一系列的概念和方法，最后去對(duì)這些事實(shí)進(jìn)行分析，以達(dá)到輔助企業(yè)做商業(yè)決策的目的。這些核心的技術(shù)和方法基本上和現(xiàn)在的數(shù)據(jù)分析是一致的，從最基礎(chǔ)的數(shù)據(jù)收集，到數(shù)據(jù)的整合，再到數(shù)據(jù)的挖掘、算法、洞察、可視化甚至是數(shù)據(jù)報(bào)告的協(xié)同工作等，整個(gè)過程其實(shí)是非常繁雜的。

這里面涉及到三類人員，第一類是IT人員，IT人員主要是做基礎(chǔ)技術(shù)架構(gòu)的實(shí)施。在這個(gè)過程中，他需要負(fù)責(zé)數(shù)據(jù)采集、整合、存儲(chǔ)甚至是一些基礎(chǔ)數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)的搭建以及一些檢索的支持。往往這一部分的實(shí)施周期非常長(zhǎng)，少則幾個(gè)月，多則半年、一年。第二類人員就是需求方，即業(yè)務(wù)人員。業(yè)務(wù)人員的目標(biāo)相對(duì)比較明確，他會(huì)提出自己的一些場(chǎng)景需求，有一些類似的假設(shè)需要去驗(yàn)證，或者是有一些需要探索的數(shù)據(jù)維度。中間一層就是分析師，分析師需要理解業(yè)務(wù)的需求，理解背后的數(shù)據(jù)模型，基于它去進(jìn)行數(shù)據(jù)建模，包括一些統(tǒng)計(jì)模型的構(gòu)建，最后形成一些報(bào)告或者可視化的圖表。

在整個(gè)過程中間，從業(yè)務(wù)人員到分析師再到IT人員，整個(gè)流程是非常冗長(zhǎng)的，響應(yīng)的速度也非常有限。由于現(xiàn)在的業(yè)務(wù)敏捷性和快速性，導(dǎo)致很多業(yè)務(wù)端提出的需求在分析師和IT人員實(shí)施完之后，其實(shí)已經(jīng)變得沒有價(jià)值了。所以，這是90年代第一個(gè)十年的BI發(fā)展。基于這樣的需求，后續(xù)我們演進(jìn)到了BI的第二個(gè)十年。

第二個(gè)十年由于處在企業(yè)信息化的紅利中，所以在部分成熟的企業(yè)里面，數(shù)據(jù)采集、信息化技術(shù)以及一些行業(yè)的數(shù)據(jù)積累越來(lái)越多，使得第二個(gè)十年的BI系統(tǒng)實(shí)施變得更加敏捷和迅速。在第二個(gè)十年里面，因?yàn)橛?jì)算能力的提升，使得我們能夠部分做到準(zhǔn)時(shí)甚至是實(shí)時(shí)性的計(jì)算。同時(shí)由于云計(jì)算的興起，讓整個(gè)部署的復(fù)雜度也降低了，整個(gè)IT服務(wù)被快速的標(biāo)準(zhǔn)化。

第三個(gè)十年基本上是在2006年以后，出現(xiàn)了一個(gè)新的發(fā)向，我們叫做“ Analytics Anywhere”，即隨處可用的數(shù)據(jù)分析。這需要從幾個(gè)方面來(lái)講，第一是我可以通過云端任意訪問；另外是通過移動(dòng)端也可以去查閱BI報(bào)表。但是，實(shí)際的背后是有兩塊核心的方向，一塊叫做智能化數(shù)據(jù)分析，一塊叫做自助式數(shù)據(jù)分析。

智能化數(shù)據(jù)分析相當(dāng)于自動(dòng)探索的模式，即如果你給我一些數(shù)據(jù)，我就能夠部分的從數(shù)據(jù)本身的分布或者是特征上幫助你發(fā)現(xiàn)一些背后潛在的相關(guān)性。比如：Google的Google Spreadsheet，就是類似于Excel的工具，如果你用過會(huì)發(fā)現(xiàn)，上傳一個(gè)Excel文檔，Google在不需要人工干預(yù)的情況下，會(huì)自動(dòng)給你生成一些報(bào)表，而這些報(bào)表都是基于你的數(shù)據(jù)類型、數(shù)據(jù)分布以及它們之間的相關(guān)性，通過統(tǒng)計(jì)模型統(tǒng)計(jì)出來(lái)的。

傳統(tǒng)的BI在第三個(gè)十年已經(jīng)到了一個(gè)新的階段，就是BI或者數(shù)據(jù)分析要實(shí)現(xiàn)去中心化。以前有三類人需要牽涉到整個(gè)BI系統(tǒng)的環(huán)境或者是業(yè)務(wù)的搭建過程中，現(xiàn)在去中心化的意思就是，企業(yè)不再需要有一個(gè)專門的BI部門去完成整個(gè)業(yè)務(wù)的需求，而是業(yè)務(wù)部門的人員需要參與到數(shù)據(jù)分析的日常工作中間去。他有需求不需要向BI部門去提，而是自己有一個(gè)平臺(tái)或者工作能夠?qū)崟r(shí)地滿足自己的需求。自助式數(shù)據(jù)分析在國(guó)外的典型代表是tableau，tableau現(xiàn)在已經(jīng)開始做一些自助式數(shù)據(jù)分析的深入嘗試了。tableau支持靈活的可視化定制，通過簡(jiǎn)單的拖拽就可以實(shí)現(xiàn)數(shù)據(jù)的基礎(chǔ)分析，同時(shí)也會(huì)提供一些專業(yè)的行業(yè)分析算法和模板。

二、自助式數(shù)據(jù)分析的突破點(diǎn) 

1、數(shù)據(jù)的聯(lián)通性

自助式數(shù)據(jù)分析的第一個(gè)突破就是數(shù)據(jù)源的對(duì)接，即數(shù)據(jù)的聯(lián)通性是非常強(qiáng)的。我們把數(shù)據(jù)聯(lián)通性分為三個(gè)核心要素。第一是第一方數(shù)據(jù)的聯(lián)通或者是導(dǎo)入；第二是第三方數(shù)據(jù)的導(dǎo)入；第三取決于整個(gè)API經(jīng)濟(jì)的效應(yīng)。現(xiàn)在越來(lái)越多的業(yè)務(wù)系統(tǒng)SaaS化，這些SaaS化的產(chǎn)品最終需要通過大量的API進(jìn)行跨系統(tǒng)之間的數(shù)據(jù)交換。

從諸葛io的角度，我們首先切入的就是第一方數(shù)據(jù)。比如企業(yè)有自己的CRM系統(tǒng)、網(wǎng)站、APP，我們首先幫助你打通的就是這些數(shù)據(jù)的聯(lián)通。同時(shí)，自助式數(shù)據(jù)分析也支持第三方數(shù)據(jù)的打通。我們需要讓企業(yè)內(nèi)部自助式數(shù)據(jù)分析的平臺(tái)擁有跟其他第三方標(biāo)準(zhǔn)接口進(jìn)行對(duì)接的能力，讓這個(gè)過程通過一鍵就能完成，而不需要研發(fā)人員過多參與。

2、分析的實(shí)時(shí)性

自助式數(shù)據(jù)分析除了在數(shù)據(jù)聯(lián)通性上有了突破以外，在分析的實(shí)時(shí)性上面也有一個(gè)突破。像我們剛剛提到的一些敏捷式的BI，它們也不能做到完全實(shí)時(shí)的分析?，F(xiàn)在的解決辦法是，通過一些新的技術(shù)基于行業(yè)去做一些分析。自助式數(shù)據(jù)分析有兩個(gè)維度，一個(gè)是按照行業(yè)，另一個(gè)是按照職能，只有通過這兩個(gè)維度的細(xì)分，才能最終實(shí)現(xiàn)高質(zhì)量的自助式數(shù)據(jù)分析。有了行業(yè)和職能以后，我們對(duì)于實(shí)時(shí)性分析這部分的模型就可以做很好的優(yōu)化。

3、技術(shù)方案的解耦性

自助式數(shù)據(jù)分析的第三個(gè)核心突破點(diǎn)就是，我們的方案必須要和業(yè)務(wù)解耦。其實(shí)我們的理解就是，所有的數(shù)據(jù)分析平臺(tái)背后的數(shù)據(jù)都可以歸為人、物、場(chǎng)以及行為。人就是消費(fèi)者或者用戶；物就是商品；場(chǎng)指的是場(chǎng)景。有了人、物、場(chǎng)之后，其實(shí)所有關(guān)聯(lián)人、物、場(chǎng)的基本上可以定義為用戶的行為。自助式數(shù)據(jù)分析背后的邏輯就是通過人、物、場(chǎng)和行為這樣的抽象模式，最后可以實(shí)現(xiàn)一個(gè)通用的數(shù)據(jù)模型。不論行業(yè)還是職能，都可以通過這樣的模型來(lái)進(jìn)行后面的技術(shù)架構(gòu)。

4、應(yīng)用的聯(lián)通性

自助式數(shù)據(jù)分析的第四個(gè)特點(diǎn)是應(yīng)用的聯(lián)通性。也就是說我們不僅需要跟業(yè)務(wù)系統(tǒng)進(jìn)行數(shù)據(jù)的打通，也需要將業(yè)務(wù)之間的通道打通。

自助式數(shù)據(jù)分析就是每個(gè)業(yè)務(wù)人員能夠以最小的溝通成本實(shí)現(xiàn)基于業(yè)務(wù)需求的各種數(shù)據(jù)分析。但是，剛才說的自助式數(shù)據(jù)分析更多的是指獨(dú)立的第三方自助式數(shù)據(jù)分析平臺(tái)，這在目前是遠(yuǎn)遠(yuǎn)不夠的?，F(xiàn)在很多美國(guó)的企業(yè)把分析進(jìn)一步變成Embedded Analytics，就是把分析嵌入到相關(guān)的業(yè)務(wù)系統(tǒng)中去。比如傳統(tǒng)做CRM的，剛才說的自助式數(shù)據(jù)分析更多的是將CRM的數(shù)據(jù)拿過來(lái)，然后在我的自助式數(shù)據(jù)分析平臺(tái)上面整合CRM數(shù)據(jù)和其他數(shù)據(jù)，再進(jìn)行分析。所謂的Embedded Analytics是指我應(yīng)該把分析的功能更多地improve到我的系統(tǒng)，這樣就會(huì)有Analytics CRM這樣的工具出現(xiàn)。

三、自助式數(shù)據(jù)分析給分析行業(yè)和分析人員帶來(lái)的變化 

自助式數(shù)據(jù)分析給整個(gè)分析行業(yè)帶來(lái)了什么樣的新變化呢？直接的變化就是業(yè)務(wù)人員和分析人員最終合體，即我們的分析人員最終會(huì)變得對(duì)業(yè)務(wù)特別了解或者是業(yè)務(wù)人員最終變得對(duì)分析特別了解。但是IT這塊基本上是被剝離出去了，我們不再需要專門的BI部門或者是為數(shù)據(jù)分析做IT支持的工作。現(xiàn)在很多的框架和模型都是開源的，所以這一塊慢慢會(huì)被產(chǎn)品化的東西所替代。

自助式數(shù)據(jù)分析會(huì)對(duì)分析人員的要求有什么樣的變化呢？我從5個(gè)方面來(lái)和大家講一下。

第一、技術(shù)能力

從技術(shù)能力上來(lái)說，在傳統(tǒng)BI的第一個(gè)十年和第二個(gè)十年時(shí)，甚至在中國(guó)目前所處的環(huán)境中，對(duì)于分析師的招聘其實(shí)還在強(qiáng)調(diào)你會(huì)不會(huì)寫代碼，至少要會(huì)SAS、R或者是SQL，傳統(tǒng)的這些要求其實(shí)會(huì)慢慢降低，因?yàn)樽灾綌?shù)據(jù)分析平臺(tái)慢慢會(huì)讓業(yè)務(wù)人員通過簡(jiǎn)單的篩選、拖拽就可以實(shí)現(xiàn)分析的需求。

第二、分析能力

從分析能力上來(lái)說，傳統(tǒng)的數(shù)據(jù)分析師可能要求是統(tǒng)計(jì)學(xué)專業(yè)或者是數(shù)學(xué)專業(yè)，至少統(tǒng)計(jì)學(xué)和數(shù)學(xué)上的這些模型知識(shí)必須要掌握，不管是一個(gè)簡(jiǎn)單的回歸分析還是做一些聚類分析，甚至是一些預(yù)測(cè)的模型，你至少需要掌握算法以及算法背后的公式推演。而現(xiàn)在在新的自助式數(shù)據(jù)分析的場(chǎng)景下，這部分的要求也和技術(shù)能力一樣，是從高到低，不斷降低的一個(gè)過程。

第三、業(yè)務(wù)能力

從業(yè)務(wù)能力上來(lái)說，這一塊能力在以前的要求反而沒有那么高，但是現(xiàn)在更高了，就是我需要你有更豐富的行業(yè)知識(shí)。比如你要做電商業(yè)務(wù)的分析，你就必須要對(duì)電商的整個(gè)流程，從物流、資金流到信息流是如何流動(dòng)的，中間的每一步過程是怎樣的，甚至是對(duì)整個(gè)產(chǎn)業(yè)鏈的上下游都要有很深的理解。前面兩塊將數(shù)據(jù)分析人員的要求都降低了，那么就有理由在業(yè)務(wù)能力這一塊要求更高一些。

第四、可視化制作能力

從可視化制作能力上來(lái)說，其實(shí)就是對(duì)于數(shù)據(jù)分析工具的使用能力。最早可能要求，你不會(huì)SAS、R，那么你至少會(huì)用Excel的透視表或者是tableau等這些工具。但是這一塊的要求現(xiàn)在基本上已經(jīng)沒有了，因?yàn)樽灾綌?shù)據(jù)分析工具越來(lái)越簡(jiǎn)單，簡(jiǎn)單到你只要懂業(yè)務(wù)，就可以進(jìn)行各種嘗試。所以，這一塊的進(jìn)入門檻也變得更低了。

第五、解讀和應(yīng)用能力

從解讀和應(yīng)用能力來(lái)說，這一塊的能力要求也是持續(xù)走高的。你需要對(duì)分析結(jié)果的商業(yè)價(jià)值、流程的價(jià)值以及客戶的價(jià)值有一個(gè)判斷，而這對(duì)于解讀能力的要求其實(shí)是越來(lái)越高的，因?yàn)樽灾綌?shù)據(jù)分析讓我們有了實(shí)現(xiàn)更多、更敏捷的數(shù)據(jù)分析探索的可能性，而每一個(gè)探索的結(jié)果都需要你認(rèn)真的去解讀。在解讀的過程中間，除了對(duì)業(yè)務(wù)的理解，更多的也需要你對(duì)商業(yè)理解的深度達(dá)到一定的層次。

四、美國(guó)市場(chǎng)的發(fā)展現(xiàn)狀 

基于我們能拿到的2016年2月份Gartner出的關(guān)于新的BI領(lǐng)域的魔力象限分析，我們能看到在leader層面上有三家公司，即Tableau、Qlik、Microsoft，其中Microsoft會(huì)入選是因?yàn)槠渥罱瞥龅腜ower BI，以前Excel的功能是非常強(qiáng)大的，只是大家不太會(huì)用，而Power BI是將Excel上面的部分功能加進(jìn)來(lái)，另外它們也收購(gòu)了一家加拿大做可視化或者是BI的公司，所以Power BI最終讓Microsoft進(jìn)入到Leaders的象限。

在Visionaries的象限中，表示的是你的愿景是完整的，但是你賦予企業(yè)的執(zhí)行能力比Leaders還是稍有欠缺。從這一象限中我們可以看到，傳統(tǒng)的SAS、MicroStrategy、IBM等都在這一象限中，為什么他們?cè)贏bility to Execute上面要比Tableau、Qlik、Microsoft要弱呢？主要原因在于后三者是自助式數(shù)據(jù)分析，而前面的還是以傳統(tǒng)BI的方式，需要大量的時(shí)間去實(shí)施和部署。

左下方的象限叫做Niche Players，這里面有Domo、GoodData、Salesforce等，這些公司是在某些特殊領(lǐng)域里面已經(jīng)有突破的，但他們的執(zhí)行部分還是偏弱的。Domo從今年2月份之后做了很多次改版，我相信如果單純從可執(zhí)行的效率上來(lái)說，現(xiàn)在的Domo已經(jīng)在Leaders層面了。

五、國(guó)內(nèi)市場(chǎng)情況 

從國(guó)內(nèi)市場(chǎng)來(lái)看，其實(shí)有很多類似于Tableau的這種公司出來(lái)。比方說網(wǎng)易的有數(shù)、海智BDP、甚至還有一些新的創(chuàng)業(yè)者也在朝這個(gè)方向去做。這一塊的廠商非常多，國(guó)內(nèi)的現(xiàn)狀也是非常早期。海智BDP相對(duì)來(lái)說是一家時(shí)間比較久的企業(yè)了。但是我覺得類似于Tableau公司的這種模式在國(guó)內(nèi)是存疑的。為什么呢?因?yàn)閲?guó)內(nèi)的整個(gè)現(xiàn)狀，即我們剛才說的第一方數(shù)據(jù)、第三方數(shù)據(jù)和整個(gè)API經(jīng)濟(jì)這塊還不夠成熟。即使第一方數(shù)據(jù)用的是別人的SaaS系統(tǒng)或者是私有部署的系統(tǒng)，那么過去的那些老系統(tǒng)對(duì)于數(shù)據(jù)的開放性還不行。比方說在廣告監(jiān)測(cè)行業(yè)，國(guó)內(nèi)有兩家做的比較出名，但是他們只能給你一份報(bào)告，如果你要看背后每一個(gè)用戶的行為數(shù)據(jù)，他們要么沒有，要么是給不了你。

我們當(dāng)時(shí)做諸葛io的一個(gè)原因就是，諸葛io出生下來(lái)就是要擁抱數(shù)據(jù)API經(jīng)濟(jì)的，即你的數(shù)據(jù)就是你的，不管是SaaS化還是私有部署，我們都能提供豐富的數(shù)據(jù)API接口。但是，現(xiàn)在國(guó)內(nèi)除了從SaaS開始做起的業(yè)務(wù)系統(tǒng)之外，整個(gè)數(shù)據(jù)的開放性還是不夠的，不管是第一方業(yè)務(wù)系統(tǒng)還是第三方系統(tǒng)，像第三方系統(tǒng)只是給你做一些業(yè)務(wù)報(bào)表。所以，我們認(rèn)為目前在國(guó)內(nèi)要做自助式數(shù)據(jù)分析，你得搞好生態(tài)，把這些新型的數(shù)據(jù)相關(guān)業(yè)務(wù)系統(tǒng)的聯(lián)盟給拉起來(lái)，這樣大家就可以一起組建自助式數(shù)據(jù)分析平臺(tái)。

從側(cè)面來(lái)看，其實(shí)Tableau本身在中國(guó)市場(chǎng)上的占有率還是不錯(cuò)的，至少我們了解到的像銀行、零售、物流等企業(yè)都在用Tableau做數(shù)據(jù)分析。但是我們通過訪談發(fā)現(xiàn)，他們只是把Tableau當(dāng)成了一個(gè)數(shù)據(jù)可視化的工具，對(duì)于數(shù)據(jù)的聯(lián)通性以及業(yè)務(wù)的聯(lián)通性在國(guó)內(nèi)做的都不是很好。當(dāng)然，Tableau本身在業(yè)務(wù)聯(lián)通性上在美國(guó)做的也是稍有問題，Domo在這一塊做的就更好一些。

我們認(rèn)為自助式數(shù)據(jù)分析這樣一個(gè)大方向在國(guó)內(nèi)還處于非常早期的階段，這個(gè)市場(chǎng)是非常巨大的。從諸葛io的角度，我們是希望有更多開放的玩家進(jìn)來(lái)，我們一起協(xié)作，去構(gòu)建一個(gè)更完善、開放的生態(tài)。最終，幫助企業(yè)加速它們的BI或者是數(shù)據(jù)分析的流程，讓企業(yè)的第一方和買來(lái)的第三方數(shù)據(jù)的價(jià)值真正能夠得到商業(yè)的體現(xiàn)和回報(bào)。

作者簡(jiǎn)介：

趙乾坤，諸葛io聯(lián)合創(chuàng)始人，擁有深厚的數(shù)據(jù)挖掘技術(shù)背景和十余年的互聯(lián)網(wǎng)行業(yè)經(jīng)驗(yàn)，是大數(shù)據(jù)在傳統(tǒng)企業(yè)和互聯(lián)網(wǎng)領(lǐng)域應(yīng)用的設(shè)計(jì)師和實(shí)踐者。

注：本文由 諸葛io 投稿數(shù)據(jù)猿發(fā)布。

歡迎更多大數(shù)據(jù)企業(yè)、愛好者投稿數(shù)據(jù)猿，來(lái)稿請(qǐng)直接投遞至：tougao@datayuan.cn

來(lái)源：數(shù)據(jù)猿