大數(shù)據(jù)，為什么不是傳統(tǒng)BI的簡單升級?

大數(shù)據(jù) 傳統(tǒng)BI 軟件工具

傅一平 | 2016-08-30 10:15

【數(shù)據(jù)猿導(dǎo)讀】大數(shù)據(jù)與傳統(tǒng)BI是社會發(fā)展到不同階段的產(chǎn)物，大數(shù)據(jù)對于傳統(tǒng)BI，既有繼承，也有發(fā)展，從”道”的角度講，BI與大數(shù)據(jù)區(qū)別在于前者更傾向于決策，對事實描述更多是基于群體共性，幫助決策者掌握宏觀統(tǒng)計趨勢，適合經(jīng)營運營指標支撐類問題，大數(shù)據(jù)則內(nèi)涵更廣，傾向于刻畫個體，更多的在于個...

BI(BusinessIntelligence)即商務(wù)智能，它是一套完整的解決方案，用來將企業(yè)中現(xiàn)有的數(shù)據(jù)進行有效的整合，快速準確的提供報表并提出決策依據(jù)，幫助企業(yè)做出明智的業(yè)務(wù)經(jīng)營決策。

大數(shù)據(jù)(Big Data)，指在可承受的時間范圍內(nèi)用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來適應(yīng)海量、高增長率和多樣化的信息資產(chǎn)。

不管定義如何不同，大數(shù)據(jù)與傳統(tǒng)BI是社會發(fā)展到不同階段的產(chǎn)物，大數(shù)據(jù)對于傳統(tǒng)BI，既有繼承，也有發(fā)展，從”道”的角度講，BI與大數(shù)據(jù)區(qū)別在于前者更傾向于決策，對事實描述更多是基于群體共性，幫助決策者掌握宏觀統(tǒng)計趨勢，適合經(jīng)營運營指標支撐類問題，大數(shù)據(jù)則內(nèi)涵更廣，傾向于刻畫個體，更多的在于個性化的決策。

基于這個特點，大數(shù)據(jù)很容易在生產(chǎn)中形成基于個體的評估和閉環(huán)反饋網(wǎng)絡(luò)，BI則由于偏向宏觀而難以在生產(chǎn)中貫徹執(zhí)行從而產(chǎn)生實際價值，因此，當前的大量的新數(shù)據(jù)應(yīng)用領(lǐng)域，實際BI是沒有覆蓋的，比如RTB廣告、智能制造、個性醫(yī)療等等。

當然純粹從思想的角度講，兩者在概念上是可以實現(xiàn)統(tǒng)一的，都遵循數(shù)據(jù)-信息-知識-智慧這個脈絡(luò)，甚至在更高的層次，兩者也是可以統(tǒng)一的，比如這個定義：“世界上萬事萬物都在被數(shù)據(jù)化，形成一個與現(xiàn)實世界相關(guān)聯(lián)的數(shù)據(jù)世界，人類可以利用數(shù)據(jù)化的方式，應(yīng)對和解決生存和發(fā)展問題。”

因此很多人說BI跟大數(shù)據(jù)沒區(qū)別，的確是這樣，沒必要抬高大數(shù)據(jù)，但由此認為兩者價值也差不多，那也有問題，它忽略了”術(shù)”的不同，由此造成應(yīng)用的巨大差別。

舉個例子：神經(jīng)網(wǎng)絡(luò)理論幾十年前就有，為啥直到現(xiàn)在才有深度學(xué)習(xí)突破性的進展，關(guān)鍵是其”術(shù)”的能力提高了，一定程度講，大規(guī)模數(shù)據(jù)并行處理讓這個理論煥發(fā)了新生。

理念是一回事，付諸實踐是另一回事，因此，我們還是要從“術(shù)”的角度來闡述大數(shù)據(jù)與傳統(tǒng)BI的區(qū)別，事實上，傳統(tǒng)BI，由于其術(shù)的限制，已經(jīng)達到了一定瓶頸。

傳統(tǒng)BI廠家喊了多少年的”幫助企業(yè)做出明智的業(yè)務(wù)經(jīng)營決策”，現(xiàn)在除了一堆報表系統(tǒng)，搞了一些決策樹等統(tǒng)計算法，還剩下什么呢?傳統(tǒng)企業(yè)引入了那么多的BI咨詢，寫了那么多報告，真正發(fā)生過價值的有多少?BI已死也并非空穴來風(fēng)。

如果搞BI的還在原有的地方轉(zhuǎn)圈圈，不去變革，除了空喊我也是大數(shù)據(jù)，沒有意義，因為數(shù)據(jù)價值最終還得看落地的能力。

大數(shù)據(jù)的4V特征大家都懂，大數(shù)據(jù)在量、維度、速度等方面相對于傳統(tǒng)BI的改變的確讓數(shù)據(jù)改造世界的能力發(fā)生了質(zhì)的變化, 那么，大數(shù)據(jù)的“術(shù)”于傳統(tǒng)BI到底有哪些變化?傳統(tǒng)企業(yè)需要做哪些改變呢?

1、超越BI，拓展新的業(yè)務(wù)邊界

大數(shù)據(jù)不是繡花枕頭，它的第一要務(wù)就是解決業(yè)務(wù)問題，大數(shù)據(jù)一定程度上講就是用全新的數(shù)據(jù)技術(shù)手段來拓展和優(yōu)化業(yè)務(wù)，傳統(tǒng)企業(yè)需要聚集一撥人來研究這個問題。

如果對外，想清楚新的商業(yè)模式，如果對內(nèi)，想清楚在哪個場景，可以用大數(shù)據(jù)的手段來提升效率。

當前大數(shù)據(jù)可以產(chǎn)生價值的地方，從行業(yè)的角度看，互聯(lián)網(wǎng)、制造業(yè)、公共服務(wù)、醫(yī)療保健、金融服務(wù)都有廣闊前景。

從領(lǐng)域的角度看，廣告、營銷、風(fēng)控、供應(yīng)鏈都是大數(shù)據(jù)發(fā)揮價值的地方，對于特定企業(yè)，比如電信運營商，大數(shù)據(jù)也可以在網(wǎng)絡(luò)優(yōu)化等方面提供新的方法。

大數(shù)據(jù)應(yīng)用場景是企業(yè)特別需要想清楚的地方，傳統(tǒng)BI失敗，一定程度講，是技術(shù)推動業(yè)務(wù)導(dǎo)致的倒掛現(xiàn)象所致，是高估傳統(tǒng)BI利用數(shù)據(jù)的能力所致，比如大量領(lǐng)域用傳統(tǒng)BI產(chǎn)生不了生產(chǎn)力，當然也少不了忽悠。

大數(shù)據(jù)也面臨這個重大問題，但應(yīng)該看到，隨著大數(shù)據(jù)概念的普及，應(yīng)用領(lǐng)域的大幅延伸，企業(yè)的管理和業(yè)務(wù)人員對于數(shù)據(jù)的認識有了很大的轉(zhuǎn)變，數(shù)據(jù)化的思維開始深入人心，對于大數(shù)據(jù)來說，是一個新的機會。

不業(yè)務(wù)，無大數(shù)據(jù)。

2、顛覆BI，打造大數(shù)據(jù)技術(shù)引擎

這是當前大數(shù)據(jù)領(lǐng)域最火的地方，很多企業(yè)紛紛在建設(shè)自己的大數(shù)據(jù)臺，不外乎解決以下問題，以下僅舉例。

比如用Hadoop、流處理等技術(shù)解決海量的結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的ETL問題，用Hadoop、MPP等技術(shù)計算海量數(shù)據(jù)的計算問題，用redis、HBASE等方式解決高效讀的問題，用Impala等技術(shù)實現(xiàn)在線分析等問題。

本質(zhì)是基于廉價的機器，采用去中心化，分布式的方式去解決海量結(jié)構(gòu)，非結(jié)構(gòu)化數(shù)據(jù)的存儲、處理和讀寫的問題。

要理解這個，其實去讀懂Google的三篇論文就可以了，分別是關(guān)于Google File System、Google Bigtable及Google MapReduce的。

但并不是每個企業(yè)都需要打造自己的大數(shù)據(jù)平臺，量力而行吧，可以自研，比如BAT，也可以采購，比如傳統(tǒng)大企業(yè)，也可以租用，比如用阿里云和AWS。

在技術(shù)上，傳統(tǒng)BI的ETL、數(shù)據(jù)倉庫、OLAP、可視化報表技術(shù)，都處于淘汰的邊緣，因為它解決不了海量數(shù)據(jù)(包括結(jié)構(gòu)化與非結(jié)構(gòu)化)的處理問題，其所有的功能都可以被對應(yīng)的大數(shù)據(jù)組件所替代，因此不再有發(fā)展前途，大多數(shù)企業(yè)即使沒有大數(shù)據(jù)業(yè)務(wù)的驅(qū)動，但大數(shù)據(jù)技術(shù)的成本優(yōu)勢在那里，不做大數(shù)據(jù)也倒逼你用大數(shù)據(jù)技術(shù)，是不?

當然傳統(tǒng)BI那套，也將長期存在，畢竟大數(shù)據(jù)的普及和應(yīng)用是個漫長的過程，傳統(tǒng)企業(yè)對于大數(shù)據(jù)技術(shù)穩(wěn)定性的擔憂也是個障礙，但企業(yè)至少要末雨綢繆了，趨勢不可擋啊，大數(shù)據(jù)技術(shù)會越來越成熟。

我記得自己的企業(yè)1年前還在用DB2，僅一年的時間，GBASE就把它替換了。我們總是低估了技術(shù)革命對于我們自身的影響程度。

3、重塑BI，升級人員的知識結(jié)構(gòu)

有了業(yè)務(wù)，也有了技術(shù)，再來看看人吧，很多企業(yè)在熱火朝天的建設(shè)大數(shù)據(jù)平臺，但建完之后，卻發(fā)現(xiàn)仍然是個報表系統(tǒng)，或者仍然是原來的BI，領(lǐng)導(dǎo)一看，會感嘆，不就是換了個馬甲啊，大數(shù)據(jù)有啥用?

很多企業(yè)，它可以有很多的預(yù)算購買很貴的機器和軟件，但對于引入人才和培養(yǎng)人才卻有點力不從心，買了1個億的大數(shù)據(jù)硬件和軟件，卻希望原來的BI班底就能帶來大數(shù)據(jù)應(yīng)用的繁榮，那也是差強人意的事情，新品裝舊酒，原來班底能搞定公司的報表系統(tǒng)就已經(jīng)很好了。

為什么傳統(tǒng)BI人員搞不定?

大數(shù)據(jù)需要有人專門研究和探索，傳統(tǒng)BI人員時間精力有限，此為其一，不是否定BI人員的能力，只是表達不要奢望BI人員既做個合格的報表哥，又是個大數(shù)據(jù)創(chuàng)新達人，企業(yè)要能做些取舍。

大數(shù)據(jù)的數(shù)據(jù)處理，涉及太多新的技術(shù)，傳統(tǒng)BI只要懂點SQL就可以活的很好了，但現(xiàn)在看看，不同的應(yīng)用場景需要不同的大數(shù)據(jù)處理方法了，而且不再有人機交互那么好的客戶端了，至少要懂流處理、HADOOP、列式或分布式鍵值數(shù)據(jù)庫吧，大數(shù)據(jù)對于BI人員的技能要求其實大幅提高了,此其二。

大數(shù)據(jù)更強調(diào)全量了，原來的BI挖掘人員，搞一些樣本在單機上運行個R就很歡樂，但現(xiàn)在不行了，針對5000萬用戶搞個三度交往圈試試?傳統(tǒng)方式在BI時代大都嘗試過了，只有更新方法，才能帶來新的機會，比如，至少要求建模師會在SPARK上開發(fā)算法程序吧，對于用戶畫像、產(chǎn)品標簽化、推薦系統(tǒng)、排序算法都應(yīng)有所理解，此其三。

人才是大數(shù)據(jù)的核心要素，沒有人的投入，不能奢望有啥產(chǎn)出，需要多點人才的引入和培養(yǎng)，少點大數(shù)據(jù)的心靈雞湯，大數(shù)據(jù)絕對不是大忽悠，如果有所懷疑，就問問你這個企業(yè)有多少人是在做大數(shù)據(jù)研究和實踐的。

因此，大數(shù)據(jù)相對于傳統(tǒng)BI，不是簡單的PLUS的關(guān)系，它涉及了思想、工具和人員深層次的變革，BI人員既不要一提大數(shù)據(jù)，就嗤之以鼻，認為它是新包裝的馬甲，其實就那么回事;也不需妄自菲薄，以為搞大數(shù)據(jù)就那么高大上，它的確是BI大多數(shù)思想的傳承，傳統(tǒng)BI對于數(shù)據(jù)的處理思想，都可以用于大數(shù)據(jù)。

順應(yīng)大勢，更新自己，奮起直追，重裝上陣，是BI應(yīng)有的態(tài)度。

來源：數(shù)據(jù)猿

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會注明來源與作者；轉(zhuǎn)載我們原創(chuàng)內(nèi)容時，也請務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會受到數(shù)據(jù)猿追責(zé)。