永洪聯(lián)合創(chuàng)始人謝玲:如何構(gòu)建一站式大數(shù)據(jù)分析平臺
謝玲 | 2016-04-28 17:05
【數(shù)據(jù)猿導(dǎo)讀】 在第九屆中國軟件渠道大會暨2016中國軟件生態(tài)大會上,永洪聯(lián)合創(chuàng)始人謝玲在會議上做了主題為“如何構(gòu)建一站式大數(shù)據(jù)分析平臺”的演講,給我們展示了一站式大數(shù)據(jù)分析平臺的魅力

首先互聯(lián)網(wǎng)+運營對于企業(yè)來說還是對于政府機構(gòu),都是意義非常重大的。如果說一個企業(yè)的話,它不能夠做好數(shù)據(jù)化運營的話,它可能會面臨的一些問題,可能它在當(dāng)前的業(yè)務(wù)狀況呢,可能不清楚,或者說它的利潤下滑了,或者說它的用戶增長停滯了等等這些現(xiàn)象發(fā)生的時候,那他想要去快速地定位,可能會比較困難一些。也就是說當(dāng)他下一次如果是發(fā)生同樣的問題時候,他不能夠很快的去找到問題、找到一個相應(yīng)的應(yīng)對解決辦法。還有一個第三個層面,如果他的業(yè)務(wù)需要去進行擴展,需要去做新的招聘工作等等的話。在這時候做一些預(yù)測的工作,如果是沒有一個很好的量化指導(dǎo)的話,可能是通過拍腦袋來決定的話,可能在這過程中會對企業(yè)來說會產(chǎn)生一些不必要的損耗。
永洪聯(lián)合創(chuàng)始人謝玲
如果它是要去開一個新的門店,我到底備多少貨,這貨在多長時間能消耗掉,或者說我要招人的時候,招多少人才適合一個新的門店支撐,這些如果有一個數(shù)據(jù)模型去進行相應(yīng)的預(yù)測指導(dǎo)的話,無論是從經(jīng)濟上的成本還是時間、人力的成本都會有一個很大的節(jié)省。因為面臨著現(xiàn)在很多的同行業(yè)的競爭或者是說跨行業(yè)的競爭都是非常激烈的。如果說在做一些決策性的判斷時候,如果出現(xiàn)了一些失誤,可能會對他帶來半年甚至是一年的損失。再出現(xiàn)一些問題的時候,能夠很快的精準(zhǔn)去定位這些問題,再做一些新的嘗試時候,能有一些預(yù)測的模型來幫助他做一些輔助的工作,要達到這樣一個效果的話,我們就需要通過這種精細化的運營來去支撐,就需要通過這種探索式的方式來去搭建這樣一個平臺。
企業(yè)數(shù)據(jù)痛點
說到落地的話,無論是對于企業(yè)還是對于研究機構(gòu)來說的話,都需要現(xiàn),我們接觸了企業(yè),我們普遍反應(yīng)的問題我們歸納有幾個方面的特征。
第一個IT資源瓶頸化,如果是非IT型的企業(yè),那它可能是一個實業(yè)的話,IT部門可能只占總?cè)藬?shù)的10%以下。大部分都是業(yè)務(wù)人員,業(yè)務(wù)人員可能占90%以上。這時候當(dāng)每個季度或者說每個月或者說每周的時候這些業(yè)務(wù)部門就需要去提取一些數(shù)據(jù),或者做相應(yīng)的一些報告分析的時候,IT部門就會遇到這樣子的現(xiàn)象,就是說大部分的需求,它在現(xiàn)有這資源下很難得到支撐,很難匹配上做出來。這時候通常去把這當(dāng)前領(lǐng)導(dǎo)最關(guān)心的問題捋一下,看看現(xiàn)在人手有多少資源去調(diào)配,選擇重要的5%,或者10%來覆蓋,這樣就導(dǎo)致一個現(xiàn)象,這企業(yè)很多的業(yè)務(wù)需求是不能得到滿足的。就會導(dǎo)致IT部門非常忙,業(yè)務(wù)部門的需求非常著急,那他提出來的需求,可能響應(yīng)的周期是以周為單位,或者是以月為單位,才能得到一個實現(xiàn)。這是第一個痛點。
第二個痛點就是說工具的碎片化。我們在做這樣子一個數(shù)據(jù)處理過程中,可能會要考慮很多層面。那可能會涉及到ETL,地層的怎么架構(gòu),可視化以及深度分析怎么考慮。如果媒妁一個環(huán)節(jié)IT部門歐需要去跟不同的供應(yīng)商、不同的產(chǎn)品去合作。再實施上面也會要進行串行的開展。也會帶來相應(yīng)的一些集成的成本和維護的成本,以及我們使用者學(xué)習(xí)不同的工具去使用,那它學(xué)習(xí)門檻也是非常高,用戶的體驗也是非常不一致的。
第三個痛點就是不能有效的利用大數(shù)據(jù)。我們大部分對于海量數(shù)據(jù)的存儲和離線數(shù)據(jù)處理的話已經(jīng)有非常多的支撐,但是對于急需查詢或者是交互式分析的話,可能對于實時的計算性能的要求,也會越來越高,這樣這來說也是一個非常大的挑戰(zhàn)。如果說一個計算性能不能夠滿足這樣業(yè)務(wù)需求的話,這業(yè)務(wù)就需要等待反應(yīng)響應(yīng)的速度,就導(dǎo)致這體驗是非常糟糕,所以這是第三個的特點。
企業(yè)大數(shù)據(jù)應(yīng)用核心
我們就會看到這樣子的現(xiàn)狀,就是說企業(yè)對于這方面的投入是非常大的。對于它的預(yù)期也是非常高的。但是最終它的投入和產(chǎn)出比是不能得到一個相匹配的。通過這Forrester調(diào)查機構(gòu)有83%的用戶是不愿意用企業(yè)級的分析平臺。我們提出一個問題,如何讓數(shù)據(jù)真正被業(yè)務(wù)所去使用促進業(yè)務(wù)的發(fā)展?我們在2015年美國最權(quán)威的咨詢機構(gòu)Gartner,提出了這樣一個敏捷性的BI五、探索性的分析已經(jīng)大勢所趨。在業(yè)務(wù)驅(qū)動逐漸在BI的領(lǐng)域逐漸產(chǎn)生了一個變革,我們過去來看的話,IT部門是來主導(dǎo)這樣的平臺的建設(shè),投資方可能是IT部門,這個系統(tǒng)的建設(shè)的話,都是被高度集中、高度管控被IT來主導(dǎo)的方向。
大部分的需求都是IT部門產(chǎn)出推送給消費者或者是分析人員。現(xiàn)在就是從大部分的商業(yè)用戶來說的話,它對于探索式的分析需求,也越來越多了。需要通過數(shù)據(jù)去提高它的洞察率,但是他們的IT技能和數(shù)據(jù)科學(xué)分析的這種技能是非常有限的。我們從2014年開始就很多IT為中心的BI平臺,就是被業(yè)務(wù)驅(qū)動性的產(chǎn)品和交互分析產(chǎn)品來得到替代。
國內(nèi)也越來越多的企業(yè)借助這樣子的高性能平臺,能夠處理大數(shù)據(jù)的平臺驅(qū)動的業(yè)務(wù)平臺來去解決他們的問題。2016年也出了一份報告,這個很明顯,傳統(tǒng)型和報表型的BI已經(jīng)完全從領(lǐng)導(dǎo)者驅(qū)逐出去了,完全已經(jīng)被敏捷性的產(chǎn)品所占據(jù)。探索式的分析也融入到一站式的大數(shù)據(jù)平臺里面。
什么是一站式大數(shù)據(jù)平臺
那我們說一站式大數(shù)據(jù)平臺,包括哪些方面呢?它包括自服務(wù)的數(shù)據(jù)準(zhǔn)備,包括探索式的分析、深度分析以及企業(yè)級的管控。
自服務(wù)數(shù)據(jù)準(zhǔn)備比較好理解,就是去做一些數(shù)據(jù)清洗、匯集的工作,將數(shù)據(jù)準(zhǔn)備好可以成為分析的狀態(tài)。再下來的探索式分析什么叫探索式分析,就是說如果一個業(yè)務(wù)真正在分析的時候,它的需求是非常多變的,例如說當(dāng)我看到了一個問題是趨勢在發(fā)生下降的時候,那可能我要切換不同的角度來去看,說我的原因是什么。這時候他想看某一個產(chǎn)品線發(fā)生了變化,還是說我全年的數(shù)據(jù)在變,還是某一些時間段是連續(xù)的還是間斷式的下降,以及我在人員上面有什么特征、地域上面有什么特征,這些都是不可預(yù)期,他可能看到明顯趨勢的時候,才會發(fā)生了一些想法,再去找到這真正的答案。所以的話這整個的過程是不可以提前做好設(shè)定,不可以做好提前的計算。所以這時候就是一個高度靈活的非常自由的階段。所以我們叫這是一個探索的一個分析路徑。所以說對平臺的要求是非常靈活和可預(yù)見的。我們在落地會有最佳的實踐,我們總結(jié)了一下最主要的特點就是建模層和業(yè)務(wù)層要進行一個分離?;蛘哒f來自于建模層和業(yè)務(wù)層進行分離,建模只需要考慮表與表之間的關(guān)系,而不是緯度和指標(biāo),緯度什么樣的組合,計算要做哪些方面的設(shè)立,這些統(tǒng)統(tǒng)都不需要考慮,這樣達到的效果就是當(dāng)表沒有關(guān)系,這個底層沒有變化的時候,我任何的分析都快速從這模型中找到答案,所以最關(guān)鍵的點就是說這建模層和業(yè)務(wù)層進行一個分離才能達到高度靈活的效果。
我們過去是怎么來做的?就是我們看下面這張圖,就是過去我們傳統(tǒng)的做法是說,它的圖跟上面答題差不多,過去大部分的數(shù)據(jù)從原始的數(shù)據(jù)源里面抽取過來以后,需要進行一個處理,處理建模的時候,之前都是采用數(shù)據(jù)的存儲,當(dāng)它數(shù)據(jù)量達到了1億或者是更多的時候,這關(guān)心的數(shù)據(jù)庫就不支撐這樣的分析,這時候通常的做法就是提前做好計算,那我們就會發(fā)現(xiàn)有很多的銀行客戶,那他就會說在這當(dāng)天晚上就會把很多計算給提前方式計算好,存儲在數(shù)據(jù)存儲的結(jié)構(gòu)里面。到第二天的時候領(lǐng)導(dǎo)才能去打開去看前一天的數(shù)據(jù)跑出來的結(jié)果。
這樣的話就會,雖然說體驗式得到一定的解決,它能夠在幾秒鐘把復(fù)雜一點的計算,能快速的打開,但是它上升了一個靈活性。就是當(dāng)我說想看到指標(biāo)發(fā)生變化的時候,我是想要再去嘗試說,我要換一下看它的中位數(shù)發(fā)生變化,還是說總和數(shù)還是它的平均值發(fā)生變化,這時候我想去改這計算公式,它就沒有辦法,這時候它還需要有由IT部門重新再提交需求,當(dāng)天晚上跑出結(jié)果以后第二天再來看這結(jié)果,這不是敏捷性和靈活性看這過程。
我們從明顯的界定上面來看的話,就是說探索式的分析和這種傳統(tǒng)的分析,那它在價值上面是不一樣的??梢哉f從有限的價值能夠變到價值完全釋放的程度。但是一線的業(yè)務(wù)人員需求是非常多的,如果數(shù)據(jù)只能被少數(shù)人去掌握的話,那它的一個企業(yè)的數(shù)據(jù)價值不能夠得到一個充分的釋放。對于以前的企業(yè)服務(wù)軟件,只要把這功能做出來的就好,但是現(xiàn)在對于2B的軟件,同樣也是需要做到極致應(yīng)用,讓人人都可以使用起來來去分析的。同時還可以去做好大數(shù)據(jù)場景的處理,以及包括從長遠的角度來看,如果說我們固定的看這報表的話,有可能是四緯,就是領(lǐng)導(dǎo)通常只能報表呈現(xiàn)什么就看什么,而不能用探索的手段就說我想要看什么,報表就呈現(xiàn)什么。
以及說我如果當(dāng)我做一個新的嘗試時候,我這需求不能得到滿足,需要等三五天的時候,我整個的思路被打斷,當(dāng)我下個星期拿到結(jié)果的時候,我當(dāng)初思考的原因,可能從原來的5個,可能只能想起3個。或者在性能方面的話,如果說僅僅是把性能從1秒提高0.1秒這價值并不大。但是在這樣子不同性能下面的話,原來只能探3個月的范圍我現(xiàn)在能探5年的范圍。除了這之外的一站式大數(shù)據(jù)平臺還需要什么呢?還需要業(yè)務(wù)用戶能夠輕松的去使用探索式的深度分析的平臺。我們有很多用戶他雖然不是數(shù)據(jù)分析師,但是他也有這種深度分析的需求,這時候的話他不懂得這算法,但是它的需求是非常明確,他可能想要去做一些用戶畫像去進行用戶的類別劃分,他知道目的是什么。但是不知道怎么用這工具來實現(xiàn),但是我們?nèi)绻贸R姷乃惴ǖ脑?,對于業(yè)務(wù)用戶也能夠輕松理解這樣子的算法,比如說聚類、分類、回歸、時序等等的算法,在這平臺上進行相應(yīng)的分析,這樣就能達到三個效果,就是第三個層面的深度分析的效果。
本來在這環(huán)節(jié)上,應(yīng)該要有一個damage巖石一下交互式的數(shù)據(jù)分析和自服務(wù)的數(shù)據(jù)準(zhǔn)備,以及深度分析怎么樣過程,因為今天的時間有限就不再做任何的演示,如果大家有興趣的話可以到前面的展臺可以來體驗一下。
我們通過這樣的研究打造這樣的產(chǎn)品是極致用戶,配靈活的自數(shù)據(jù)的準(zhǔn)備,以及移動畫屏,可以去搭集全屏,構(gòu)建更大規(guī)模的集群來去解決這樣子的問題,這是我們的產(chǎn)品理念,以及說我們可以讓用戶去做這種探索是的分析以后,把這門檻和成本降低,讓它可以在不用擔(dān)心成本的情況下去盡量的進行試措,這是我們一些客戶在搭建一站式大數(shù)據(jù)平臺去解決他的數(shù)據(jù)使用的效果,這是每年做用戶回訪,用戶的手冊,大家也可以在手提袋里面可以找這到客戶手冊。
最后就是我們的愿景也是初心,我們成為國內(nèi)也是國際領(lǐng)軍的一站式大數(shù)據(jù)平臺的提供廠商。
來源:中國軟件網(wǎng)
刷新相關(guān)文章
我要評論
活動推薦more >
- 2018 上海國際大數(shù)據(jù)產(chǎn)業(yè)高2018-12-03
- 2018上海國際計算機網(wǎng)絡(luò)及信2018-12-03
- 中國國際信息通信展覽會將于2018-09-26
- 第五屆FEA消費金融國際峰會62018-06-21
- 第五屆FEA消費金融國際峰會2018-06-21
- “無界區(qū)塊鏈技術(shù)峰會2018”2018-06-14
不容錯過的資訊
-
1#后疫情時代的新思考#疫情之下,關(guān)于醫(yī)
-
2眾盟科技獲ADMIC 2020金粲獎“年度汽車
-
3數(shù)據(jù)智能 無限未來—2020世界人工智能大
-
4#2020非凡大賞:數(shù)字化風(fēng)起云涌時,共尋
-
5#榜樣的力量#天璣數(shù)據(jù)大腦疫情風(fēng)險感知
-
6#榜樣的力量#內(nèi)蒙古自治區(qū)互聯(lián)網(wǎng)醫(yī)療服
-
7#榜樣的力量#實時新型肺炎疫情數(shù)據(jù)小程
-
8#榜樣的力量#華佗疫情防控平臺丨數(shù)據(jù)猿
-
9#后疫情時代的新思考#構(gòu)建工業(yè)互聯(lián)網(wǎng)新
-
102020可信云大會丨《云MSP發(fā)展白皮書》重