大數(shù)據(jù)應(yīng)用的未來(lái)發(fā)展在何方？

大數(shù)據(jù)應(yīng)用數(shù)據(jù)分析應(yīng)用程序

核子可樂(lè)譯 | 2016-05-16 10:08

【數(shù)據(jù)猿導(dǎo)讀】時(shí)至今日，我們的數(shù)據(jù)管理能力日益提升，但數(shù)據(jù)分析能力則相對(duì)落后。盡管工具與流程皆已齊備，但仍然缺少充足的數(shù)據(jù)科學(xué)家人員。在今天的文章中，我們將專注于能夠交付實(shí)際分析結(jié)論的大數(shù)據(jù)應(yīng)用，同時(shí)追蹤其發(fā)展及當(dāng)前狀態(tài)，最終借此窺探大數(shù)據(jù)技術(shù)的未來(lái)發(fā)展方向

早期大數(shù)據(jù)技術(shù)采納方指明令人感興趣的跨行業(yè)發(fā)展可能性

根據(jù)2012年《福布斯》雜志發(fā)表的文章，早期大數(shù)據(jù)技術(shù)采納方主要來(lái)自金融服務(wù)、電信、制造(特別是消費(fèi)級(jí)產(chǎn)品)以及政府領(lǐng)域。

早期采納方在起步階段會(huì)使用其新近安裝的大數(shù)據(jù)基礎(chǔ)設(shè)施(例如HDFS、MapReduce以及NoSQL數(shù)據(jù)庫(kù)等等)以實(shí)驗(yàn)各類新型應(yīng)用。根據(jù) Pacific Crest公司收集到的數(shù)據(jù)，各早期采納方往往希望利用這些方案處理數(shù)據(jù)中心日志信息(包括服務(wù)器、路由器以及各類物聯(lián)網(wǎng)傳感器等)，旨在實(shí)現(xiàn)網(wǎng)絡(luò)分析與 IT系統(tǒng)性能監(jiān)控。在此基礎(chǔ)之上，亦有相當(dāng)一部分企業(yè)嘗試?yán)?a class="link-bottom" href="http://www.getteks.net/search?q=大數(shù)據(jù)" target="_blank" rel="nofollow">大數(shù)據(jù)技術(shù)進(jìn)行財(cái)務(wù)數(shù)據(jù)(欺詐檢測(cè))與Web數(shù)據(jù)(情感分析以實(shí)現(xiàn)個(gè)性化體驗(yàn))分析。

表1 大數(shù)據(jù)應(yīng)用早期實(shí)驗(yàn)方向

用例	早期采納方比例
網(wǎng)絡(luò)分析	29%
IT系統(tǒng)日志分析	28%
傳感器數(shù)據(jù)分析	19%
Web行為數(shù)據(jù)分析	16%
基因組數(shù)據(jù)分析	9%
社交媒體情感分析	6%
欺詐檢測(cè)	6%

初步實(shí)驗(yàn)對(duì)于了解大數(shù)據(jù)基礎(chǔ)設(shè)施收益、潛力與不足之處非常重要。然而根據(jù)CapGemini于2014年發(fā)布的報(bào)告，試水性實(shí)驗(yàn)的成功比例并不算高。其失敗原因主要有三：1)將數(shù)據(jù)分散在多個(gè)不同團(tuán)隊(duì)中，因此訪問(wèn)難度較原始設(shè)計(jì)更高。2)數(shù)據(jù)被安置于遺留系統(tǒng)當(dāng)中，導(dǎo)致將其導(dǎo)出至大數(shù)據(jù)基礎(chǔ)設(shè)施變得非常困難。3)缺少統(tǒng)一而明確的全局性數(shù)據(jù)管理與數(shù)據(jù)分析方案，這使得工作人員難以從數(shù)據(jù)內(nèi)提取信息。而隨著此類問(wèn)題的一一克服，近來(lái)我們發(fā)現(xiàn)成功案例變得愈發(fā)普遍。事實(shí)上，目前全球各地對(duì)于大數(shù)據(jù)基礎(chǔ)設(shè)施及其附加方案的興趣都呈現(xiàn)出快速升溫之勢(shì)(見(jiàn)圖一)。

圖一各行業(yè)與地區(qū)大數(shù)據(jù)投入數(shù)據(jù)。

企業(yè)客戶持續(xù)投資給初創(chuàng)公司帶來(lái)可觀的風(fēng)投支持積極性

企業(yè)向大數(shù)據(jù)技術(shù)投入的資金呈現(xiàn)增長(zhǎng)之勢(shì)。根據(jù)NewVantage指出，受訪企業(yè)中有27%表示其將在2017年之前向大數(shù)據(jù)項(xiàng)目投入超過(guò)5000萬(wàn)美元資金。而在2014年面向同樣企業(yè)對(duì)象的調(diào)查中，這一比例僅為5.4%。

目前，價(jià)值萬(wàn)億美元的行業(yè)，包括醫(yī)療衛(wèi)生、保險(xiǎn)、農(nóng)業(yè)、能源、醫(yī)藥、教育、汽車、運(yùn)輸以及物流等等，都在積極探索如何利用大數(shù)據(jù)利器解決自己面臨的現(xiàn)實(shí)難題。舉例來(lái)說(shuō)，汽車制造商希望分析消費(fèi)者的信息娛樂(lè)選擇以提供更理想的車載信息娛樂(lè)體驗(yàn)，同時(shí)亦需要分析車輛性能數(shù)據(jù)以提供預(yù)防性維護(hù)建議。另外，無(wú)線運(yùn)營(yíng)商也希望了解消費(fèi)者如何使用其數(shù)據(jù)，從而更好地提供內(nèi)容并實(shí)現(xiàn)營(yíng)收。

考慮到以上提到的企業(yè)投資與變革力度，風(fēng)險(xiǎn)投資商們則更為積極地為大數(shù)據(jù)初創(chuàng)企業(yè)提供資金，如圖三所示。單在2015年年內(nèi)，風(fēng)投方為大數(shù)據(jù)初創(chuàng)企業(yè)提供的資金總額就高達(dá)67億美元，超過(guò)2014年的60億美元。

圖二截至2016年2月大數(shù)據(jù)應(yīng)用總體態(tài)勢(shì)圖

出于同樣的理由，大數(shù)據(jù)初創(chuàng)企業(yè)也開(kāi)始迎來(lái)一波收購(gòu)浪潮。其中包括AOL收購(gòu)Convertro，谷歌收購(gòu)Adometry，蘋(píng)果收購(gòu) Topsy，Teradata收購(gòu)Aster Data與Think Big Analytics，Salesforce收購(gòu)Edgespring等等。最近，我們還見(jiàn)證了微軟收購(gòu)Revolution Analytics，HDS收購(gòu)Pentaho以及Advance收購(gòu)1010Data。除此之外，小規(guī)模收購(gòu)亦層出不窮，包括Amazon收購(gòu) Amiato等。

如圖二所示，目前風(fēng)投方的主要關(guān)注重點(diǎn)在于大數(shù)據(jù)基礎(chǔ)設(shè)施與工具。盡管基礎(chǔ)設(shè)施與工具部署同樣顯示出旺盛的生命力，但這里我們姑且將注意力集中在大數(shù)據(jù)應(yīng)用身上。

大數(shù)據(jù)應(yīng)用的崛起

信息技術(shù)中的每個(gè)新興領(lǐng)域(例如商務(wù)智能、客戶端/服務(wù)器計(jì)算、云計(jì)算以及移動(dòng)計(jì)算等)通常都需要經(jīng)歷三個(gè)發(fā)展階段：

基礎(chǔ)設(shè)施部署。在大數(shù)據(jù)領(lǐng)域，此類基礎(chǔ)設(shè)施負(fù)責(zé)對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)、管理、移動(dòng)與傳輸。

工具部署。在大數(shù)據(jù)領(lǐng)域，此類工具用于搜索并分析各種形式的大數(shù)據(jù)并呈現(xiàn)處理結(jié)果。

應(yīng)用程序引入，通常將基礎(chǔ)設(shè)施與工具轉(zhuǎn)化為實(shí)際功能。

遵循這樣的分階段實(shí)現(xiàn)方式，眾多大型企業(yè)已經(jīng)開(kāi)始部署大數(shù)據(jù)基礎(chǔ)設(shè)施與多種工具，旨在分析收集到的海量數(shù)據(jù)。

由于我們已經(jīng)進(jìn)入應(yīng)用開(kāi)發(fā)與部署階段，因此最重要的是著眼于具體軟件。截至目前，我們已經(jīng)發(fā)現(xiàn)了三種主要大數(shù)據(jù)應(yīng)用類型：

淺層應(yīng)用，包括執(zhí)行客戶流失分析并圍繞通用型分析工具進(jìn)行開(kāi)發(fā)(例如Dataminr與DataRobot等)。這些應(yīng)用由數(shù)據(jù)科學(xué)家負(fù)責(zé)支持，從而執(zhí)行經(jīng)過(guò)嚴(yán)格定義的任務(wù)流程。這些應(yīng)用通常只能在運(yùn)行基礎(chǔ)之上提供淺層分析能力。這些由分析模型與報(bào)告機(jī)制驅(qū)動(dòng)的應(yīng)用由數(shù)據(jù)科學(xué)家及服務(wù)專家進(jìn)行開(kāi)發(fā)與維護(hù)——他們往往來(lái)自管理咨詢企業(yè)，且充分理解相關(guān)業(yè)務(wù)領(lǐng)域及最終用戶需求。最終用戶通常為商業(yè)分析師。

應(yīng)用能夠處理大數(shù)據(jù)，但無(wú)法實(shí)現(xiàn)任何形式的預(yù)測(cè)或預(yù)測(cè)性分析(例如Socrata及Zuora)。這類應(yīng)用可能面向水平或垂直體系，其能夠?yàn)樽罱K用戶——主要為商業(yè)分析師——提供理解數(shù)據(jù)并形成結(jié)論報(bào)告的能力。作為實(shí)例，紐約市就利用Socrata系統(tǒng)創(chuàng)建財(cái)務(wù)報(bào)告。

具備嵌入式預(yù)測(cè)性分析的應(yīng)用。此類應(yīng)用未來(lái)將分為以下兩種類別。

1.包含預(yù)測(cè)模型，并由數(shù)據(jù)科學(xué)家負(fù)責(zé)開(kāi)發(fā)與定期更新。這意味著應(yīng)用供應(yīng)商必須擁有強(qiáng)大的服務(wù)能力以支持軟件功能。此類應(yīng)用包括AgileOne、OPower、Zephyr Health、Duetto以及DataXu與MediaMath等在線廣告應(yīng)用方案。

2.所使用的預(yù)測(cè)模型可由應(yīng)用本身自動(dòng)構(gòu) 建。此類應(yīng)用廠商包括Oration與Namogoo。

歸屬于這一類別的應(yīng)用可能面向橫向(例如AgileOne與Namogoo)或垂直領(lǐng)域(例如OPower、Duetto或者Oration)。

這三種大數(shù)據(jù)應(yīng)用類型可被視為應(yīng)用領(lǐng)域的開(kāi)創(chuàng)者，如今以其為基礎(chǔ)又有第四種見(jiàn)解型應(yīng)用開(kāi)始出現(xiàn)。之前提到的第三種應(yīng)用同見(jiàn)解型應(yīng)用最為接近，但二者間又存在著重要差異：其能夠做出預(yù)測(cè)，但無(wú)法形成見(jiàn)解。換言之，第三種應(yīng)用無(wú)法根據(jù)預(yù)測(cè)結(jié)果執(zhí)行對(duì)應(yīng)操作。相反，它們依賴于用戶來(lái)識(shí)別特定預(yù)測(cè)結(jié)果并執(zhí)行對(duì)應(yīng)行為。

總結(jié)

盡管仍然面臨多種障礙(每一種新興技術(shù)在出現(xiàn)后都必須面對(duì)挑戰(zhàn))，但大數(shù)據(jù)的早期采納方已經(jīng)在相關(guān)項(xiàng)目當(dāng)中積極投資，并將其部署至企業(yè)業(yè)務(wù)系統(tǒng)當(dāng)中以解決各類關(guān)鍵性難題。為了實(shí)現(xiàn)大數(shù)據(jù)的跨行業(yè)處理潛能，各風(fēng)險(xiǎn)投資方都在積極為大數(shù)據(jù)初創(chuàng)企業(yè)提供援助，希望其解決方案能夠?yàn)榇笮推髽I(yè)客戶所采納?？紤] 到已經(jīng)陸續(xù)出現(xiàn)的大量大數(shù)據(jù)基礎(chǔ)架構(gòu)及部署分析工具，多數(shù)企業(yè)開(kāi)始將注意力轉(zhuǎn)向大數(shù)據(jù)應(yīng)用程序。我們確定的這三種具體類型涵蓋了相繼出現(xiàn)的各類新型大數(shù)據(jù) 應(yīng)用。其中一些能夠提供預(yù)測(cè)結(jié)論，但卻無(wú)法實(shí)現(xiàn)見(jiàn)解與實(shí)際行動(dòng)，這亦是大數(shù)據(jù)應(yīng)用尚未徹底發(fā)展成熟的主要標(biāo)志。在未來(lái)的文章中，我們將深入探討見(jiàn)解型應(yīng)用 ——即第四類亦是最具發(fā)展前途的大數(shù)據(jù)應(yīng)用類型。

來(lái)源：51CTO操作系統(tǒng)

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會(huì)注明來(lái)源與作者；轉(zhuǎn)載我們?cè)瓌?chuàng)內(nèi)容時(shí)，也請(qǐng)務(wù)必注明“來(lái)源：數(shù)據(jù)猿”與作者名稱，否則將會(huì)受到數(shù)據(jù)猿追責(zé)。