前段時(shí)間有報(bào)道稱(chēng)，有學(xué)者質(zhì)疑“大數(shù)據(jù)”理論，也有硅谷公司負(fù)責(zé)人質(zhì)疑大數(shù)據(jù)應(yīng)用的效果。結(jié)合2011年Gartner關(guān)于BI(Business Intelligence)應(yīng)用70%-80%都失敗的一個(gè)調(diào)查結(jié)論(這里的fail是夸張的說(shuō)法，更確切地講應(yīng)該是沒(méi)有達(dá)到預(yù)期效果)，本文就來(lái)談?wù)劄槭裁磿?huì)出現(xiàn)這樣的問(wèn)題，大數(shù)據(jù)應(yīng)用落地的瓶頸是什么 為什么大數(shù)據(jù)應(yīng)用容易失敗 為什么大數(shù)據(jù)應(yīng)用需要敏捷 敏捷大數(shù)據(jù)方法論又是什么，包括那些關(guān)鍵技術(shù)，系統(tǒng)架構(gòu)如何設(shè)計(jì)等等問(wèn)題，希望能為業(yè)界大數(shù)據(jù)應(yīng)用落地提供一點(diǎn)有價(jià)值的參考。

大數(shù)據(jù)應(yīng)用落地的主要瓶頸是什么 

我在前文《論大數(shù)據(jù)的泡沫、價(jià)值與應(yīng)用陷阱》有說(shuō)到，大數(shù)據(jù)現(xiàn)象源于我們對(duì)未來(lái)不確定性的恐懼，和應(yīng)對(duì)軟件在加速吞噬世界(軟件越來(lái)越龐雜，操作越來(lái)越自動(dòng)化，數(shù)據(jù)越來(lái)越豐富，而大部分人卻對(duì)其原理和特性卻知之甚少)這一大背景下的管理失控問(wèn)題。大數(shù)據(jù)規(guī)律的可預(yù)測(cè)性創(chuàng)造了一種新的知識(shí)體系和管理思維，但分析模型的黑箱和操作的自動(dòng)化卻削弱了人類(lèi)對(duì)其深層規(guī)律的理解和探索能力，機(jī)器的量化能力與人的主觀判斷能力短時(shí)間內(nèi)還難以有機(jī)融合，大數(shù)據(jù)應(yīng)用不缺預(yù)測(cè)模型、計(jì)算資源和數(shù)據(jù)科學(xué)家，而是缺乏提出正確問(wèn)題和利用大數(shù)據(jù)工具解決問(wèn)題的能力，就好比用大炮沒(méi)有打到蚊子，我們不能說(shuō)大炮沒(méi)用，而會(huì)說(shuō)這個(gè)人的方法搞錯(cuò)了。

大數(shù)據(jù)分析的核心目標(biāo)是，面向過(guò)去，發(fā)現(xiàn)數(shù)據(jù)規(guī)律，歸納已知;面向未來(lái)，挖掘數(shù)據(jù)趨勢(shì)，預(yù)測(cè)未知。從而通過(guò)大數(shù)據(jù)分析提高對(duì)事物的理解和決策處置能力，最終實(shí)現(xiàn)智能化。不管是商業(yè)智能，機(jī)器智能，人工智能，還是智能客服，智能問(wèn)答，智能推薦，智慧醫(yī)療、智慧交通等相關(guān)技術(shù)和系統(tǒng)，其本質(zhì)都是朝著這一目標(biāo)在演進(jìn)。隨著云計(jì)算平臺(tái)和開(kāi)源大數(shù)據(jù)系統(tǒng)(如Hadoop、Spark、Storm等)的高速發(fā)展，獲得大數(shù)據(jù)基礎(chǔ)設(shè)施建設(shè)相關(guān)技術(shù)和支持越來(lái)越容易。同時(shí)，移動(dòng)互聯(lián)網(wǎng)和物聯(lián)網(wǎng)技術(shù)所具備的全面數(shù)據(jù)采集能力，客觀上促進(jìn)了大數(shù)據(jù)的積累和爆發(fā)。但是，大數(shù)據(jù)應(yīng)用要落地，除了需要上述提出正確問(wèn)題和利用大數(shù)據(jù)工具解決問(wèn)題的能力之外，個(gè)人認(rèn)為還面臨如下幾個(gè)方面的主要瓶頸：

1)IT向DT(Data Technology,DT)技術(shù)泛型的轉(zhuǎn)變，使得傳統(tǒng)硬件和軟件技術(shù)架構(gòu)面臨挑戰(zhàn)，大規(guī)模并行計(jì)算、量子計(jì)算機(jī)、深度神經(jīng)網(wǎng)絡(luò)芯片、分布式存儲(chǔ)系統(tǒng)、GPU大規(guī)模計(jì)算等都是對(duì)傳統(tǒng)IT技術(shù)架構(gòu)的顛覆?，F(xiàn)階段各種大數(shù)據(jù)分析相關(guān)的開(kāi)源技術(shù)和系統(tǒng)百花齊放，大數(shù)據(jù)技術(shù)生態(tài)體系龐雜，技術(shù)門(mén)檻較高也間接說(shuō)明了這一點(diǎn)。研究、研發(fā)人員要跟上這一波技術(shù)變革還需要時(shí)間去消化和積累，特別是學(xué)術(shù)界和工業(yè)界的結(jié)合，對(duì)大數(shù)據(jù)應(yīng)用來(lái)講至關(guān)重要，深度學(xué)習(xí)領(lǐng)域的突破就是例證。如何在掌握有限技術(shù)的條件下(或受制于核心技術(shù)人才的情況下)，能快速進(jìn)行大數(shù)據(jù)應(yīng)用研究和落地應(yīng)用，需要從技術(shù)選型角度進(jìn)行深入探討、分析和評(píng)估。

2)傳統(tǒng)商業(yè)智能(Business Intelligence, BI)應(yīng)用的失敗教訓(xùn)太多，項(xiàng)目周期漫長(zhǎng)，考驗(yàn)客戶耐性，應(yīng)用投入成本高，最終成果多是昂貴的豪華報(bào)表，沒(méi)有達(dá)到預(yù)期效果。另外，傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市架構(gòu)下，面對(duì)海量數(shù)據(jù)的存儲(chǔ)能力、擴(kuò)展能力、并發(fā)能力弱等問(wèn)題無(wú)法從根本解決。大數(shù)據(jù)分析如何從BI項(xiàng)目中總結(jié)失敗教訓(xùn)和獲得經(jīng)驗(yàn)，大數(shù)據(jù)應(yīng)用與傳統(tǒng)BI系統(tǒng)是融合還是代替 企業(yè)大數(shù)據(jù)技術(shù)架構(gòu)如何與發(fā)源于互聯(lián)網(wǎng)巨頭的主流大數(shù)據(jù)技術(shù)框架有機(jī)統(tǒng)一 也還有很多問(wèn)題需要深入總結(jié)，解決不好就會(huì)事倍功半。

3)大數(shù)據(jù)應(yīng)用的標(biāo)準(zhǔn)化和產(chǎn)品化問(wèn)題。針對(duì)大數(shù)據(jù)的多源異構(gòu)、動(dòng)態(tài)性、關(guān)聯(lián)性等特點(diǎn)，對(duì)大數(shù)據(jù)分析流程和應(yīng)用進(jìn)行標(biāo)準(zhǔn)化的管理，對(duì)離線分析、在線分析、實(shí)時(shí)分析、內(nèi)存分析等計(jì)算框架的融合處理，對(duì)圖像、文本、視頻、音頻、網(wǎng)頁(yè)、關(guān)系數(shù)據(jù)庫(kù)等多源異構(gòu)數(shù)據(jù)進(jìn)行跨模態(tài)建模，對(duì)大數(shù)據(jù)分析結(jié)果的應(yīng)用效果進(jìn)行量化與評(píng)價(jià)。不管是從技術(shù)選型角度還是業(yè)務(wù)支撐角度，都還有很多問(wèn)題需要實(shí)戰(zhàn)經(jīng)驗(yàn)的積累和支持，想要一勞永逸地解決不現(xiàn)實(shí)。

4)除了前述探討的大數(shù)據(jù)應(yīng)用面臨的挑戰(zhàn)之外，從大數(shù)據(jù)架構(gòu)本身的技術(shù)角度分析還需要解決如下幾個(gè)關(guān)鍵問(wèn)題：高可擴(kuò)展性，能支持大規(guī)模數(shù)據(jù)增長(zhǎng)和大量業(yè)務(wù)分析的快速擴(kuò)展等;高容錯(cuò)性和穩(wěn)定性，能支持大數(shù)據(jù)分析的失敗情況和進(jìn)行自動(dòng)恢復(fù)等;高性能和并行支持，能在海量數(shù)據(jù)條件下快速完成多種計(jì)算模型和分析處理;多源異構(gòu)環(huán)境支持，能處理多模態(tài)數(shù)據(jù)和多種分析任務(wù);開(kāi)放性和共享支持，能提供標(biāo)準(zhǔn)的數(shù)據(jù)和開(kāi)發(fā)接口，支持?jǐn)?shù)據(jù)和系統(tǒng)集成;效率和成本的控制，能在有限的時(shí)間、人力和財(cái)力條件下提高系統(tǒng)性能等，這對(duì)大數(shù)據(jù)系統(tǒng)架構(gòu)的設(shè)計(jì)提出了較高要求。

5)大數(shù)據(jù)管理思維和開(kāi)發(fā)、應(yīng)用實(shí)施的脫節(jié)，大數(shù)據(jù)強(qiáng)化了定量科學(xué)和客觀方法的地位，但事實(shí)上，現(xiàn)階段很多企業(yè)領(lǐng)導(dǎo)，包括技術(shù)人員對(duì)大數(shù)據(jù)的處理和使用仍然是主觀性的，而且面對(duì)機(jī)器學(xué)習(xí)的黑箱，對(duì)模型的缺陷和適用范疇很難有深入把握，這樣的話通過(guò)大數(shù)據(jù)挖掘分析量化的結(jié)果也未必更符合客觀事實(shí)，大數(shù)據(jù)不等于好數(shù)據(jù)，如何切實(shí)輔助決策才是關(guān)鍵。

再則，大數(shù)據(jù)是非常碎片化的，大數(shù)據(jù)不只是谷歌，亞馬遜，BAT等互聯(lián)網(wǎng)企業(yè)，每一個(gè)行業(yè)、企業(yè)里面都有它去關(guān)注數(shù)據(jù)的痕跡：一條生產(chǎn)線上的實(shí)時(shí)傳感器數(shù)據(jù)，車(chē)輛身上的傳感數(shù)據(jù)，高鐵設(shè)備的運(yùn)行狀態(tài)數(shù)據(jù)，交通部門(mén)的監(jiān)控?cái)?shù)據(jù)等等;其次，現(xiàn)在的開(kāi)源大數(shù)據(jù)系統(tǒng)架構(gòu)和工具集來(lái)源于互聯(lián)網(wǎng)巨頭，這種技術(shù)架構(gòu)不一定適合傳統(tǒng)企業(yè)和政府關(guān)聯(lián)機(jī)構(gòu)，因?yàn)椴煌M織機(jī)構(gòu)所擁有的數(shù)據(jù)類(lèi)型和結(jié)構(gòu)可能大不相同;再次，從大數(shù)據(jù)應(yīng)用過(guò)程和特點(diǎn)來(lái)看，數(shù)據(jù)科學(xué)的本質(zhì)是迭代，就好比嬰兒的學(xué)習(xí)一樣，輸入-回應(yīng)-反饋-學(xué)習(xí)-再輸入，持續(xù)訓(xùn)練和學(xué)習(xí)才會(huì)產(chǎn)生智能，大數(shù)據(jù)分析系統(tǒng)是一樣的道理，自適應(yīng)優(yōu)化和持續(xù)改進(jìn)是大數(shù)據(jù)系統(tǒng)的必備特征。所以，這就需要大數(shù)據(jù)技術(shù)架構(gòu)具有極強(qiáng)的靈活性、可擴(kuò)展性，或者說(shuō)敏捷性。

大數(shù)據(jù)應(yīng)用為什么需要敏捷 

上述五個(gè)方面的大數(shù)據(jù)應(yīng)用瓶頸分析可以看到，大數(shù)據(jù)應(yīng)用要切實(shí)落地并產(chǎn)生應(yīng)有價(jià)值還要較長(zhǎng)的路要走，當(dāng)然這取決于我們的期望，在《企業(yè)大數(shù)據(jù)應(yīng)用三段論》一文中，有明確的界定，大數(shù)據(jù)應(yīng)用的效果不能輕易否定，當(dāng)然也不能太樂(lè)觀，關(guān)鍵還是看處于那個(gè)階段，技術(shù)成熟度和設(shè)計(jì)研發(fā)能力如何等等。為什么大數(shù)據(jù)需要敏捷，或者說(shuō)我為什么提出敏捷大數(shù)據(jù)，主要基于上述大數(shù)據(jù)應(yīng)用瓶頸的判斷：大數(shù)據(jù)應(yīng)用落地面臨很多現(xiàn)實(shí)問(wèn)題，首先我們看大數(shù)據(jù)的應(yīng)用過(guò)程和特點(diǎn)(如圖1)，大數(shù)據(jù)要完成的是一種將各方面源數(shù)據(jù)(零散的、相關(guān)的圍繞某行業(yè)或者某分析主題的數(shù)據(jù))通過(guò)ETL組織成為主題數(shù)據(jù)，從主題數(shù)據(jù)中提煉信息特征，從特征挖掘中發(fā)現(xiàn)規(guī)律和有價(jià)值的知識(shí)，就規(guī)律和預(yù)測(cè)等知識(shí)信息形成決策支持并進(jìn)行應(yīng)用和追蹤評(píng)估，最后反饋回大數(shù)據(jù)系統(tǒng)進(jìn)行反復(fù)驗(yàn)證、優(yōu)化并持續(xù)迭代的閉環(huán)信息處理過(guò)程。

圖1 大數(shù)據(jù)應(yīng)用金字塔模型

其次，有沒(méi)有通用的大數(shù)據(jù)應(yīng)用架構(gòu)和流程 一般來(lái)講，不同行業(yè)、不同企業(yè)、不同應(yīng)用場(chǎng)景，采用的技術(shù)架構(gòu)和分析流程也會(huì)有差異;再次，大數(shù)據(jù)應(yīng)用落地需面對(duì)的現(xiàn)實(shí)問(wèn)題眾多，項(xiàng)目周期漫長(zhǎng)，考驗(yàn)客戶耐性，技術(shù)生態(tài)龐雜，復(fù)合型人才少，一將難求，應(yīng)用效果如何量化也還沒(méi)標(biāo)準(zhǔn)，用戶參與度低，難達(dá)預(yù)期目標(biāo)，機(jī)器學(xué)習(xí)數(shù)據(jù)實(shí)驗(yàn)，如何應(yīng)用于數(shù)據(jù)工程等等問(wèn)題，對(duì)大數(shù)據(jù)分析的系統(tǒng)架構(gòu)、關(guān)鍵技術(shù)及應(yīng)用方法論，提出了較高要求，下面就來(lái)看敏捷大數(shù)據(jù)能否解決一些問(wèn)題。

敏捷大數(shù)據(jù)方法論

(1)何為敏捷 

何為敏捷，我們先看幾個(gè)概念：

敏捷開(kāi)發(fā)(Agile Development)，以用戶的需求進(jìn)化為核心，采用迭代、循序漸進(jìn)的方法進(jìn)行軟件開(kāi)發(fā)。在敏捷開(kāi)發(fā)中，軟件項(xiàng)目在構(gòu)建初期被切分成多個(gè)子項(xiàng)目，各個(gè)子項(xiàng)目的成果都經(jīng)過(guò)測(cè)試，具備可視、可集成和可運(yùn)行使用的特征。換言之，就是把一個(gè)大項(xiàng)目分為多個(gè)相互聯(lián)系，但也可獨(dú)立運(yùn)行的小項(xiàng)目，并分別完成，在此過(guò)程中軟件一直處于可使用狀態(tài)。

敏捷管理(Agile Management)，敏捷管理是規(guī)劃和指導(dǎo)項(xiàng)目流程的迭代方法，與敏捷軟件開(kāi)發(fā)一樣，敏捷項(xiàng)目是在叫做迭代的小型部門(mén)中完成的。每個(gè)迭代都由項(xiàng)目團(tuán)隊(duì)審查和評(píng)判，從迭代的評(píng)判中獲得的信息用于決定項(xiàng)目的下一個(gè)步驟。由于開(kāi)發(fā)周期短，對(duì)需求管理恰當(dāng)，敏捷管理正在從軟件研發(fā)行業(yè)延伸到已經(jīng)采取項(xiàng)目化管理的大部分行業(yè)中。

精益生產(chǎn)(Lean Production)，簡(jiǎn)稱(chēng)“精益”，是衍生自日本豐田生產(chǎn)方式的一種管理哲學(xué)，由美國(guó)麻省理工學(xué)院教授詹姆斯.P.沃麥克等專(zhuān)家通過(guò)“國(guó)際汽車(chē)計(jì)劃(IMVP)”對(duì)全世界17個(gè)國(guó)家90多個(gè)汽車(chē)制造廠的調(diào)查和對(duì)比分析，認(rèn)為日本豐田汽車(chē)公司的生產(chǎn)方式是最適用于現(xiàn)代制造企業(yè)的一種生產(chǎn)組織管理方式，精益生產(chǎn)是通過(guò)系統(tǒng)結(jié)構(gòu)、人員組織、運(yùn)行方式和市場(chǎng)供求等方面的變革，使生產(chǎn)系統(tǒng)能很快適應(yīng)用戶需求不斷變化，并能使生產(chǎn)過(guò)程中一切無(wú)用、多余的東西被精簡(jiǎn)，最終達(dá)到包括市場(chǎng)供銷(xiāo)在內(nèi)的生產(chǎn)的各方面最好結(jié)果的一種生產(chǎn)管理方式。

精益思維(Lean Thinking)和精益管理(Lean Management)，源于精益生產(chǎn)，精益管理由最初的在生產(chǎn)系統(tǒng)的管理實(shí)踐成功，已經(jīng)逐步延伸到企業(yè)的各項(xiàng)管理業(yè)務(wù)，也由最初的具體業(yè)務(wù)管理方法，上升為戰(zhàn)略管理理念。精益管理要求企業(yè)的各項(xiàng)活動(dòng)都必須運(yùn)用“精益思維” (Lean Thinking)。“精益思維”的核心就是以最小資源投入，包括人力、設(shè)備、資金、材料、時(shí)間和空間， 創(chuàng)造出盡可能多的價(jià)值，為顧客提供新產(chǎn)品和及時(shí)的服務(wù)。

圖. 現(xiàn)代軟件工程，基礎(chǔ)技術(shù)工具棧已經(jīng)很成熟，搭積木式敏捷開(kāi)發(fā)與精益制造有著相似理念

從上述概念定義可以看出，敏捷和精益是對(duì)孿生姐妹，其關(guān)鍵詞涉及需求進(jìn)化，迭代，可視化，循序漸進(jìn)，可集成可運(yùn)行，精益，最小資源投入等。單體應(yīng)用系統(tǒng)建設(shè)，傳統(tǒng)軟件工程對(duì)敏捷開(kāi)發(fā)和精益管理思想的需求并不迫切，而面對(duì)多源、異構(gòu)、協(xié)作式大數(shù)據(jù)系統(tǒng)的架構(gòu)設(shè)計(jì)、研發(fā)和項(xiàng)目實(shí)施來(lái)講，敏捷和精益設(shè)計(jì)理念至關(guān)重要，為什么這樣講 下圖是典型的傳統(tǒng)信息化技術(shù)架構(gòu)與大數(shù)據(jù)系統(tǒng)架構(gòu)的一個(gè)對(duì)比，有經(jīng)驗(yàn)的朋友們應(yīng)該可以看出一些端倪。

圖2 傳統(tǒng)信息系統(tǒng)與大數(shù)據(jù)系統(tǒng)架構(gòu)對(duì)比

上圖左邊部分為傳統(tǒng)信息化技術(shù)架構(gòu)，右邊部分為常見(jiàn)大數(shù)據(jù)系統(tǒng)架構(gòu)，當(dāng)然其中具體的技術(shù)組件選型根據(jù)不同的需求也不一樣，這種架構(gòu)不是固定的，其中每個(gè)組件至少有幾個(gè)替代品，而且可以根據(jù)需要進(jìn)行擴(kuò)展。從這個(gè)圖我們可以得出這樣的結(jié)論，傳統(tǒng)信息系統(tǒng)可以一人打天下，而大數(shù)據(jù)系統(tǒng)的核心思想?yún)s是分布式和團(tuán)結(jié)協(xié)作，一個(gè)人的力量再大，智慧再高，精力再?gòu)?qiáng)，也不如一群人有效整合后的力量大，而大數(shù)據(jù)系統(tǒng)架構(gòu)就是負(fù)責(zé)多方面的整合(Hadoop,Spark等大數(shù)據(jù)基礎(chǔ)系統(tǒng)架構(gòu)同理，如圖3-Hadoop系統(tǒng)架構(gòu)示意圖)，換句話說(shuō)，這就像是軟件研發(fā)或生產(chǎn)過(guò)程中的敏捷和精益管理，由公司大領(lǐng)導(dǎo)(Master)進(jìn)行分配任務(wù)，人員調(diào)配，每位員工(slave)努力完成自己負(fù)責(zé)的小目標(biāo)工作，各級(jí)主管進(jìn)行橫向和縱向協(xié)同，有效整合起來(lái)就是公司的大目標(biāo)，可見(jiàn)大數(shù)據(jù)系統(tǒng)架構(gòu)的演變已經(jīng)是很接近人類(lèi)社會(huì)協(xié)作的思想了。而要有效支撐大數(shù)據(jù)系統(tǒng)架構(gòu)的分布式協(xié)作能力，敏捷和精益設(shè)計(jì)思想是很有必要的參考。

圖3 Hadoop系統(tǒng)架構(gòu)示意圖

(2)敏捷大數(shù)據(jù)定義

那什么是敏捷大數(shù)據(jù)呢，本文暫且給出一個(gè)初步的定義(還不夠成熟)：“敏捷大數(shù)據(jù)是基于數(shù)據(jù)科學(xué)的迭代性本質(zhì)和敏捷研發(fā)管理思想，利用構(gòu)件化、服務(wù)化和容器化等技術(shù)，對(duì)大數(shù)據(jù)系統(tǒng)架構(gòu)和關(guān)鍵組件協(xié)作等進(jìn)行精益設(shè)計(jì)，逐步實(shí)現(xiàn)多層次數(shù)據(jù)的融合處理和多種計(jì)算框架、模型的擴(kuò)展和高效管理，快速響應(yīng)大數(shù)據(jù)分析需求，快速構(gòu)建大數(shù)據(jù)生產(chǎn)系統(tǒng)，快速迭代大數(shù)據(jù)分析能力，從而提升大數(shù)據(jù)系統(tǒng)的分析效率和大數(shù)據(jù)決策價(jià)值”。敏捷大數(shù)據(jù)的核心要素遵從SFV原則(Small，F(xiàn)ast，Validation, SFV)：一是小、二是快、三是證，小的業(yè)務(wù)分析目標(biāo)切入，快速出原型快速迭代，證明有效之后再擴(kuò)張。從某種程度上講，傳統(tǒng)BI項(xiàng)目的失敗很多是沒(méi)有把握好這三個(gè)原則，而互聯(lián)網(wǎng)企業(yè)的大數(shù)據(jù)系統(tǒng)能成功，能使開(kāi)源大數(shù)據(jù)技術(shù)百花齊放，是因?yàn)榘盐蘸昧诉@三個(gè)原則。

敏捷大數(shù)據(jù)要解決如下關(guān)鍵問(wèn)題：如何實(shí)現(xiàn)統(tǒng)一的、標(biāo)準(zhǔn)化的、模塊化、可配置的大數(shù)據(jù)架構(gòu)，以解決不同類(lèi)型的異構(gòu)子系統(tǒng)之間難以有效整合的問(wèn)題。應(yīng)用功能可以使用已有的功能組件組合而成，通過(guò)服務(wù)復(fù)用降低成本，在組件之間交換的數(shù)據(jù)形式應(yīng)當(dāng)標(biāo)準(zhǔn)化和接口化;組件的組合只需少量編程或配置便可以完成，常用模型和工具的集成標(biāo)準(zhǔn)化，如何簡(jiǎn)化使用，可以對(duì)非程序員提供開(kāi)箱即用的數(shù)據(jù)挖掘和分析能力;大數(shù)據(jù)應(yīng)用全程(采集、存儲(chǔ)、分析、管理)可視化操作。基于數(shù)據(jù)科學(xué)的迭代性本質(zhì)和利用高效組件化工具，對(duì)大數(shù)據(jù)各功能子系統(tǒng)(模塊)進(jìn)行組件化，模型標(biāo)準(zhǔn)化設(shè)計(jì)，并根據(jù)實(shí)際需求快速選型、快速配置、快速搭建大數(shù)據(jù)原型系統(tǒng)，快速迭代大數(shù)據(jù)分析結(jié)果，并順應(yīng)不斷變化的需求，盡快將原型轉(zhuǎn)化成生產(chǎn)系統(tǒng)。在快速迭代、快速反饋、閉環(huán)驗(yàn)證過(guò)程中，讓客戶逐步完成大數(shù)據(jù)分析的系統(tǒng)思維和管理思維變革，天下武功，唯快不破，快小證原則和精益設(shè)計(jì)，這是敏捷大數(shù)據(jù)應(yīng)用的核心目標(biāo)。

(3)敏捷大數(shù)據(jù)流程優(yōu)化

根據(jù)敏捷大數(shù)據(jù)快、小、證SFV原則，我們對(duì)傳統(tǒng)的跨行業(yè)數(shù)據(jù)挖掘標(biāo)準(zhǔn)流程(Cross-industry Standard Process for Data Mining ,CRISP-DM)進(jìn)行了改進(jìn)，提出了基于微服務(wù)和容器(后續(xù)敏捷大數(shù)據(jù)關(guān)鍵技術(shù)章節(jié)會(huì)做詳細(xì)介紹)的敏捷大數(shù)據(jù)處理流程(Agile Big Data Processing based on Micro-services),如下圖：

圖5. CRISP-DM流程與敏捷大數(shù)據(jù)處理流程

敏捷大數(shù)據(jù)處理流程相比傳統(tǒng)數(shù)據(jù)挖掘流程，從兩個(gè)層面進(jìn)行了擴(kuò)展：首先是架構(gòu)上采用基于容器的微服務(wù)技術(shù)進(jìn)行支撐;其次針對(duì)傳統(tǒng)數(shù)據(jù)挖掘模型、系統(tǒng)和現(xiàn)實(shí)決策反饋的脫節(jié)問(wèn)題，根據(jù)數(shù)據(jù)科學(xué)迭代性本質(zhì)特點(diǎn)，對(duì)模型系統(tǒng)和現(xiàn)實(shí)決策反饋兩個(gè)過(guò)程分別進(jìn)行自適應(yīng)迭代升級(jí)和智能決策進(jìn)化支持。通過(guò)這種擴(kuò)展，使得敏捷大數(shù)據(jù)方法論與傳統(tǒng)數(shù)據(jù)挖掘技術(shù)，以及和新興的主流大數(shù)據(jù)框架，能在架構(gòu)和流程上進(jìn)行互補(bǔ)和融合。要實(shí)現(xiàn)敏捷大數(shù)據(jù)SFV原則，敏捷大數(shù)據(jù)架構(gòu)的設(shè)計(jì)至關(guān)重要。敏捷大數(shù)據(jù)架構(gòu)需要在組件化管理、數(shù)據(jù)融合、資源調(diào)度、服務(wù)抽象、部署運(yùn)維、計(jì)算模型和標(biāo)準(zhǔn)數(shù)據(jù)集的服務(wù)化，以及敏捷大數(shù)據(jù)處理流程等多個(gè)層面，進(jìn)行科學(xué)有效地設(shè)計(jì)支撐。核心目標(biāo)是要實(shí)現(xiàn)大數(shù)據(jù)的融合處理和分析功能的服務(wù)化、標(biāo)準(zhǔn)化和流程化，基于數(shù)據(jù)融合和微服務(wù)技術(shù)，設(shè)計(jì)模塊化、可配置的大數(shù)據(jù)分析平臺(tái)，對(duì)微服務(wù)的構(gòu)建和管理進(jìn)行快速實(shí)現(xiàn)，通過(guò)各種微服務(wù)的劃分、組合、編排和動(dòng)態(tài)配置，形成可復(fù)用的、可擴(kuò)展的和可靈活調(diào)整的大數(shù)據(jù)分析系統(tǒng)，從而實(shí)現(xiàn)敏捷大數(shù)據(jù)目標(biāo)。

4.敏捷大數(shù)據(jù)關(guān)鍵技術(shù)

大數(shù)據(jù)時(shí)代，各種新興技術(shù)和計(jì)算框架層出不窮，加之分析需求的不斷變化，如何使大數(shù)據(jù)架構(gòu)能隨時(shí)調(diào)整以適應(yīng)業(yè)務(wù)需求，跟上技術(shù)更新的步伐，是大數(shù)據(jù)應(yīng)用要解決的關(guān)鍵問(wèn)題，這也是為什么提出敏捷大數(shù)據(jù)架構(gòu)的本質(zhì)原因。面對(duì)大型企業(yè)動(dòng)輒數(shù)十個(gè)上百個(gè)信息系統(tǒng)，如何通過(guò)跨物理、虛擬、公共和私有云環(huán)境實(shí)現(xiàn)一致性、互操作性和可移植性，對(duì)IT基礎(chǔ)設(shè)施來(lái)講是極大的挑戰(zhàn)。所以微服務(wù)和容器技術(shù)應(yīng)運(yùn)而生，微服務(wù)實(shí)現(xiàn)系統(tǒng)模塊的組件化和獨(dú)立自治運(yùn)行，容器能實(shí)現(xiàn)輕量級(jí)的虛擬化，而且完全使用沙箱機(jī)制，相互之間沒(méi)有任何接口。微服務(wù)、容器與云計(jì)算技術(shù)的天然結(jié)合，及其快速的研發(fā)、部署、維護(hù)優(yōu)勢(shì)，使得基于微服務(wù)和容器的敏捷大數(shù)據(jù)應(yīng)用潛力巨大。

(1)微服務(wù)技術(shù)

服務(wù)的本質(zhì)就是行為的抽象，面向?qū)ο蟮姆椒ㄊ菑膶?duì)象實(shí)體這個(gè)維度對(duì)世界進(jìn)行描述，而面向服務(wù)(SOA)則是從行為模式這個(gè)維度對(duì)世界進(jìn)行描述，本質(zhì)上是兩種不同維度的描述方法。

由于數(shù)據(jù)科學(xué)的迭代性本質(zhì)，大數(shù)據(jù)分析即服務(wù)成為應(yīng)用熱點(diǎn)，而微服務(wù)與容器技術(shù)能有效支持本文提出的敏捷大數(shù)據(jù)SFV核心原則。近年來(lái)，微服務(wù)(設(shè)計(jì)思想發(fā)源于康威定律，如圖7)成為互聯(lián)網(wǎng)和大數(shù)據(jù)企業(yè)的研究和設(shè)計(jì)熱點(diǎn)，諸如谷歌、亞馬遜、Facebook、百度、京東、攜程等公司都在采用微服務(wù)理論和技術(shù)進(jìn)行產(chǎn)品的設(shè)計(jì)、研發(fā)和部署。Netflix公司的Adrian Cockcroft將微服務(wù)稱(chēng)為“細(xì)化SOA(Service Oriented Architecture, SOA)”，并認(rèn)為這是一套具備開(kāi)創(chuàng)意義的新型架構(gòu)。敏捷之父Martin Fowler在他的《Micro services》一文中給出了微服務(wù)的定義，概括來(lái)說(shuō)，微服務(wù)設(shè)計(jì)思想是一種使用若干小服務(wù)開(kāi)發(fā)龐大應(yīng)用的方法，每個(gè)服務(wù)運(yùn)行在自己的進(jìn)程中，通過(guò)輕量級(jí)的通信機(jī)制進(jìn)行信息交互，每個(gè)微服務(wù)的粒度基于業(yè)務(wù)能力大小進(jìn)行構(gòu)建，并可以由不同的程序語(yǔ)言實(shí)現(xiàn)，構(gòu)建的服務(wù)鏈能夠通過(guò)容器等技術(shù)進(jìn)行自動(dòng)化部署。

從上述微服務(wù)定義可以看到，去中心化、原子化、獨(dú)立自治、快速組合、自動(dòng)部署等特性是微服務(wù)技術(shù)的核心要素，中心思想是將一個(gè)單體應(yīng)用構(gòu)架打散，把原來(lái)龐大的應(yīng)用層功能切分成粒度較小的微服務(wù)模塊，數(shù)據(jù)庫(kù)也按微服務(wù)功能單元進(jìn)行相應(yīng)的拆分進(jìn)行支持(如圖8所示)，采用基于云的容器技術(shù)單獨(dú)運(yùn)行這些服務(wù)模塊，通過(guò)網(wǎng)絡(luò)和輕量級(jí)通信機(jī)制將這些分解的服務(wù)模塊協(xié)同連接起來(lái)，形成微服務(wù)簇和網(wǎng)絡(luò)，完成大型復(fù)雜任務(wù)，這種通過(guò)將復(fù)雜系統(tǒng)切分成若干小的微服務(wù)模塊的方式，其分布式、低耦合架構(gòu)能極大地適應(yīng)大數(shù)據(jù)分布式處理特性。

(2)容器技術(shù)

微服務(wù)技術(shù)采用類(lèi)似搭積木的構(gòu)建方法，使得服務(wù)之間不相互影響，而且同一個(gè)系統(tǒng)的微服務(wù)可以采用不同的開(kāi)發(fā)語(yǔ)言和數(shù)據(jù)庫(kù)技術(shù)。但是面對(duì)大型企業(yè)動(dòng)輒數(shù)十、上百個(gè)信息系統(tǒng)，如何通過(guò)跨物理、虛擬、公共和私有云環(huán)境實(shí)現(xiàn)一致性、互操作性和可移植性，對(duì)IT基礎(chǔ)設(shè)施來(lái)講是極大的挑戰(zhàn)。所以容器技術(shù)應(yīng)運(yùn)而生，容器最早由Docker公司提出并應(yīng)用于自家的PaaS云服務(wù)平臺(tái)，近年來(lái)獲得廣泛認(rèn)可，很多大型企業(yè)開(kāi)始將單體應(yīng)用系統(tǒng)微服務(wù)化，并部署在容器中。容器基于操作系統(tǒng)之上能實(shí)現(xiàn)相比傳統(tǒng)虛擬化技術(shù)(如VMware)更輕量級(jí)的虛擬化，而且完全使用沙箱機(jī)制，相互之間沒(méi)有接口。Hadoop的子系統(tǒng)Kubernetes已經(jīng)能支持基于云計(jì)算和Docker容器技術(shù)的微服務(wù)開(kāi)發(fā)和部署，容器技術(shù)與云計(jì)算的天然結(jié)合及其快速的研發(fā)、部署、維護(hù)優(yōu)勢(shì)，對(duì)于微服務(wù)和敏捷大數(shù)據(jù)架構(gòu)的設(shè)計(jì)和實(shí)現(xiàn)具有重要支撐作用。

(3)數(shù)據(jù)融合技術(shù)

由于大數(shù)據(jù)呈現(xiàn)的關(guān)聯(lián)性、動(dòng)態(tài)性、多源異構(gòu)性等特點(diǎn)，導(dǎo)致大數(shù)據(jù)的存儲(chǔ)、挖掘、分析和理解面臨極大挑戰(zhàn)。如何對(duì)多種形態(tài)格式的數(shù)據(jù)進(jìn)行統(tǒng)一標(biāo)準(zhǔn)化融合處理，是敏捷大數(shù)據(jù)要解決的關(guān)鍵問(wèn)題。與一般的大數(shù)據(jù)融合目標(biāo)不同，本文主要從構(gòu)建標(biāo)準(zhǔn)數(shù)據(jù)集的角度進(jìn)行大數(shù)據(jù)多粒度融合，通過(guò)構(gòu)建統(tǒng)一數(shù)據(jù)單元(unified data units，UDU)來(lái)支持多模態(tài)特征融合和多種類(lèi)型、結(jié)構(gòu)數(shù)據(jù)集的封裝融合。將多源異構(gòu)數(shù)據(jù)進(jìn)行抽取、融合、集成為支持不同計(jì)算模型處理的UDU數(shù)據(jù)集，是多粒度信息融合技術(shù)的核心目標(biāo)。統(tǒng)一數(shù)據(jù)單元是獨(dú)立的和靈活的實(shí)體數(shù)據(jù)集，可隨數(shù)據(jù)源和分析需求的變化進(jìn)行快速重組、調(diào)整和更新。通過(guò)信息融合形成的UDU標(biāo)準(zhǔn)數(shù)據(jù)集，是進(jìn)行敏捷大數(shù)據(jù)處理的基礎(chǔ)。

針對(duì)機(jī)器學(xué)習(xí)各類(lèi)模型的數(shù)據(jù)適配特點(diǎn)，我們提出了一種標(biāo)準(zhǔn)數(shù)據(jù)集定義：統(tǒng)一數(shù)據(jù)單元(UDU)對(duì)大數(shù)據(jù)多個(gè)層次和粒度的信息進(jìn)行融合處理。特別是對(duì)多模態(tài)數(shù)據(jù)，通過(guò)統(tǒng)一數(shù)據(jù)單元設(shè)計(jì)方法能實(shí)現(xiàn)數(shù)據(jù)的存儲(chǔ)優(yōu)化和機(jī)器學(xué)習(xí)模型數(shù)據(jù)輸入的標(biāo)準(zhǔn)化，以統(tǒng)一數(shù)據(jù)單元作為敏捷大數(shù)據(jù)系統(tǒng)的基本數(shù)據(jù)組織和處理單元，能提高大數(shù)據(jù)分析模型和算法的適應(yīng)性和敏捷性，提升大數(shù)據(jù)處理能力。多粒度信息融合設(shè)計(jì)如下圖所示。

圖 大數(shù)據(jù)多粒度信息融合設(shè)計(jì)

上圖的UDU統(tǒng)一數(shù)據(jù)單元至少可以支持三個(gè)層面的大數(shù)據(jù)融合，一是特征級(jí)融合，支持跨模態(tài)特征(如時(shí)間+空間特征)的大數(shù)據(jù)計(jì)算模型處理;二是數(shù)據(jù)級(jí)融合，支持多維數(shù)據(jù)立方體(Data Cube)，數(shù)據(jù)集市(星型，雪花型模式)等數(shù)據(jù)模式和數(shù)據(jù)結(jié)構(gòu)的融合;三是模型級(jí)融合，從不同模型任務(wù)(如分類(lèi)、聚類(lèi)、預(yù)測(cè)、關(guān)聯(lián)等模型)角度支持相應(yīng)的數(shù)據(jù)單元處理。設(shè)計(jì)和構(gòu)造大數(shù)據(jù)統(tǒng)一數(shù)據(jù)單元，需進(jìn)行如下三個(gè)環(huán)節(jié)的處理。

1)特征抽?。簩?duì)結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行數(shù)據(jù)集成和特征抽取，抽取出數(shù)據(jù)中的各類(lèi)不同特征，包括時(shí)間特征、空間特征或其他全局特征等，實(shí)現(xiàn)對(duì)數(shù)據(jù)相關(guān)的位置屬性、時(shí)間空間關(guān)聯(lián)屬性和其他觀測(cè)屬性等的特征描述。

2)融合封裝：抽取出來(lái)的各類(lèi)數(shù)據(jù)特征，或者初步預(yù)處理后的數(shù)據(jù)，根據(jù)不同的計(jì)算模型數(shù)據(jù)處理特點(diǎn)和要求，封裝成結(jié)構(gòu)和格式統(tǒng)一的數(shù)據(jù)處理單元，形成標(biāo)準(zhǔn)分析數(shù)據(jù)集，為上層的挖掘計(jì)算服務(wù)提供快速數(shù)據(jù)適配?？梢酝ㄟ^(guò)元數(shù)據(jù)定義方法和XML/JSON等技術(shù)，實(shí)現(xiàn)不同種類(lèi)的統(tǒng)一數(shù)據(jù)單元定義，對(duì)每類(lèi)統(tǒng)一數(shù)據(jù)單元進(jìn)行基本信息和各類(lèi)屬性定義和描述，包括標(biāo)識(shí)ID、基本屬性、語(yǔ)義屬性、結(jié)構(gòu)屬性等內(nèi)容。3)服務(wù)接口：封裝好的統(tǒng)一數(shù)據(jù)單元數(shù)據(jù)集，針對(duì)不同的挖掘計(jì)算服務(wù)模型實(shí)現(xiàn)快速數(shù)據(jù)適配，設(shè)計(jì)統(tǒng)一的數(shù)據(jù)單元調(diào)用接口，通過(guò)接口定義和參數(shù)設(shè)置對(duì)封裝數(shù)據(jù)單元進(jìn)行解析，并對(duì)數(shù)據(jù)集各類(lèi)屬性特征、結(jié)構(gòu)信息等進(jìn)行提取。

敏捷大數(shù)據(jù)系統(tǒng)架構(gòu)

根據(jù)上述敏捷大數(shù)據(jù)關(guān)鍵技術(shù)的分析，如何設(shè)計(jì)實(shí)現(xiàn)有效的敏捷大數(shù)據(jù)系統(tǒng)架構(gòu)是敏捷大數(shù)據(jù)應(yīng)用的重點(diǎn)內(nèi)容。下面以交通大數(shù)據(jù)處理為例，對(duì)其敏捷處理架構(gòu)進(jìn)行了初步設(shè)計(jì)。由于交通大數(shù)據(jù)的復(fù)雜性和分析目標(biāo)的多樣性，對(duì)傳統(tǒng)的數(shù)據(jù)挖掘分析模式和大數(shù)據(jù)技術(shù)架構(gòu)提出了挑戰(zhàn)。例如，針對(duì)海量交通歷史靜態(tài)數(shù)據(jù)，需采用離線批處理技術(shù)，而動(dòng)態(tài)實(shí)時(shí)流交通數(shù)據(jù)則需要流式計(jì)算框架進(jìn)行處理。另外，對(duì)文本、圖像、視頻、傳感器等多模態(tài)數(shù)據(jù)需采用不同的機(jī)器學(xué)習(xí)模型進(jìn)行處理，如何進(jìn)行跨模態(tài)的融合計(jì)算分析也是應(yīng)用難點(diǎn)。針對(duì)交通大數(shù)據(jù)分析需求的變更和擴(kuò)展，大數(shù)據(jù)系統(tǒng)如何進(jìn)行快速響應(yīng)和功能、模型的擴(kuò)充和調(diào)整，是面向交通的敏捷大數(shù)據(jù)架構(gòu)設(shè)計(jì)要解決的關(guān)鍵問(wèn)題。

換句話說(shuō)，要能根據(jù)不同的交通大數(shù)據(jù)分析需求設(shè)計(jì)靈活的處理架構(gòu)進(jìn)行支持，大數(shù)據(jù)架構(gòu)要能從采集、存儲(chǔ)、計(jì)算、應(yīng)用多個(gè)層面，滿足不同分析需求的變更或擴(kuò)張?；诿艚荽髷?shù)據(jù)方法論及其關(guān)鍵技術(shù)的分析和研究，從數(shù)據(jù)采集集成、大規(guī)模數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)融合、多模式/多模態(tài)計(jì)算微服務(wù)、數(shù)據(jù)應(yīng)用4個(gè)層面進(jìn)行了敏捷大數(shù)據(jù)架構(gòu)設(shè)計(jì)。通過(guò)基于多粒度大數(shù)據(jù)集成融合構(gòu)建統(tǒng)一數(shù)據(jù)單元，形成標(biāo)準(zhǔn)數(shù)據(jù)集，通過(guò)基于微服務(wù)的計(jì)算模型抽象和匯聚層處理，實(shí)現(xiàn)交通大數(shù)據(jù)挖掘的敏捷化、服務(wù)化。采用標(biāo)準(zhǔn)接口和插件開(kāi)發(fā)的方式，對(duì)大數(shù)據(jù)主流處理框架(如Hadoop、Spark、Storm等)能進(jìn)行統(tǒng)一配置管理，基于即插即用的構(gòu)件化和服務(wù)化設(shè)計(jì)，各層子系統(tǒng)和組件可根據(jù)分析目標(biāo)進(jìn)行快速選型、靈活配置，構(gòu)建原型和迭代升級(jí)(如下圖中根據(jù)兩條虛線不同的設(shè)計(jì)路徑，可以快速配置實(shí)現(xiàn)歷史數(shù)據(jù)庫(kù)數(shù)據(jù)的批處理分析，或公網(wǎng)采集數(shù)據(jù)的流處理分析)，敏捷大數(shù)據(jù)總體架構(gòu)設(shè)計(jì)如下圖所示。

圖  面向交通的敏捷大數(shù)據(jù)總體架構(gòu)設(shè)計(jì)

1)數(shù)據(jù)采集層：分3個(gè)層面的采集技術(shù)進(jìn)行支持，一是傳統(tǒng)業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)和半結(jié)構(gòu)化、結(jié)構(gòu)化數(shù)據(jù)的采集和集成，如采用Sqoop技術(shù)進(jìn)行關(guān)系數(shù)據(jù)庫(kù)和Hadoop系統(tǒng)之間的數(shù)據(jù)抽取和交換;二是交通實(shí)時(shí)流數(shù)據(jù)的采集，包括實(shí)時(shí)傳感器數(shù)據(jù)、定位軌跡數(shù)據(jù)和其他實(shí)時(shí)流數(shù)據(jù);三是交通公共數(shù)據(jù)的采集，包括公網(wǎng)的數(shù)據(jù)爬取、開(kāi)放平臺(tái)的數(shù)據(jù)接口、行業(yè)公共數(shù)據(jù)庫(kù)的數(shù)據(jù)交換等。對(duì)采集到的數(shù)據(jù)需進(jìn)行提取、轉(zhuǎn)換和加載(extract-transform-load，ETL)處理，包括數(shù)據(jù)抽取、轉(zhuǎn)換、清洗和隱私脫敏等預(yù)處理工作，預(yù)處理集成后的數(shù)據(jù)進(jìn)入交通大數(shù)據(jù)云存儲(chǔ)中心。

2)數(shù)據(jù)存儲(chǔ)層：交通領(lǐng)域數(shù)據(jù)規(guī)模巨大，數(shù)據(jù)存儲(chǔ)層需設(shè)計(jì)基于云計(jì)算的分布式云存儲(chǔ)系統(tǒng)，以支持海量數(shù)據(jù)的存儲(chǔ)擴(kuò)展。提供基于云的列式存儲(chǔ)、NoSQL存儲(chǔ)或數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)能力;根據(jù)業(yè)務(wù)需求和快速配置，可切換相應(yīng)的分布式存儲(chǔ)模式，還可根據(jù)需要對(duì)傳統(tǒng)BI系統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市進(jìn)行集成。利用Hadoop集群提供PB級(jí)存儲(chǔ)能力擴(kuò)展，同時(shí)Hadoop YARN 和Spark Mesos等集群資源管理框架可支持多種存儲(chǔ)模式和計(jì)算模式(主要對(duì)存儲(chǔ)和計(jì)算兩個(gè)層面資源進(jìn)行管理，如圖中雙向箭頭所示)的云資源調(diào)度。在此基礎(chǔ)上，對(duì)各類(lèi)存儲(chǔ)數(shù)據(jù)進(jìn)行多粒度信息融合，構(gòu)建統(tǒng)一數(shù)據(jù)處理單元，為計(jì)算服務(wù)層提供標(biāo)準(zhǔn)化的分析數(shù)據(jù)集。

3)數(shù)據(jù)計(jì)算層：針對(duì)交通大數(shù)據(jù)多源、異構(gòu)、海量等特征，傳統(tǒng)的計(jì)算模型難以直接處理。數(shù)據(jù)計(jì)算層需滿足主流大數(shù)據(jù)處理框架的各種計(jì)算模型與方法實(shí)現(xiàn)，如基于云計(jì)算并行框架，實(shí)現(xiàn)基于Hadoop批處理、Storm流處理、Spark內(nèi)存處理的高效數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)。數(shù)據(jù)計(jì)算層采用基于統(tǒng)一數(shù)據(jù)處理單元和計(jì)算模式、模型微服務(wù)化的大數(shù)據(jù)分析框架，通過(guò)構(gòu)建多種微服務(wù)簇網(wǎng)絡(luò)(主要分計(jì)算微服務(wù)、數(shù)據(jù)微服務(wù)和流程微服務(wù)，涵蓋存儲(chǔ)和計(jì)算兩個(gè)層面，如圖中雙向箭頭所示)，為應(yīng)用層提供支持MapReduce、Storm、Spark等多種計(jì)算模式下的多種數(shù)據(jù)挖掘模型與方法(如分類(lèi)、聚類(lèi)、序列等);根據(jù)大數(shù)據(jù)分析需求和數(shù)據(jù)特征，可基于組件配置和服務(wù)治理技術(shù)進(jìn)行各類(lèi)服務(wù)的快速切換和靈活管理。

4)數(shù)據(jù)應(yīng)用層：數(shù)據(jù)應(yīng)用層首先要滿足智慧交通各類(lèi)大數(shù)據(jù)分析需求，包括基本的可視化與查詢(xún)、展示、探索等，分析結(jié)果能結(jié)合知識(shí)庫(kù)應(yīng)用于決策支持。另外，大數(shù)據(jù)系統(tǒng)本身管理方面，針對(duì)構(gòu)件化和微服務(wù)設(shè)計(jì)，需對(duì)相關(guān)中間件進(jìn)行設(shè)計(jì)，實(shí)現(xiàn)服務(wù)治理、組件配置、安全、接口等功能，以支撐存儲(chǔ)層和計(jì)算層各類(lèi)微服務(wù)的敏捷管理。

敏捷大數(shù)據(jù)架構(gòu)的關(guān)鍵內(nèi)容除了數(shù)據(jù)融合UDU層面之外，另外一個(gè)關(guān)鍵環(huán)節(jié)就是對(duì)多種計(jì)算模式框架、多種計(jì)算模型的微服務(wù)化設(shè)計(jì)，包括計(jì)算框架、模型和算法的微服務(wù)化、數(shù)據(jù)獲取調(diào)用的微服化和分析流程的微服務(wù)化等層面。其核心是計(jì)算微服務(wù)，如MapReduce批處理服務(wù)、Storm流處理服務(wù)、Spark內(nèi)存處理服務(wù)，每種大的計(jì)算框架微服務(wù)下包含具體挖掘模型等小粒度的計(jì)算微服務(wù)支持(如分類(lèi)模型服務(wù)、序列模型服務(wù))等。由于微服務(wù)詳細(xì)技術(shù)涉及面比較廣，包括微服務(wù)的注冊(cè)、定位、發(fā)現(xiàn)和搜索(基于分布式一致算法Paxos和Zookeeper框架等)，微服務(wù)的輕量級(jí)通信機(jī)制如REST(Representational State Transfer)、RPC(Remote Procedure Call Protocol)、IPC(Inter-Process Communication)等，微服務(wù)的容錯(cuò)處理(熔斷、限流、負(fù)載均衡等)，微服務(wù)容器化和服務(wù)的測(cè)試、部署等方面。由于篇幅原因，各方面的技術(shù)細(xì)節(jié)這里不做贅述，大家可以參考專(zhuān)業(yè)數(shù)據(jù)進(jìn)行了解。在敏捷大數(shù)據(jù)架構(gòu)和數(shù)據(jù)融合統(tǒng)一數(shù)據(jù)單元基礎(chǔ)上，進(jìn)行了大數(shù)據(jù)分析層的微服務(wù)設(shè)計(jì)，如下圖。

圖 面向交通的大數(shù)據(jù)分析微服務(wù)化設(shè)計(jì)

大數(shù)據(jù)分析微服務(wù)化的核心理念是一個(gè)服務(wù)只專(zhuān)注做好一類(lèi)或一個(gè)分析，服務(wù)的粒度和分析功能大小、邊界要匹配，服務(wù)方(計(jì)算微服務(wù))和消費(fèi)方(基于微服務(wù)的分析功能)要能解耦，即調(diào)整或升級(jí)一個(gè)微服務(wù)不能影響其他微服務(wù)。大數(shù)據(jù)分析微服務(wù)設(shè)計(jì)主要內(nèi)容包括如下幾個(gè)方面。

1)大數(shù)據(jù)分析業(yè)務(wù)抽象和微服務(wù)劃分：按多模式計(jì)算框架分，有MapReduce批處理框架、Storm流式處理框架、Spark內(nèi)存處理框架、圖計(jì)算框架等;按挖掘模型分，有分類(lèi)、聚類(lèi)、序列、多模態(tài)、多任務(wù)等不同種類(lèi)計(jì)算模型。針對(duì)交通大數(shù)據(jù)各類(lèi)分析需求和數(shù)據(jù)處理特點(diǎn)，進(jìn)行大數(shù)據(jù)業(yè)務(wù)分析和抽象建模，并選擇相應(yīng)的計(jì)算模型和計(jì)算框架進(jìn)行支撐，再?zèng)Q定需要哪些微服務(wù)，并實(shí)現(xiàn)微服務(wù)的劃分和組合，設(shè)定好微服務(wù)網(wǎng)絡(luò)的總體設(shè)計(jì)目標(biāo)，并通過(guò)統(tǒng)一的微服務(wù)接口(Microservices API Gateway)進(jìn)行調(diào)用。

2)微服務(wù)簇設(shè)計(jì)及契約接口定義：針對(duì)大數(shù)據(jù)處理特點(diǎn)，服務(wù)層中的微服務(wù)分3類(lèi)進(jìn)行規(guī)劃設(shè)計(jì)，數(shù)據(jù)微服務(wù)簇負(fù)責(zé)從UDU標(biāo)準(zhǔn)數(shù)據(jù)集中進(jìn)行數(shù)據(jù)獲取、數(shù)據(jù)同步和更新等操作;計(jì)算微服務(wù)簇是敏捷大數(shù)據(jù)處理的核心，按多模式計(jì)算框架和多類(lèi)計(jì)算模型兩個(gè)維度進(jìn)行挖掘分析服務(wù)的統(tǒng)籌設(shè)計(jì);流程微服務(wù)簇負(fù)責(zé)數(shù)據(jù)微服務(wù)、計(jì)算微服務(wù)的協(xié)同處理，同時(shí)對(duì)系統(tǒng)組件的配置管理和調(diào)度進(jìn)行支持。各類(lèi)微服務(wù)通過(guò)REST、RPC等輕量級(jí)通信機(jī)制和MessageBroker等消息服務(wù)進(jìn)行交互和聯(lián)系[14]，構(gòu)建微服務(wù)簇網(wǎng)絡(luò)，并通過(guò)服務(wù)路由進(jìn)行統(tǒng)一管理和調(diào)度。

3)微服務(wù)治理和容器部署：由各類(lèi)微服務(wù)簇連接成的微服務(wù)網(wǎng)絡(luò)，其高效協(xié)調(diào)工作離不開(kāi)微服務(wù)治理技術(shù)和容器管理技術(shù)。通過(guò)服務(wù)路由和服務(wù)治理負(fù)責(zé)各種大小微服務(wù)的注冊(cè)、搜索、發(fā)現(xiàn)、通信和統(tǒng)一配置，最后基于云計(jì)算和容器技術(shù)進(jìn)行微服務(wù)的自動(dòng)部署和動(dòng)態(tài)管理。

敏捷大數(shù)據(jù)應(yīng)用評(píng)述

本文提出的敏捷大數(shù)據(jù)架構(gòu)在一定程度上實(shí)現(xiàn)了大數(shù)據(jù)融合處理和挖掘計(jì)算的服務(wù)化、標(biāo)準(zhǔn)化和流程化。基于統(tǒng)一數(shù)據(jù)單元和計(jì)算、流程微服務(wù)設(shè)計(jì)思想，對(duì)微服務(wù)的構(gòu)建和管理進(jìn)行快速實(shí)現(xiàn)，通過(guò)各種微服務(wù)的劃分、組合、編排和動(dòng)態(tài)配置，能構(gòu)建模塊化、可配置、可復(fù)用、可擴(kuò)展的敏捷大數(shù)據(jù)分析系統(tǒng)。相比傳統(tǒng)大數(shù)據(jù)處理架構(gòu)，敏捷大數(shù)據(jù)架構(gòu)在如下幾個(gè)方面具有明顯優(yōu)勢(shì)(見(jiàn)表1)。

表1 敏捷大數(shù)據(jù)架構(gòu)與傳統(tǒng)大數(shù)據(jù)架構(gòu)比較分析

從上述各項(xiàng)特性的比較分析可以看到，敏捷大數(shù)據(jù)架構(gòu)除了支持大規(guī)模數(shù)據(jù)增長(zhǎng)之外，更重要的是能適應(yīng)大數(shù)據(jù)分析業(yè)務(wù)的擴(kuò)展和變化，通過(guò)容器和服務(wù)化技術(shù)，具備高容錯(cuò)性和穩(wěn)定性，能支持大數(shù)據(jù)分析的失敗處理和自動(dòng)恢復(fù)等，能在海量數(shù)據(jù)條件下快速完成多種計(jì)算模型和分析處理，能基于數(shù)據(jù)融合單元和計(jì)算服務(wù)化技術(shù)，支持多模態(tài)計(jì)算和多模式計(jì)算任務(wù)處理，能在有限的成本條件下提高大數(shù)據(jù)分析效率。

當(dāng)然要實(shí)現(xiàn)一套有效的敏捷大數(shù)據(jù)架構(gòu)，不同的業(yè)務(wù)需求或采用不同的技術(shù)路線，所做的工作可能有較大差異，所以本文的標(biāo)題定義為方法論。條條大路通羅馬，技術(shù)只是工具，關(guān)鍵還是方法論和指導(dǎo)思想。另外在架構(gòu)詳細(xì)設(shè)計(jì)和實(shí)現(xiàn)方面，還有幾個(gè)難點(diǎn)需要突破，由于大數(shù)據(jù)計(jì)算框架眾多、每種框架下所支持的分析模型也很多、可視化庫(kù)更多…這些計(jì)算框架的技術(shù)架構(gòu)和開(kāi)發(fā)語(yǔ)言、接口定義標(biāo)準(zhǔn)可能都不一樣，敏捷大數(shù)據(jù)架構(gòu)如何通過(guò)構(gòu)建化、插件化等技術(shù)對(duì)上述工具集進(jìn)行標(biāo)準(zhǔn)化和流程化的快速集成，這是敏捷實(shí)現(xiàn)要解決的主要問(wèn)題。

我們結(jié)合正在規(guī)劃建設(shè)的綜合交通大數(shù)據(jù)分析云服務(wù)平臺(tái)，以本文提出的敏捷大數(shù)據(jù)方法論及架構(gòu)設(shè)計(jì)，作為關(guān)鍵技術(shù)選型和技術(shù)路線實(shí)現(xiàn)的指導(dǎo)思想，并進(jìn)行了初步應(yīng)用。綜合交通大數(shù)據(jù)分析云服務(wù)平臺(tái)的主要目標(biāo)是通過(guò)大數(shù)據(jù)技術(shù)解決交通資源的供需智能匹配和瓶頸預(yù)測(cè)分析問(wèn)題。應(yīng)用多粒度信息融合和多模態(tài)計(jì)算微服務(wù)技術(shù)，對(duì)交通大數(shù)據(jù)進(jìn)行集成、融合和挖掘;采用定量分析和定性分析相結(jié)合的機(jī)器學(xué)習(xí)進(jìn)行供求配置預(yù)測(cè)，為智能出行推薦、交通樞紐瓶頸分析、多模接駁換乘、實(shí)時(shí)交通管控等智慧交通關(guān)鍵環(huán)節(jié)提供大數(shù)據(jù)分析和決策支持。由于綜合交通大數(shù)據(jù)多源異構(gòu)、時(shí)空關(guān)聯(lián)和動(dòng)態(tài)處理等特點(diǎn)，傳統(tǒng)大數(shù)據(jù)架構(gòu)面臨擴(kuò)展性、兼容性、穩(wěn)定性諸多問(wèn)題?；诿艚荽髷?shù)據(jù)方法論，設(shè)計(jì)了面向智慧交通的具有構(gòu)件化、云服務(wù)化、容器化特性的敏捷大數(shù)據(jù)架構(gòu)，為綜合交通大數(shù)據(jù)分析云服務(wù)平臺(tái)的研發(fā)提供了切實(shí)參考和應(yīng)用指導(dǎo)，并在一定程度上提高了開(kāi)發(fā)效率和控制了技術(shù)風(fēng)險(xiǎn)。

總結(jié)與展望

探討了大數(shù)據(jù)應(yīng)用落地的主要瓶頸和面臨的挑戰(zhàn)。針對(duì)大數(shù)據(jù)特點(diǎn)及其分析瓶頸問(wèn)題，分析了傳統(tǒng)信息化技術(shù)架構(gòu)與大數(shù)據(jù)系統(tǒng)架構(gòu)的區(qū)別，基于敏捷、精益和迭代設(shè)計(jì)思想，首次提出了敏捷大數(shù)據(jù)方法論，并對(duì)其概念定義、核心要素、流程優(yōu)化和關(guān)鍵技術(shù)等內(nèi)容進(jìn)行了論述，通過(guò)分析敏捷大數(shù)據(jù)的設(shè)計(jì)緣由，基于傳統(tǒng)數(shù)據(jù)挖掘流程改進(jìn)，設(shè)計(jì)了面向微服務(wù)的敏捷大數(shù)據(jù)處理流程，并對(duì)其關(guān)鍵支撐技術(shù)進(jìn)行了初步研究和探索。構(gòu)建了基于微服務(wù)和多粒度信息融合技術(shù)的敏捷大數(shù)據(jù)架構(gòu)，并結(jié)合實(shí)際案例對(duì)交通大數(shù)據(jù)微服務(wù)化、交通大數(shù)據(jù)融合等關(guān)鍵技術(shù)環(huán)節(jié)進(jìn)行了詳細(xì)設(shè)計(jì)和論述。

敏捷大數(shù)據(jù)的提出是基于數(shù)據(jù)科學(xué)迭代性本質(zhì)，為各行業(yè)大數(shù)據(jù)應(yīng)用環(huán)境下的高效、靈活大數(shù)據(jù)系統(tǒng)建設(shè)和機(jī)器學(xué)習(xí)、知識(shí)發(fā)現(xiàn)提供了新方法、新思路和新的技術(shù)架構(gòu)，希望能通過(guò)敏捷設(shè)計(jì)最大程度降低成本、控制風(fēng)險(xiǎn)，從而發(fā)揮出大數(shù)據(jù)的應(yīng)用價(jià)值，相比傳統(tǒng)大數(shù)據(jù)處理方法和技術(shù)架構(gòu)，本方法論的重要意義和參考價(jià)值不言而喻。當(dāng)然，敏捷大數(shù)據(jù)作為一個(gè)新的涵蓋多種前沿信息技術(shù)的跨領(lǐng)域應(yīng)用研究問(wèn)題，還需要在設(shè)計(jì)方法、關(guān)鍵技術(shù)和系統(tǒng)架構(gòu)等方面進(jìn)行深入探索和應(yīng)用實(shí)踐。

來(lái)源：大數(shù)據(jù)文摘