2016年，阿里巴巴集團(tuán)提出中臺(tái)概念，阿里巴巴數(shù)據(jù)技術(shù)及產(chǎn)品部作為中臺(tái)戰(zhàn)略中的組成部分，承載了集團(tuán)數(shù)據(jù)中臺(tái)的工作，其核心就是建設(shè)全域大數(shù)據(jù)。究竟全域數(shù)據(jù)到底是什么 又該如何建設(shè) 

在云棲大會(huì)阿里大數(shù)據(jù)分論壇，阿里巴巴高級(jí)技術(shù)專家張磊給出了詳細(xì)的回答。以下為分享全文實(shí)錄：

阿里巴巴高級(jí)技術(shù)專家張磊

數(shù)據(jù)中臺(tái)

阿里巴巴數(shù)據(jù)技術(shù)及產(chǎn)品部定位

2016年阿里巴巴集團(tuán)提出中臺(tái)概念，阿里巴巴數(shù)據(jù)技術(shù)及產(chǎn)品部承載了集團(tuán)數(shù)據(jù)中臺(tái)的工作，其核心就是建設(shè)全域大數(shù)據(jù)。

從內(nèi)容上看，我們管理和運(yùn)維著阿里巴巴集團(tuán)最核心的基礎(chǔ)數(shù)據(jù);

從技術(shù)上看，我們覆蓋了從數(shù)據(jù)采集、計(jì)算加工到數(shù)據(jù)服務(wù)、數(shù)據(jù)應(yīng)用等數(shù)據(jù)鏈路上的每一個(gè)環(huán)節(jié)，為阿里生態(tài)內(nèi)外的業(yè)務(wù)、用戶、中小企業(yè)提供全鏈路、全渠道的數(shù)據(jù)服務(wù)。

舉個(gè)例子，被大家熟知的雙11當(dāng)天可見炫酷數(shù)據(jù)大屏就是由我們部門負(fù)責(zé)的。

數(shù)據(jù)中臺(tái)全景圖

上圖是阿里數(shù)據(jù)中臺(tái)的全景圖，從這個(gè)圖中我們可以看見實(shí)際上阿里數(shù)據(jù)中臺(tái)在架構(gòu)的組成上，呈現(xiàn)了一個(gè)“四橫三縱”的結(jié)構(gòu)，底層的基礎(chǔ)設(shè)施來(lái)自于阿里云平臺(tái)。

先來(lái)講四橫。整張架構(gòu)圖從下往上看，最下面這塊內(nèi)容主要從數(shù)據(jù)采集和接入為角度，按照業(yè)態(tài)接入數(shù)據(jù)(比如淘寶、天貓、盒馬等)，我們把這些數(shù)據(jù)抽取到計(jì)算平臺(tái);接著通過OneData體系，以“業(yè)務(wù)板塊+分析維度”為架構(gòu)去構(gòu)建“公共數(shù)據(jù)中心”;再基于公共數(shù)據(jù)中心在上層根據(jù)業(yè)務(wù)需求去建設(shè)：消費(fèi)者數(shù)據(jù)體系、企業(yè)數(shù)據(jù)體系、內(nèi)容數(shù)據(jù)體系等;經(jīng)過深度加工后，數(shù)據(jù)就可以發(fā)揮其價(jià)值被產(chǎn)品、業(yè)務(wù)所用;最后通過統(tǒng)一的數(shù)據(jù)服務(wù)中間件“OneService”提供統(tǒng)一數(shù)據(jù)服務(wù)。

在阿里內(nèi)部，阿里數(shù)據(jù)平臺(tái)上的數(shù)據(jù)產(chǎn)品已有幾十種，每天有上萬(wàn)內(nèi)部員工在使用數(shù)據(jù)產(chǎn)品;我們的官方統(tǒng)一數(shù)據(jù)產(chǎn)品平臺(tái)“生意參謀”累計(jì)服務(wù)了超2000萬(wàn)商家……

接下來(lái)是三縱。基于阿里巴巴如此大體量的數(shù)據(jù)體系建設(shè)背后，我們必須要通過大量工具去保證快速、高效、高質(zhì)量數(shù)據(jù)接入，這部分我們通過智能數(shù)據(jù)研發(fā)平臺(tái)來(lái)實(shí)現(xiàn)，將我們的理論及實(shí)踐過程，通過一整套的工具體系及研發(fā)流程去保障落地，確保每一個(gè)團(tuán)隊(duì)，每一個(gè)BU，通過統(tǒng)一規(guī)則去建設(shè)數(shù)據(jù)體系;同時(shí)，當(dāng)數(shù)據(jù)多了以后最直接問題就是成本，因此我們還建立了統(tǒng)一的數(shù)據(jù)質(zhì)量管理平臺(tái)。

全域數(shù)據(jù)到底是什么 

阿里巴巴目前生態(tài)建設(shè)包括了核心的電商業(yè)務(wù)，淘寶、天貓、聚劃算等，同時(shí)還有文娛板塊的優(yōu)酷、土豆、UC瀏覽器等，當(dāng)然還有本地化服務(wù)比如口碑、餓了么等。基于業(yè)態(tài)背后還有螞蟻、菜鳥、阿里媽媽、阿里云等等。

這一系列的生態(tài)數(shù)據(jù)我們都會(huì)集中進(jìn)行存儲(chǔ)和管理，并構(gòu)成了我們的全域數(shù)據(jù)所覆蓋的范圍。

一方面，上述每一種業(yè)態(tài)都是全域數(shù)據(jù)的來(lái)源;另外一方面基于這些優(yōu)質(zhì)的數(shù)據(jù)，進(jìn)行解析和處理，再反哺給到業(yè)務(wù)。我們要實(shí)現(xiàn)的是：利用全域數(shù)據(jù)去驅(qū)動(dòng)業(yè)務(wù)，讓數(shù)據(jù)發(fā)揮更大價(jià)值。

以手淘為例，手機(jī)屏幕是非常小的，我們?nèi)绾卧谟邢薜目臻g內(nèi)展示給到用戶看到他們真正希望看見的內(nèi)容 “千人千面”這一應(yīng)用的背后，實(shí)際上就是基于大數(shù)據(jù)的算法應(yīng)用場(chǎng)景，來(lái)實(shí)現(xiàn)的。還有芝麻信用、菜鳥的智能物流、阿里媽媽的精準(zhǔn)營(yíng)銷等等，它們都是通過大數(shù)據(jù)驅(qū)動(dòng)之下，構(gòu)成了業(yè)務(wù)與數(shù)據(jù)聯(lián)通的閉環(huán)。

阿里全域數(shù)據(jù)建設(shè)的初衷

我們?yōu)槭裁匆鋈驍?shù)據(jù) 

首先，降低成本。大家都知道大數(shù)據(jù)建設(shè)的資金投入其實(shí)是非常巨大的。比如基礎(chǔ)建設(shè)的投入、機(jī)房、機(jī)架、服務(wù)器、網(wǎng)絡(luò)帶寬，包括軟件平臺(tái)建設(shè)，開發(fā)運(yùn)維團(tuán)隊(duì)的組建等等，都會(huì)耗費(fèi)企業(yè)大量的資金和人力。以優(yōu)土(優(yōu)酷土豆的簡(jiǎn)稱)為例，優(yōu)土去年加入阿里巴巴集團(tuán)之后，我們開始啟動(dòng)數(shù)據(jù)融合項(xiàng)目：在此之前，優(yōu)土有自己的hadoop集群，阿里巴巴的數(shù)據(jù)規(guī)模則大的多，將優(yōu)土數(shù)據(jù)融合到阿里大平臺(tái)上，可以讓優(yōu)土獲得更多彈性資源，也可以在基礎(chǔ)設(shè)施運(yùn)維、人力運(yùn)維、平臺(tái)運(yùn)維上復(fù)用集團(tuán)的技術(shù)體系;基于OneData大數(shù)據(jù)建設(shè)體系、統(tǒng)一的數(shù)據(jù)采集規(guī)范等，減少人力及運(yùn)維成本。當(dāng)項(xiàng)目完結(jié)后，我們發(fā)現(xiàn)目前優(yōu)土在數(shù)據(jù)建設(shè)上的成本不到原來(lái)50%。

其次，技術(shù)賦能?？陀^來(lái)說(shuō)，在阿里生態(tài)內(nèi)公司的數(shù)據(jù)能力參差不齊，因此為了賦能其他生態(tài)公司，我們通過短時(shí)間的數(shù)據(jù)體系遷移，讓他們擁有和阿里集團(tuán)同樣的大數(shù)據(jù)能力。上述的優(yōu)土融合項(xiàng)目就是通過半年時(shí)間，實(shí)現(xiàn)了技術(shù)賦能。

第三，數(shù)據(jù)連接。我們知道數(shù)據(jù)孤島的現(xiàn)象不光存在于傳統(tǒng)行業(yè)，互聯(lián)網(wǎng)行業(yè)也是一樣。所以只有把數(shù)據(jù)連接起來(lái)，它才能發(fā)揮更大的價(jià)值，消除數(shù)據(jù)孤島，讓數(shù)據(jù)連接起來(lái)，也是我們進(jìn)行全域數(shù)據(jù)建設(shè)的目的之一。

最后，賦能業(yè)務(wù)。無(wú)論我們的集群規(guī)模有多大，服務(wù)體量有多大，最終還是要回歸業(yè)務(wù)、通過業(yè)務(wù)的數(shù)據(jù)表現(xiàn)來(lái)體現(xiàn)我們的價(jià)值——把數(shù)據(jù)體系統(tǒng)一后，除了讓業(yè)務(wù)可以更加準(zhǔn)確、快速的獲取決策分析數(shù)據(jù)外，還能提供業(yè)務(wù)快速試錯(cuò)的機(jī)會(huì)，最終為業(yè)務(wù)創(chuàng)新降低了門檻。

如何建設(shè)全域數(shù)據(jù) 

在整個(gè)全域數(shù)據(jù)接入過程中，盡管基礎(chǔ)設(shè)施建設(shè)已經(jīng)非常強(qiáng)大，但在實(shí)際過程中，我們?nèi)匀幻鎸?duì)了諸多困難和挑戰(zhàn)。仍以優(yōu)土為例，它的大數(shù)據(jù)機(jī)房在青島，阿里集團(tuán)大部分?jǐn)?shù)據(jù)集群都在內(nèi)蒙古和張北，而涉及到數(shù)據(jù)遷移也絕不是“拉一根網(wǎng)線”這么簡(jiǎn)單——其中涉及到應(yīng)用體系、大數(shù)據(jù)架構(gòu)都需要定制方案去做;

另外，統(tǒng)一數(shù)據(jù)采集在接入的過程中也會(huì)就原有業(yè)務(wù)進(jìn)行統(tǒng)一梳理，包括后面的數(shù)據(jù)驗(yàn)證，做過數(shù)據(jù)的人應(yīng)該都知道其中的痛點(diǎn);同時(shí)在遷移過程中，原有的數(shù)據(jù)對(duì)業(yè)務(wù)的服務(wù)還不能停，這事情我們叫——飛機(jī)上換輪子，一邊要進(jìn)行核心零部件更新，一邊還要保持高速飛行;

最后就是項(xiàng)目周期，基于現(xiàn)實(shí)情況，大數(shù)據(jù)建設(shè)一般需要較長(zhǎng)的周期，無(wú)法在幾周內(nèi)完工，因?yàn)榇髷?shù)據(jù)建設(shè)不是一蹴而就，而是一根體系化過程。

從基礎(chǔ)設(shè)施來(lái)看，阿里經(jīng)過電商發(fā)展，包括多年雙11這種特殊場(chǎng)景下的考驗(yàn)，在基礎(chǔ)設(shè)施上，從數(shù)據(jù)中心到網(wǎng)絡(luò)到服務(wù)器，到數(shù)據(jù)庫(kù)中間件、計(jì)算平臺(tái)、數(shù)據(jù)平臺(tái)、算法平臺(tái)都有了非常多的沉淀。

因此，在建設(shè)全域數(shù)據(jù)的時(shí)候，我們要做的第一步就是將生態(tài)公司的數(shù)據(jù)在基礎(chǔ)設(shè)施階段就進(jìn)行融合。

我們的數(shù)據(jù)組件劃分如下：

最底層——數(shù)據(jù)采集，這是數(shù)據(jù)的來(lái)源;中間——計(jì)算存儲(chǔ)平臺(tái)：實(shí)時(shí)計(jì)算采用自主研發(fā)的Blink，離線則采用MaxCompute。

上圖則更詳細(xì)介紹了我們的數(shù)據(jù)組件：

基于用戶的網(wǎng)上行為去做數(shù)據(jù)采集(我們有PC和無(wú)線的采集體系)然后放到實(shí)時(shí)、離線計(jì)算平臺(tái)上來(lái)，這兩個(gè)計(jì)算平臺(tái)除本身計(jì)算能力外，還有許多基于SQL、Graph等可編程的能力，最上面就是研發(fā)工具、產(chǎn)品服務(wù)、BI工具。

有如此強(qiáng)有力的基礎(chǔ)支撐外，長(zhǎng)在上面的應(yīng)用能力也非常給力：以研發(fā)工具為例，阿里有約兩萬(wàn)名研發(fā)工程師，而每天基于阿里數(shù)據(jù)平臺(tái)開展工作的同學(xué)就有近一萬(wàn)人!

基于這些豐富的大數(shù)據(jù)組件，大部分的研發(fā)同學(xué)、專業(yè)的或非專業(yè)的同學(xué)都能在上面基于大數(shù)據(jù)做一些探索和嘗試。

下面介紹我們?cè)谌驍?shù)據(jù)建設(shè)中的幾個(gè)體系。

首先看流量體系，這是互聯(lián)網(wǎng)行業(yè)和傳統(tǒng)行業(yè)最大的區(qū)別。

打個(gè)比方，如果我們把淘寶可以看做流量分發(fā)中心，用戶進(jìn)來(lái)后把流量給到商品、給到賣家。那么在進(jìn)行流量數(shù)據(jù)采集時(shí)，大家可能會(huì)給出不同的方案。

我們基于阿里巴巴多年的電商經(jīng)驗(yàn)，也沉淀出來(lái)了一套統(tǒng)一的流量采集規(guī)范——超級(jí)位置模型：

以淘寶的頁(yè)面為例：

站點(diǎn)就是淘寶，下面會(huì)有頁(yè)面、區(qū)塊、位置，這些都是可以根據(jù)業(yè)務(wù)實(shí)際需求去埋點(diǎn)，并直觀獲取頁(yè)面任何位置的數(shù)據(jù)，比如頁(yè)面概況分析、路徑分析、跳轉(zhuǎn)分析、頁(yè)面點(diǎn)擊、用戶分析等等。業(yè)務(wù)方只需要按照規(guī)范埋點(diǎn)，我們就能夠迅速給到基礎(chǔ)的流量分析能力，而基于此，配套對(duì)應(yīng)的數(shù)據(jù)產(chǎn)品就可以解決80%的流量方面的數(shù)據(jù)問題。

其次，計(jì)算組件化。

眾所周知，基于互聯(lián)網(wǎng)的基礎(chǔ)內(nèi)容其實(shí)是能夠固化下來(lái)特定需求，中間過程可以通過工程化能力去解決，然后迅速把這些東西配置出來(lái)，而不需要每一個(gè)需求都去做代碼開發(fā)計(jì)算——這就是計(jì)算組件化。

這樣做的好處首先就是;配置簡(jiǎn)單、復(fù)用性高，同時(shí)，在注意統(tǒng)一規(guī)范后，未來(lái)接入uc、接入高德等業(yè)務(wù)，我們可以做到一鍵接入。

全域數(shù)據(jù)建設(shè)最核心的體系是——OneData體系。

目前，從整個(gè)大數(shù)據(jù)建設(shè)過程來(lái)看，它分為數(shù)據(jù)接入、規(guī)范定義、計(jì)算加工、數(shù)據(jù)驗(yàn)證、數(shù)據(jù)穩(wěn)定性，這幾個(gè)部分合并構(gòu)成了整體的數(shù)據(jù)研發(fā)流程。

OneData體系工具是全域建設(shè)的保障——我們知道現(xiàn)在存儲(chǔ)和計(jì)算可能已不是瓶頸。隨著分布式技術(shù)的發(fā)展，以Hadoop為典型代表，廉價(jià)的pc服務(wù)器即可搭建出超強(qiáng)的計(jì)算能力，因此存儲(chǔ)和計(jì)算未來(lái)會(huì)變的越來(lái)越便宜，但相對(duì)昂貴的是工程師的時(shí)間成本。

所以，工具化是解決研發(fā)效率的關(guān)鍵一環(huán)。我們把大量機(jī)械、人肉、不產(chǎn)生價(jià)值的工作，通過工具去完成，比如從數(shù)據(jù)的接入開始，我們有OneClick保證高效接入，根據(jù)阿里巴巴完善的元數(shù)據(jù)，我們有能力把基于業(yè)務(wù)db的數(shù)據(jù)一鍵拉到計(jì)算平臺(tái)，這個(gè)過程幾乎不需要人的參與。

同時(shí)，通過OneDefine工具來(lái)確保數(shù)據(jù)建設(shè)過程是規(guī)范的，比如：模型分層、表命名規(guī)范、字段命名規(guī)范等。

再看計(jì)算過程，阿里數(shù)據(jù)應(yīng)用的群體在能力上是參差不齊的，有專業(yè)的數(shù)據(jù)研發(fā)、有算法工程師、有分析師、可能還有業(yè)務(wù)運(yùn)營(yíng)，很多人可能簡(jiǎn)單自學(xué)SQL后，就可以自己跑數(shù)據(jù)：通常情況下，SQL質(zhì)量無(wú)法保證，如果查詢的數(shù)據(jù)量非常大，可能后臺(tái)幾千臺(tái)機(jī)器就轉(zhuǎn)起來(lái)了，為避免類似情況發(fā)生，我們會(huì)在提交任務(wù)過程中做代碼校驗(yàn)，對(duì)于性能問題、規(guī)范問題、代碼質(zhì)量問題都會(huì)給出必要的提示，比如sql代碼對(duì)于除數(shù)為0沒有做代碼兼容，比如我們的ddl語(yǔ)句中沒有做數(shù)據(jù)生命周期的設(shè)置，比如sql的query中沒有做分區(qū)的條件限制，甚至你的sql代碼別人已經(jīng)計(jì)算過，可以復(fù)用結(jié)果不需要重新計(jì)算這些問題，我們都會(huì)給出精確到提示。

在數(shù)據(jù)研發(fā)過程中，代碼編寫可能只占工作量的20%，那么大部分時(shí)間都去干嗎了 是數(shù)據(jù)驗(yàn)證，代碼修改前和代碼修改后，數(shù)據(jù)到底差多少，差在哪兒 過去如果沒有工具只能寫一堆角本，再去驗(yàn)證，效率極其低下，而且極易出錯(cuò)，現(xiàn)在有了“在彼岸”工具我們可以通過簡(jiǎn)單的勾勾選選就知道前后差異到底差在哪 然后迅速給測(cè)試報(bào)告，保證整個(gè)研發(fā)過程的數(shù)據(jù)質(zhì)量是有保障的。

最后，任務(wù)上線后，大量時(shí)間都在運(yùn)維，監(jiān)控?cái)?shù)據(jù)質(zhì)量、監(jiān)控產(chǎn)出時(shí)間等等，這些日常要去關(guān)注的工作我們也會(huì)有相關(guān)的工具去支持，因此OneData體系工具是全域數(shù)據(jù)建設(shè)的重要保障。

工具有了，規(guī)范有了，我們還需要與研發(fā)流程全程打通，我們就可以確保規(guī)范真正的落實(shí)到每位開發(fā)者身上，因此我們可以這樣來(lái)理解研發(fā)流程：某位研發(fā)同學(xué)在做數(shù)據(jù)需求，要先把規(guī)范定義完成才能繼續(xù)進(jìn)行代碼開發(fā)。

代碼開發(fā)中會(huì)有兩道檢查：

第一道是SQLscan：這里面會(huì)檢查代碼規(guī)范性、代碼質(zhì)量、可能出現(xiàn)的性能問題，把這些問題避免掉;

另一道是“在彼岸”數(shù)據(jù)測(cè)試，重要的數(shù)據(jù)做了數(shù)據(jù)變更后，會(huì)要求做回歸測(cè)試流程，輕松簡(jiǎn)單的勾選，就可以快速給出測(cè)試。如果任務(wù)需在生產(chǎn)環(huán)境運(yùn)行，這兩個(gè)環(huán)節(jié)必須完成后才能夠提交，上述過程就是整個(gè)基于OneData體系的研發(fā)流程。

目前阿里巴巴數(shù)據(jù)總量已超EB級(jí)別，總表數(shù)也已經(jīng)超百萬(wàn)，這么大體量下，如何能夠做到高效靈活卻又不失規(guī)范的大數(shù)據(jù)建設(shè)，我們確實(shí)探索了很長(zhǎng)時(shí)間。

隨著阿里業(yè)務(wù)的不斷拓展，對(duì)于大數(shù)據(jù)能力的要求會(huì)越來(lái)越高，技術(shù)上，如何突破傳統(tǒng)數(shù)倉(cāng)etl架構(gòu) 我們從基礎(chǔ)設(shè)施的計(jì)算存儲(chǔ)分離、離線在線混布等事情上已經(jīng)開始探索，相信在不久的將來(lái)，我們會(huì)對(duì)傳統(tǒng)數(shù)倉(cāng)etl進(jìn)行重新的定義。

來(lái)源：阿里技術(shù)