阿里資深技術(shù)專家姚濱暉：EB級別體量之下的高效數(shù)據(jù)賦能

阿里技術(shù) EB級別高效數(shù)據(jù)賦能

阿里巴巴 | 2017-10-20 10:37

【數(shù)據(jù)猿導(dǎo)讀】本內(nèi)容編輯自阿里巴巴數(shù)據(jù)技術(shù)及產(chǎn)品部資深技術(shù)專家姚濱暉在“2017云棲大會·阿里大數(shù)據(jù)分論壇”上的演講。

阿里資深技術(shù)專家姚濱暉：EB級別體量之下的高效數(shù)據(jù)賦能

總體來看，阿里巴巴的生態(tài)可以分為六個業(yè)務(wù)板塊：電商、物流、健康、文娛、金融，以及云計(jì)算。阿里巴巴通過這些業(yè)務(wù)，服務(wù)了數(shù)億用戶，上千萬的小微企業(yè)，以及上千萬的商家。伴隨著我們的業(yè)務(wù)服務(wù)，同時截止目前，我們已經(jīng)沉淀的數(shù)據(jù)量高達(dá)E B級規(guī)模。

通過全域數(shù)據(jù)體系，我們建設(shè)、融合、鏈接了這些來自不同業(yè)態(tài)的數(shù)據(jù)。下面這張圖，勾勒了阿里巴巴大數(shù)據(jù)體系。

阿里_技術(shù)_EB級別_高效_數(shù)據(jù)賦能-1

從下往上看，最底層的是全域數(shù)據(jù)，第二層是基礎(chǔ)數(shù)據(jù)建設(shè)，它包括了人工智能的一些算法。在基礎(chǔ)數(shù)據(jù)建設(shè)的上面分別是各種數(shù)據(jù)服務(wù)和數(shù)據(jù)產(chǎn)品開發(fā)平臺。

從圖中我們也可以發(fā)現(xiàn)，我們的數(shù)據(jù)產(chǎn)品和服務(wù)，實(shí)際上是通過各類不同的應(yīng)用場景來達(dá)到服務(wù)阿里小二、阿里商家、消費(fèi)者、合作伙伴的目的。

所以，數(shù)據(jù)服務(wù)和數(shù)據(jù)產(chǎn)品開發(fā)平臺，它與應(yīng)用場景是強(qiáng)相關(guān)，直接連接，他們的主要作用是把底層建設(shè)完的數(shù)據(jù)、算法，生產(chǎn)成可以直接賦能業(yè)務(wù)和用戶的應(yīng)用。

part1

數(shù)據(jù)服務(wù)和數(shù)據(jù)產(chǎn)品開發(fā)平臺的關(guān)系

數(shù)據(jù)服務(wù)和數(shù)據(jù)產(chǎn)品開發(fā)平臺的關(guān)系就像齒輪一樣，它們是相互依存的一個整體。

為什么這么說

從業(yè)務(wù)角度來看：業(yè)務(wù)使用數(shù)據(jù)有兩個最核心的場景：

業(yè)務(wù)本身需要數(shù)據(jù)。這時候，業(yè)務(wù)會通過數(shù)據(jù)服務(wù)來直接獲取數(shù)據(jù)，這是第一個場景。業(yè)務(wù)中的運(yùn)營、分析師，他們需要使用數(shù)據(jù)來更好地提升數(shù)據(jù)賦能的效能，

這時候，這些運(yùn)營和分析師，就會通過相應(yīng)的數(shù)據(jù)產(chǎn)品，來使用數(shù)據(jù)。所以，這就是數(shù)據(jù)產(chǎn)品開發(fā)平臺承擔(dān)的主要職責(zé)。

所以通過這兩個核心的數(shù)據(jù)賦能業(yè)務(wù)的場景，我們可以發(fā)現(xiàn)數(shù)據(jù)服務(wù)和數(shù)據(jù)產(chǎn)品開發(fā)平臺，之間相關(guān)依存的關(guān)系。

從優(yōu)勢角度來看：將數(shù)據(jù)服務(wù)好和數(shù)據(jù)產(chǎn)品開發(fā)平臺組合起來，它們可以體現(xiàn)三個優(yōu)勢：

通過這樣的一個組合，能夠打破在業(yè)務(wù)之間的數(shù)據(jù)壁壘，這里要強(qiáng)調(diào)的是它們打破的不是在底層的數(shù)據(jù)壁壘，而是打破在業(yè)務(wù)之間的數(shù)據(jù)壁壘，因?yàn)?大業(yè)務(wù)板塊，所產(chǎn)生的數(shù)據(jù)形態(tài)、含義、結(jié)構(gòu)都有很大差異。在底層完成了整個數(shù)據(jù)打通之后，打破壁壘就是為了在業(yè)務(wù)層上，讓數(shù)據(jù)在各個業(yè)務(wù)間像水一樣來流通。滿足靈活多變的數(shù)據(jù)需求。全域流通和按需自助實(shí)現(xiàn)。這個組合可以實(shí)現(xiàn)所有用戶可以去按需自助來完成，而不需要專業(yè)開發(fā)、產(chǎn)品來介入。

Part2

數(shù)據(jù)服務(wù)介紹

數(shù)據(jù)服務(wù)主要由四個核心能力組成：首先，基礎(chǔ)數(shù)據(jù)服務(wù)，它主要是提供基礎(chǔ)數(shù)據(jù)能力，實(shí)現(xiàn)上萬數(shù)據(jù)指標(biāo)跨域獲取;其次，標(biāo)簽畫像服務(wù)，通過這個服務(wù)，可以給用戶提供上百個標(biāo)簽刻畫;第三是人群透視服務(wù)，這個服務(wù)其實(shí)是在標(biāo)簽智商最的提煉，在營銷場景中，可以通過接入這個服務(wù)，來實(shí)現(xiàn)人群的圈選等;第四、除了上述三種服務(wù)之外，還有算法模型服務(wù)，通過一鍵服務(wù)化的方式，把算法能力通過服務(wù)透出。

阿里_技術(shù)_EB級別_高效_數(shù)據(jù)賦能-2

上圖展示了數(shù)據(jù)服務(wù)的架構(gòu)

從上往下看，portal是一個門戶，通過它可以發(fā)現(xiàn)，整個阿里巴巴公共層，有多少基礎(chǔ)的指標(biāo)可以去獲取，并且這些指標(biāo)現(xiàn)在已經(jīng)被哪些業(yè)務(wù)部門通過什么樣的方式來獲取。

用戶只需要按照同樣的方式，就能夠獲取到對應(yīng)的數(shù)據(jù)，極大縮短用戶發(fā)現(xiàn)數(shù)據(jù)、獲取數(shù)據(jù)以及使用數(shù)據(jù)的路徑。

中間這層是DSL，通過DSL我們把用戶獲取數(shù)據(jù)的標(biāo)準(zhǔn)和規(guī)范進(jìn)行了統(tǒng)一，整個DSL之下有一些大的核心能力。QueryEngine實(shí)現(xiàn)所有跟查詢相關(guān)的能力輸出; PushEngine提供實(shí)時數(shù)據(jù)推送的能力;DAG可視化，可配置編排業(yè)務(wù)邏輯。Algorithm Engine輸出算法和人工智能的能力。

阿里_技術(shù)_EB級別_高效_數(shù)據(jù)賦能-3

DSL&DAG實(shí)例

現(xiàn)在，我們的數(shù)據(jù)服務(wù)的主要有三大應(yīng)用場景：第一個是阿里集團(tuán)內(nèi)部，諸如搜索、推薦、營銷等場景;第二就是數(shù)據(jù)大屏，大家在雙11看到酷炫大屏，它其實(shí)就是通過數(shù)據(jù)服務(wù)來實(shí)現(xiàn)的;第三就是商業(yè)化數(shù)據(jù)產(chǎn)品，被商家熟知的生意參謀，它所展示的數(shù)據(jù)也是通過數(shù)據(jù)服務(wù)來實(shí)現(xiàn)的。

Part3

數(shù)據(jù)產(chǎn)品開發(fā)平臺介紹

我們構(gòu)建數(shù)據(jù)產(chǎn)品開發(fā)平臺最核心的目的就是，讓非專業(yè)的開發(fā)人員，也可以根據(jù)自己的需求，來搭建數(shù)據(jù)產(chǎn)品，從而實(shí)現(xiàn)自己使用數(shù)據(jù)的目的。

那么數(shù)據(jù)產(chǎn)品開發(fā)平臺，它主要對外提供了四個能力。

用戶可以完成數(shù)據(jù)分析;用戶可以去自助實(shí)現(xiàn)報(bào)表配置;非開發(fā)人員可以利用它去實(shí)現(xiàn)產(chǎn)品配置;開發(fā)人員可以通過它，開發(fā)一些更加復(fù)雜、更加個性化、更加定制化的一些數(shù)據(jù)產(chǎn)品。

阿里_技術(shù)_EB級別_高效_數(shù)據(jù)賦能-4

具體來看數(shù)據(jù)產(chǎn)品開發(fā)平臺的架構(gòu)，整個架構(gòu)的核心能力依然由兩個部分組成。應(yīng)用端和服務(wù)端。

在應(yīng)用和服務(wù)中間是DSL,所有的應(yīng)用和服務(wù)，最終都會按照DSL標(biāo)準(zhǔn)來配置。通過數(shù)據(jù)產(chǎn)品開發(fā)平臺構(gòu)建完成的應(yīng)用和服務(wù)，并不是一個獨(dú)立運(yùn)行的實(shí)體，它實(shí)際上是一個配置，渲染引擎、執(zhí)行引擎等可以加載和運(yùn)行這個配置;通過構(gòu)建引擎生成一個配置，來實(shí)現(xiàn)不同國家、不同機(jī)房、不同終端都能運(yùn)行的目的。

事實(shí)上，整個數(shù)據(jù)產(chǎn)品開發(fā)平臺的構(gòu)建思路主要由兩個核心點(diǎn)：什么是變的以及什么是不變的。

其實(shí)我們只要能夠?qū)?shù)據(jù)使用過程分析、分解出變和不變這兩個要素，就能夠比較快速地解決問題。

舉個例子。

應(yīng)用的布局、樣式、分析思路……這些都是不變的;但應(yīng)用中的組件，可以是一個圖表、可以是功能區(qū)域，也可以是一個不可見的邏輯……這些是變化的。

繼續(xù)分析一個組件：組件的類型、屬性是不變的;但是每個組件它所能夠表達(dá)的數(shù)據(jù)，是可以變化的;同理推導(dǎo)數(shù)據(jù)：對于一個數(shù)據(jù)來講，格式是、權(quán)限是不變的;但是數(shù)據(jù)是從哪個服務(wù)能夠獲取到數(shù)據(jù)，這個是可以變化的。

最后到服務(wù)這一層，服務(wù)里面有兩部分組成：通過SQL獲取的原始數(shù)據(jù)和業(yè)務(wù)邏輯;通過業(yè)務(wù)邏輯對原始數(shù)據(jù)的加工和編排，最后以服務(wù)化的方式，把數(shù)據(jù)開放給上層應(yīng)用。

了解思路之后，我們再來看一下整個平臺的構(gòu)建過程，它們分別是在應(yīng)用端和在服務(wù)端的構(gòu)建引擎。

對于應(yīng)用端的構(gòu)建引擎，需要注意的是非開發(fā)人員，通過構(gòu)建引擎，只需要輸入四個要素——樣式、布局、組件以及分析思路，就能構(gòu)建出一個基于DSL描述的一個應(yīng)用;同理，在服務(wù)端也是一樣的，非開發(fā)人員通過輸入SQL，和一些業(yè)務(wù)邏輯的實(shí)現(xiàn)，就能夠生成一個基于DSL描述的服務(wù)。在應(yīng)用層，上述的服務(wù)是可以實(shí)現(xiàn)PC、無線和大屏的跨端。

在使用過程中，下圖是一個使用過程的示意：就是通過兩個引擎：渲染引擎和執(zhí)行引擎，它們都會去加載DSL描述的應(yīng)用和服務(wù)，然后進(jìn)行交互來完成整個這個產(chǎn)品的實(shí)現(xiàn)。

目前，數(shù)據(jù)產(chǎn)品開發(fā)平臺在阿里的應(yīng)用對象主要是四塊：首先是業(yè)務(wù)運(yùn)營，在日常運(yùn)營中，運(yùn)營人員可以通過這個平臺去自助的去生成所需要的產(chǎn)品;第二塊是決策分析，分析師會幫助行業(yè)來進(jìn)行業(yè)務(wù)分析指導(dǎo)，他們會通過整個平臺來使用和開發(fā)自己的數(shù)據(jù)分析產(chǎn)品，完成決策分析;第三，后端營銷其實(shí)也可以通過它來搭建產(chǎn)品;最后就是剛才提到的——生意參謀，這是通過這個平臺開發(fā)商業(yè)應(yīng)用產(chǎn)品，目前已經(jīng)累積服務(wù)了2千萬商家。

來源：阿里巴巴

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會注明來源與作者；轉(zhuǎn)載我們原創(chuàng)內(nèi)容時，也請務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會受到數(shù)據(jù)猿追責(zé)。