国产精品高潮呻吟久久AV无码,在线观看亚洲糸列,888奇米亚洲影视四色,中文字幕动漫精品第1页,国产大屁股视频免费区,半夜他强行挺进了我的体内,免费看国产曰批40分钟,国产女人片最新视频,要做AV在线播放,欧美韩日精品一区二区三区

解碼秘密武器OneData，傳說中的阿里數(shù)據(jù)中臺是如何練成的？

OneData 阿里數(shù)據(jù) 大數(shù)據(jù)

阿里數(shù)據(jù) | 2016-05-16 15:43

【數(shù)據(jù)猿導讀】阿里巴巴集團在很早就已經(jīng)把大數(shù)據(jù)做為戰(zhàn)略目標實施，而且其各個業(yè)務也非常依賴數(shù)據(jù)支撐運營，那么阿里究竟采取何種方法構建自己的體系？本文主要為大家詳細介紹阿里數(shù)據(jù)中臺的秘密武器——OneData體系

解碼秘密武器OneData，傳說中的阿里數(shù)據(jù)中臺是如何練成的？

據(jù)IDC報告，預計到2020年全球數(shù)據(jù)總量將超過40ZB(相當于4萬億GB)，這一數(shù)據(jù)量是2013年的10倍。正在“爆炸式”增長的數(shù)據(jù)的潛在巨大價值正在被發(fā)掘，它有可能成為商業(yè)世界的“新能源”，變革我們的生產(chǎn)，影響我們生活。當我們面對如此龐大的數(shù)據(jù)之時，如果我們不能有序、有結構的進行分類組織和存儲，那么在價值被發(fā)現(xiàn)前，也許數(shù)據(jù)成本災難已經(jīng)來臨。它猶如堆積如山的垃圾，給我們企業(yè)帶來的是極大的成本，而且非常難以消費和發(fā)掘價值，也許數(shù)據(jù)更可悲的命運是在價值發(fā)現(xiàn)之前它以死去。不得已的歷史數(shù)據(jù)清理還在進行中嗎?

那么，企業(yè)大數(shù)據(jù)體系的數(shù)據(jù)架構應該如何建立?如何保障數(shù)據(jù)快速支撐業(yè)務并且驅(qū)動業(yè)務發(fā)展?在2016數(shù)據(jù)庫技術大會上，數(shù)據(jù)中臺的高級技術專家王賽結合阿里數(shù)據(jù)的實踐成果，按照背景、方法思路以及如何落地實現(xiàn)、效果如何的邏輯，為大家詳細介紹阿里數(shù)據(jù)中臺的秘密武器——OneData體系。

背景

在企業(yè)發(fā)展初期，數(shù)據(jù)研發(fā)模式一般緊貼業(yè)務的發(fā)展而演變的，數(shù)據(jù)體系也是基于業(yè)務單元垂直建立，不同的垂直化業(yè)務，帶來不同的煙囪式的體系。但隨著企業(yè)的發(fā)展，一方面數(shù)據(jù)規(guī)模在快速膨脹，垂直業(yè)務單元也越來越多，另一方面基于大數(shù)據(jù)的業(yè)務所需要的數(shù)據(jù)不僅僅是某個垂直單元的，使用數(shù)據(jù)類型繁多(Variety)的數(shù)據(jù)才能具備核心競爭力?？绱怪眴卧臄?shù)據(jù)建設接踵而至，混亂的數(shù)據(jù)調(diào)用和拷貝，重復建設帶來的資源浪費，數(shù)據(jù)指標定義不同而帶來的歧義、數(shù)據(jù)使用門檻越來越高……這些問題日益凸顯，成為企業(yè)發(fā)展迫在眉睫必須要解決的問題。

1)數(shù)據(jù)標準不統(tǒng)一

在建立OneData之前，阿里數(shù)據(jù)有30000多個指標，其中，即使是同樣的命名，但定義口徑卻不一致。例如，僅uv這樣一個指標，就有十幾種定義。帶來的問題是：都是uv，我要用哪個? 都是uv，為什么數(shù)據(jù)卻不一樣?

2)服務業(yè)務能力

由于數(shù)據(jù)模式是跟著垂直業(yè)務，導致一開始只支持了淘寶、天貓、1688等少數(shù)業(yè)務團隊。而更多有個性化需求的業(yè)務團隊卻無法提供更多支持。

3)計算存儲成本

由于沒有統(tǒng)一的規(guī)范標準管理，造成了重復計算等資源浪費。而數(shù)據(jù)表的層次、粒度不清晰，也使得重復存儲嚴重，僅淘系的數(shù)據(jù)表就超過了25000張，集團總數(shù)據(jù)的存儲量每年以2.5倍的速度在增長，可以預見的未來的將會帶來巨大的數(shù)據(jù)成本負擔，我們不得不去做一些改變。

4)研發(fā)成本

每個工程師都需要從頭到尾了解研發(fā)流程的每個細節(jié)，對同樣的“坑”每個人都會重新踩一遍，對研發(fā)人員的時間和精力成本造成浪費

建立的方法和思路

基于這樣的問題和挑戰(zhàn)，阿里集團規(guī)劃建設一個全集團的全域數(shù)據(jù)公共層，將公共的數(shù)據(jù)、計算沉淀于此，降低數(shù)據(jù)存儲和計算成本，提升數(shù)據(jù)互通和消費的效率，從而支撐快速數(shù)據(jù)業(yè)務應該的創(chuàng)新。公共層中重要的一環(huán)是數(shù)據(jù)模型的構建，那么我們先從行業(yè)看看一些方法體系和經(jīng)驗：

1)他山之石——行業(yè)內(nèi)是如何做的?

A、實體關系(ER)模型

數(shù)據(jù)倉庫之父Immon的方法從全企業(yè)的高度設計一個3NF模型，用實體加關系描述的數(shù)據(jù)模型描述企業(yè)業(yè)務架構，在范式理論上符合3NF，它與OLTP系統(tǒng)中的3NF的區(qū)別，在于數(shù)據(jù)倉庫中的3NF上站在企業(yè)角度面向主題的抽象，而不是針對某個具體業(yè)務流程的實體對象關系抽象，它更多的是面向數(shù)據(jù)的整合和一致性治理，正如Immon所希望達到的：“single version of the truth”。但是要采用此方法進行構建，也有其挑戰(zhàn)：

需要全面了解企業(yè)業(yè)務和數(shù)據(jù)

實施周期非常長

對建模人員的能力要求也非常高

B、維度模型

維度模型是數(shù)據(jù)倉庫領域另一位大師Ralph Kimall所倡導，它的《The DataWarehouse Toolkit-The Complete Guide to Dimensona Modeling》是數(shù)據(jù)倉庫工程領域最流行的數(shù)倉建模經(jīng)典。

維度建模以分析決策的需求出發(fā)構建模型，構建的數(shù)據(jù)模型為分析需求服務，因此它重點解決用戶如何更快速完成分析需求，同時還有較好的大規(guī)模復雜查詢的響應性能。典型的代表是我們比較熟知的星形模型，以及在一些特殊場景下適用的雪花模型。

C、DataVault

DataVault是Dan Linstedt發(fā)起創(chuàng)建的一種模型方法論，它是在ER關系模型上的衍生，同時設計的出發(fā)點也是為了實現(xiàn)數(shù)據(jù)的整合，并非為數(shù)據(jù)決策分析直接使用。它強調(diào)建立一個可審計的基礎數(shù)據(jù)層，也就是強調(diào)數(shù)據(jù)的歷史性可追溯性和原子性，而不要求對數(shù)據(jù)進行過度的一致性處理和整合;同時也基于主題概念將企業(yè)數(shù)據(jù)進行結構化組織，并引入了更進一步的范式處理來優(yōu)化模型應對源系統(tǒng)變更的擴展性。它主要由：Hub(關鍵核心業(yè)務實體)、Link(關系)、Satellite(實體屬性)三部分組成。

D、Anchor模型

Anchor模型是由Lars. Rönnbäck設計的，初衷是設計一個高度可擴展的模型，核心思想：所有的擴展只是添加而不是修改，因此它將模型規(guī)范到6NF，基本變成了K-V結構模型。Anchor模型由：Anchors 、Attributes 、Ties 、Knots 組成，相關細節(jié)可以參考《Anchor Modeling-Agile Information Modeling in Evolving Data Environments》

2)阿里的數(shù)倉模型體系要如何構建?

阿里巴巴集團在很早就已經(jīng)把大數(shù)據(jù)做為戰(zhàn)略目標實施，而且其各個業(yè)務也非常依賴數(shù)據(jù)支撐運營，那么阿里究竟采取何種方法構建自己的體系?阿里的數(shù)據(jù)倉庫模型建設經(jīng)歷的多個發(fā)展周期：

第一階段：完全應用驅(qū)動的時代，阿里巴巴第一代的數(shù)據(jù)倉庫系統(tǒng)構建在Oracle上，數(shù)據(jù)完全以滿足報表需求為目的出發(fā)，將數(shù)據(jù)以與源結構相同的方式同步到Oracle后，我們叫ODS(Operational Data Store)層，數(shù)據(jù)工程師基于ODS數(shù)據(jù)進行統(tǒng)計，基本沒有模型方法體系，完全基于對Oralce數(shù)據(jù)庫特性的利用進行數(shù)據(jù)存儲和加工，部分采用了一些維度建模的緩慢變化維方式進行歷史數(shù)據(jù)處理。那時候的數(shù)據(jù)架構只有兩次層ODS+DSS。

第二階段：隨著阿里業(yè)務的快速發(fā)展，數(shù)據(jù)量也在飛速增長，性能已經(jīng)是一個較大問題，因此引入了當時MPP架構體系的Greenplum，同時阿里的數(shù)據(jù)團隊也在著手開始進行一定的數(shù)據(jù)架構優(yōu)化，希望通過一些模型技術改變煙囪式的開發(fā)模型，消除一些冗余，提升數(shù)據(jù)的一致性。來做傳統(tǒng)行業(yè)數(shù)倉的工程師，開始嘗試將工程領域比較流行的ER模型+維度模型方式應用的阿里集團，構建出一個四層的模型架構ODL(操作數(shù)據(jù)層)+BDL(基礎數(shù)據(jù)層)+IDL(接口數(shù)據(jù)層)+ADS(應用數(shù)據(jù)層)。ODL保持和源系統(tǒng)保持一致，BDL希望引入ER模型，加強數(shù)據(jù)的整合，構建一致的基礎數(shù)據(jù)模型，IDL基于維度模型方法構建集市層，ADL完成應用的個性化和基于展現(xiàn)需求的數(shù)據(jù)組裝。其中我們在構建ER模型遇到了比較大的困難和挑戰(zhàn)，互聯(lián)網(wǎng)業(yè)務的快速發(fā)展，人員的快速迭代變化，業(yè)務知識功底的不夠全面導致ER模型設計遲遲不能產(chǎn)出，至此，我們也得到了一個經(jīng)驗，在一個不太成熟，快速變化的業(yè)務面前，構建ER模型的風險非常大，不太適合去構建。

第三階段：阿里集團的業(yè)務和數(shù)據(jù)還在飛速發(fā)展，這個時候迎來了以hadoop為代表的分布式存儲計算平臺的快速發(fā)展，同時阿里集團自主研發(fā)的分布式計算平臺ODPS也在緊鑼密鼓的進行中;我們在擁抱分布式計算平臺的同時，也開始建設我們的第三代模型架構，我們需要找到一個核心問題，找打適合阿里集團業(yè)務發(fā)展，又能充分利用分布是計算平臺能力的數(shù)據(jù)模型方式。

我們選擇了以Kimball的維度建模為核心理念基礎的模型方法論，同時對其進行了一定的升級和擴展，構建了阿里集團的數(shù)據(jù)架構體系——OneData

OneData體系分為：數(shù)據(jù)規(guī)范定義體系、數(shù)據(jù)模型規(guī)范設計、ETL規(guī)范研發(fā)以及支撐整個體系從方法到實施的工具體系。

落地實現(xiàn)

A)數(shù)據(jù)規(guī)范定義

將此前個性化的數(shù)據(jù)指標進行規(guī)范定義，抽象成：原子指標、時間周期、其他修飾詞等三個要素。

例如，以往業(yè)務方提出的需求是：最近7天的成交。而實際上，這個指標在規(guī)范定義中，應該結構化分解成為：

原子指標(支付訂單金額 )+修飾詞-時間周期(最近7天)+修飾詞-賣家類型(淘寶)

B)數(shù)據(jù)模型架構

將數(shù)據(jù)分為ODS(操作數(shù)據(jù))層、CDM(公共維度模型)層、ADS(應用數(shù)據(jù))層。

其中：

ODS層主要功能

同步：結構化數(shù)據(jù)增量或全量同步到ODPS;

結構化：非結構化(日志)結構化處理并存儲到ODPS;

累積歷史、清洗：根據(jù)數(shù)據(jù)業(yè)務需求及稽核和審計要求保存歷史數(shù)據(jù)、數(shù)據(jù)清洗;

CDM層主要功能

CDM層又細分為DWD層和DWS層，分別是明細寬表層和公共匯總數(shù)據(jù)層，采取維度模型方法基礎，更多采用一些維度退化手法，減少事實表和維度表的關聯(lián)，容易維度到事實表強化明細事實表的易用性;同時在匯總數(shù)據(jù)層，加強指標的維度退化，采取更多寬表化的手段構建公共指標數(shù)據(jù)層，提升公共指標的復用性，減少重復的加工。

ADS層主要功能

個性化指標加工：不公用性;復雜性(指數(shù)型、比值型、排名型指標)

基于應用的數(shù)據(jù)組裝：大寬表集市、橫表轉縱表、趨勢指標串

其模型架構圖如下，阿里通過構建全域的公共層數(shù)據(jù)，極大的控制了數(shù)據(jù)規(guī)模的增長趨勢，同時在整體的數(shù)據(jù)研發(fā)效率，成本節(jié)約、性能改進方面都有不錯的結果。