很早就想寫(xiě)一些數(shù)據(jù)資產(chǎn)管理的文章，因?yàn)樵诖髷?shù)據(jù)領(lǐng)域，當(dāng)前數(shù)據(jù)資產(chǎn)變現(xiàn)概念很火，這個(gè)時(shí)候數(shù)據(jù)資產(chǎn)管理就顯得很重要，是個(gè)值得講講的課題，特別是最近浙江移動(dòng)大數(shù)據(jù)平臺(tái)終于上線了，對(duì)于大數(shù)據(jù)資產(chǎn)管理又領(lǐng)悟了一些東西，希望能跟大家分享下一些觀點(diǎn)。

首先限定一下范圍，我這里談的數(shù)據(jù)資產(chǎn)管理，是指針對(duì)大數(shù)據(jù)平臺(tái)的數(shù)據(jù)資產(chǎn)管理，這里的大數(shù)據(jù)平臺(tái)，跟傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)類似，它通過(guò)從各源系統(tǒng)進(jìn)行統(tǒng)一數(shù)據(jù)采集、清洗及轉(zhuǎn)換，并通過(guò)數(shù)據(jù)建模等手段，實(shí)現(xiàn)數(shù)據(jù)整合和增值，并對(duì)外提供數(shù)據(jù)服務(wù)，相對(duì)來(lái)講是狹義的一個(gè)說(shuō)法。

要理解啥叫數(shù)據(jù)資產(chǎn)管理，有一些定義，比如《大數(shù)據(jù)時(shí)代》一書(shū)作者維克托·邁爾-舍恩伯格的認(rèn)為：“數(shù)據(jù)資產(chǎn)須具備可控制、可量化、可變現(xiàn)的特性。數(shù)據(jù)資產(chǎn)管理是規(guī)劃、控制和提供數(shù)據(jù)及信息資產(chǎn)的一組業(yè)務(wù)職能，包括開(kāi)發(fā)、執(zhí)行和監(jiān)督有關(guān)數(shù)據(jù)的計(jì)劃、政策、方案、項(xiàng)目、流程、方法和程序，從而控制、保護(hù)、交付和提高數(shù)據(jù)資產(chǎn)的價(jià)值”。

我嘗試著活潑一點(diǎn)，把這個(gè)概念說(shuō)得更形象一點(diǎn)，如果把數(shù)據(jù)資產(chǎn)當(dāng)成人，我們對(duì)于數(shù)據(jù)資產(chǎn)的管理就類比于國(guó)家對(duì)公民的管理，那么國(guó)家是怎么管理自己的公民的呢，國(guó)家對(duì)人的管理可以認(rèn)為是國(guó)家通過(guò)賦予你身份，并通過(guò)各種機(jī)制，流程及系統(tǒng)的控制或約束來(lái)確保你能為社會(huì)創(chuàng)造價(jià)值的任何管理行為，雖然不嚴(yán)謹(jǐn)，但其實(shí)就是這個(gè)理，同樣，對(duì)于數(shù)據(jù)資產(chǎn)的管理，就是通過(guò)給數(shù)據(jù)資產(chǎn)貼個(gè)標(biāo)簽，然后通過(guò)各種機(jī)制，流程和系統(tǒng)的控制來(lái)確保這個(gè)數(shù)據(jù)能夠創(chuàng)造價(jià)值的過(guò)程。

舉個(gè)例子，給出一行數(shù)據(jù)“100, 100, 95, 100, 95”，我們認(rèn)為這是數(shù)據(jù)，如果我們加了解釋，這行數(shù)據(jù)代表周一至周五的浙江移動(dòng)用戶的通話時(shí)長(zhǎng)，那么，這個(gè)解釋“通話時(shí)長(zhǎng)”就是數(shù)據(jù)的定義，也可以叫做元數(shù)據(jù)(即是數(shù)據(jù)的數(shù)據(jù))，這個(gè)世界數(shù)據(jù)是如此之多，每類數(shù)據(jù)的定義都不同，針對(duì)這些定義我們就需要專門去做管理，比如分門別類給每個(gè)數(shù)據(jù)貼個(gè)標(biāo)簽，以便后續(xù)根據(jù)定義去找到所需的數(shù)據(jù)，這個(gè)管理就叫做數(shù)據(jù)管理，就好比我們需要給每個(gè)商品定義一個(gè)與眾不同的名字，以便我們的買賣能夠正常進(jìn)行，否則你說(shuō)買一個(gè)蘋(píng)果，人家給你個(gè)梨子，這個(gè)交易世界就亂了，恩，如果沒(méi)有數(shù)據(jù)管理，數(shù)據(jù)的世界也就亂了，再好的數(shù)據(jù)也只能爛在數(shù)據(jù)庫(kù)里無(wú)法使用了，大數(shù)據(jù)時(shí)代，這些數(shù)據(jù)實(shí)際可以創(chuàng)造價(jià)值，比如去年貴陽(yáng)、武漢等成立了大數(shù)據(jù)交易所，數(shù)據(jù)被當(dāng)成股票商品一樣直接可以交易，因此我們把數(shù)據(jù)當(dāng)成了資產(chǎn)的一種，針對(duì)數(shù)據(jù)的管理也等同了數(shù)據(jù)資產(chǎn)管理。

針對(duì)數(shù)據(jù)管理的書(shū)和文章也有不少，我不去解釋，這里簡(jiǎn)要的列一下，如果有興趣大家可以去看下。

1、DAMA管理體系

DAMA針對(duì)數(shù)據(jù)管理定義了10個(gè)主要的數(shù)據(jù)管理職能，并通過(guò)7個(gè)環(huán)境元素對(duì)每個(gè)職能進(jìn)行描述。

2、企業(yè)數(shù)據(jù)管理能力成熟度模型

CMMI協(xié)會(huì)于2014年發(fā)布企業(yè)數(shù)據(jù)管理能力成熟度模型Data Management Maturity(DMM)，它可以用來(lái)評(píng)估和提升組織的數(shù)據(jù)管理水平，幫助組織跨越業(yè)務(wù)與IT之間的鴻溝，根據(jù)企業(yè)的數(shù)據(jù)管理能力提出五個(gè)層次：

3、元數(shù)據(jù)管理

公共倉(cāng)庫(kù)元模型(Common Warehouse MetaModel，CWM)是被對(duì)象管理組織 OMG(Object Management Group)采納的數(shù)據(jù)倉(cāng)庫(kù)和業(yè)務(wù)分析領(lǐng)域元數(shù)據(jù)交換開(kāi)放式行業(yè)標(biāo)準(zhǔn)，在數(shù)據(jù)倉(cāng)庫(kù)和業(yè)務(wù)分析領(lǐng)域?yàn)樵獢?shù)據(jù)定義公共的元模型和基于 XML 的元數(shù)據(jù)交換(XMI)。CWM 作為一個(gè)標(biāo)準(zhǔn)的接口，可以幫助分布式、異構(gòu)環(huán)境中的數(shù)據(jù)倉(cāng)庫(kù)工具，數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)和數(shù)據(jù)倉(cāng)庫(kù)元數(shù)據(jù)存儲(chǔ)庫(kù)之間輕松實(shí)現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)和業(yè)務(wù)分析元數(shù)據(jù)交換。CWM 提供一個(gè)框架為數(shù)據(jù)源、數(shù)據(jù)目標(biāo)、轉(zhuǎn)換、分析、流程和操作等創(chuàng)建和管理元數(shù)據(jù)，并提供元數(shù)據(jù)使用的世系信息。

CWM 元模型、規(guī)范以及生成的產(chǎn)品同 MDA 非常契合，從技術(shù)平臺(tái)角度來(lái)說(shuō)，所有的平臺(tái)相關(guān)模型(CWM XML、CWM IDL 和 CWM Java 等)都是自動(dòng)地從平臺(tái)無(wú)關(guān)模型(CWM 元模型和規(guī)范)中產(chǎn)生的;從產(chǎn)品平臺(tái)角度來(lái)說(shuō)，平臺(tái)相關(guān)模型(比如 DB2、ORACLE、SQL SERVER 等)都是人工從平臺(tái)無(wú)關(guān)模型(CWM 元模型和規(guī)范)中構(gòu)造出來(lái)的。

以上幾個(gè)觀點(diǎn)，對(duì)數(shù)據(jù)資產(chǎn)管理的目標(biāo)、方法和技術(shù)架構(gòu)上，對(duì)數(shù)據(jù)資產(chǎn)管理做了高度的抽象概括，對(duì)于理解數(shù)據(jù)管理體系有點(diǎn)幫助。但這些書(shū)和文章比較抽象，對(duì)于非業(yè)內(nèi)人士或新手可能讀起來(lái)比較累，如果自己沒(méi)實(shí)踐過(guò)，可能也不知道到底如果將其應(yīng)用到實(shí)際工作中。

中國(guó)移動(dòng)自2004年開(kāi)始經(jīng)分系統(tǒng)建設(shè)，在經(jīng)分2.0規(guī)范明確提出了元數(shù)據(jù)管理的建設(shè)要求，這個(gè)實(shí)際就是數(shù)據(jù)管理的概念，應(yīng)該是非常有前瞻性的，但要做好數(shù)據(jù)管理，讓其在生產(chǎn)中發(fā)揮作用，難度是超過(guò)想象的，遠(yuǎn)遠(yuǎn)不是一個(gè)規(guī)范或一本書(shū)就直接能夠給予指導(dǎo)的，浙江移動(dòng)數(shù)據(jù)管理建設(shè)多年，中間經(jīng)歷了很多失敗和教訓(xùn)，在此，我簡(jiǎn)單的將我的理解分享一下，希望能從一些切入點(diǎn)把一些道理講講清楚。

現(xiàn)實(shí)挑戰(zhàn)

國(guó)家對(duì)于公民在各個(gè)人生階段都會(huì)做出一些管理動(dòng)作，確保你為社會(huì)創(chuàng)造價(jià)值，同理，數(shù)據(jù)資產(chǎn)也一樣。下面，我會(huì)結(jié)合實(shí)踐說(shuō)一下數(shù)據(jù)資產(chǎn)管理的內(nèi)容和挑戰(zhàn)，后面再講講浙江移動(dòng)的一些做法，姑且叫作“六把武器”吧。

我們需要管好數(shù)據(jù)資產(chǎn)的“生老病死”，好比人一出生就要注冊(cè)身份一樣，數(shù)據(jù)從一出生就需要被注冊(cè)和標(biāo)識(shí)，一個(gè)沒(méi)有標(biāo)識(shí)的數(shù)據(jù)沒(méi)有價(jià)值，我們往往給數(shù)據(jù)的“身份”取一個(gè)好聽(tīng)的名字，即通常所說(shuō)的數(shù)據(jù)字典。注意，我這里的數(shù)據(jù)字典是廣義的概念，不僅僅是指對(duì)于數(shù)據(jù)倉(cāng)庫(kù)中的一些表字段的定義，其含義要的廣闊的多，包括技術(shù)描述、業(yè)務(wù)描述、血緣關(guān)系、數(shù)據(jù)歸屬、數(shù)據(jù)位置等等，給大家看一張?jiān)獢?shù)據(jù)的功能圖，大家就大致了解了應(yīng)該包含哪些內(nèi)容，這是個(gè)龐大的體系，遠(yuǎn)遠(yuǎn)超過(guò)你的想象，而且也遠(yuǎn)遠(yuǎn)不止這些：

數(shù)據(jù)資產(chǎn)管理第一要?jiǎng)?wù)是維護(hù)好一本數(shù)據(jù)字典，但現(xiàn)實(shí)中的問(wèn)題很多。

一：缺乏管理意識(shí)

很多公司建了不少系統(tǒng)，但卻沒(méi)有嚴(yán)格意義上數(shù)據(jù)管理團(tuán)隊(duì)，沒(méi)有任何數(shù)據(jù)管理的規(guī)范和流程，比如說(shuō)沒(méi)有維護(hù)數(shù)據(jù)字典，即使對(duì)于數(shù)據(jù)有定義，也僅僅存在于設(shè)計(jì)文檔中，但并沒(méi)有獨(dú)立進(jìn)行管理，因此，即使是再大的企業(yè)，產(chǎn)生再多的數(shù)據(jù)，如果這些數(shù)據(jù)沒(méi)有系統(tǒng)化地標(biāo)識(shí)和管理，實(shí)際上它是很難作為一種資產(chǎn)而創(chuàng)造更多價(jià)值的，因此大數(shù)據(jù)時(shí)代，并不是你有數(shù)據(jù)就代表有數(shù)據(jù)競(jìng)爭(zhēng)力，首先得你能夠很好的管理好它。

二：缺乏管理手段

很多公司把數(shù)據(jù)字典當(dāng)成是設(shè)計(jì)過(guò)程中的產(chǎn)物，自它上線以后就沒(méi)人搭理了，大量的線下PDM散落在各個(gè)地方，數(shù)據(jù)字典可能還藏在開(kāi)發(fā)人員腦中，但員工會(huì)離職，調(diào)離崗位，也會(huì)忘記，當(dāng)數(shù)據(jù)出現(xiàn)問(wèn)題或需要用到數(shù)據(jù)的時(shí)候，往往連最基本的定義也不清楚，也不知道是誰(shuí)開(kāi)發(fā)的，只能去核查代碼，這個(gè)時(shí)候的效率往往比較低，這些數(shù)據(jù)的資產(chǎn)價(jià)值也大打折扣，特別是很多公司需要更換廠家的時(shí)候，完全缺失的數(shù)據(jù)字典、大量的溝通成本，含糊的自我保護(hù)解釋，導(dǎo)致代價(jià)是如此巨大。

三、缺乏自動(dòng)方式

即使一些公司注意到了數(shù)據(jù)字典的重要性，因此安排了專門的維護(hù)團(tuán)隊(duì)人員，甚至采購(gòu)了一些管理系統(tǒng)，比如元數(shù)據(jù)管理系統(tǒng)，但更多是后向的方式，這些系統(tǒng)的數(shù)據(jù)字典，更多需要依賴人工錄入及日志解析的方式，往往在系統(tǒng)上線后補(bǔ)充進(jìn)來(lái)，但實(shí)際上由于人維護(hù)的可靠性及解析的能力不足，數(shù)據(jù)管理系統(tǒng)和實(shí)際源系統(tǒng)的數(shù)據(jù)定義并不一致，這種不一致問(wèn)題會(huì)逐步擴(kuò)大，直至失去本應(yīng)有的價(jià)值。

四、缺乏系統(tǒng)銜接

大數(shù)據(jù)平臺(tái)(或者傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng))其數(shù)據(jù)來(lái)源于各類源系統(tǒng)，比如浙江移動(dòng)的大數(shù)據(jù)平臺(tái)的數(shù)據(jù)來(lái)源于40多個(gè)源系統(tǒng)，橫跨了B(業(yè)務(wù))、O(網(wǎng)絡(luò))及M(管信)三域，各個(gè)源系統(tǒng)的接口總計(jì)超過(guò)1600個(gè)，字段近5萬(wàn)，大家在做數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目時(shí)，往往畢其功于一役，項(xiàng)目化的進(jìn)行一次數(shù)據(jù)字典梳理，但實(shí)際上問(wèn)題很多，首先你能確保你梳理的數(shù)據(jù)字典跟源系統(tǒng)完全一致嗎，其次，源系統(tǒng)的變化你能及時(shí)感知到而自行作出調(diào)整嗎，最后，你有足夠的人力去跟蹤這些變化，打造一本真正與時(shí)俱進(jìn)的數(shù)據(jù)字典嗎?我想大多數(shù)企業(yè)都會(huì)覺(jué)得困難，因此有這么一說(shuō)，90%以上的數(shù)據(jù)管理系統(tǒng)是失敗的。

如何解決以上一些問(wèn)題正是我重點(diǎn)要談的，其實(shí)有人會(huì)說(shuō)，沒(méi)有數(shù)據(jù)字典我照樣能活的很好啊，但要記住，當(dāng)你的公司擁有大量的數(shù)據(jù)，并認(rèn)為其可以變現(xiàn)的時(shí)候，你實(shí)際上將其當(dāng)成了資產(chǎn)，你就不能這么忽視了，任何公司的財(cái)務(wù)都會(huì)把資產(chǎn)列表理得清清楚楚，數(shù)據(jù)也一樣，今年你可能還質(zhì)疑這有啥價(jià)值?但10-20年后呢，可能這些數(shù)據(jù)資產(chǎn)就真正的分門別類的出現(xiàn)在你公司的資產(chǎn)列表上了。

舉個(gè)未來(lái)場(chǎng)景吧，如果你希望跟其他公司交易數(shù)據(jù)，作為銷售，首先得介紹你的產(chǎn)品吧，沒(méi)有一本數(shù)據(jù)字典，針對(duì)這些數(shù)據(jù)有較為詳細(xì)的描述，你能想象這種交易該如何進(jìn)行嗎?再比如阿里的DMP，它會(huì)提供給商家一些數(shù)據(jù)用作營(yíng)銷推薦，在它提供的數(shù)據(jù)清單里，你會(huì)發(fā)現(xiàn)它很多數(shù)據(jù)還有個(gè)置信度的標(biāo)識(shí)，以表明這個(gè)數(shù)據(jù)的真實(shí)價(jià)值，這個(gè)不就是數(shù)據(jù)管理中給數(shù)據(jù)貼上的更深層次的標(biāo)簽嗎，只是更進(jìn)一步了，所有的目的就是為了促成交易的完成，當(dāng)前國(guó)家也在談?dòng)么髷?shù)據(jù)進(jìn)行社會(huì)治理，希望數(shù)據(jù)對(duì)公眾更為透明化，數(shù)據(jù)的透明化哪里有這么容易，數(shù)據(jù)透明化首先需要解釋的平民化，我們需要的是一本人性化的數(shù)據(jù)字典，否則，誰(shuí)知道GDP，CPI是啥意思。

通過(guò)這些例子，我相信你至少能理解一點(diǎn)，數(shù)據(jù)管理的最終目的其實(shí)就是為了讓數(shù)據(jù)產(chǎn)生價(jià)值，對(duì)于程序員來(lái)講，數(shù)據(jù)字典也許只是一本躺在你電腦中的PDM文檔而已，但對(duì)于數(shù)據(jù)資產(chǎn)管理員，它就是發(fā)現(xiàn)寶藏的一張地圖。

作者介紹：

傅一平，浙江移動(dòng)大數(shù)據(jù)中心數(shù)據(jù)管理部經(jīng)理，中國(guó)移動(dòng)經(jīng)營(yíng)分析專家，中國(guó)信息通信大數(shù)據(jù)產(chǎn)業(yè)聯(lián)盟專家委員，浙江大學(xué)信電系博士，在大數(shù)據(jù)系統(tǒng)、大數(shù)據(jù)建模、大數(shù)據(jù)營(yíng)銷、大數(shù)據(jù)行業(yè)研究、運(yùn)營(yíng)商大數(shù)據(jù)挖掘及商業(yè)變現(xiàn)上具有豐富的經(jīng)驗(yàn)，也是中國(guó)統(tǒng)計(jì)網(wǎng)等雜志與媒體的專欄作家。

注：傅一平是數(shù)據(jù)猿特約專欄作家

來(lái)源：數(shù)據(jù)猿