合理使用元數(shù)據(jù)工具，解決大數(shù)據(jù)治理落地難點

大數(shù)據(jù) 元數(shù)據(jù) 元數(shù)據(jù)管理

InfoQ | 2016-08-03 16:00

【數(shù)據(jù)猿導(dǎo)讀】近幾年。元數(shù)據(jù)管理的范圍在不斷擴(kuò)大，從簡單的庫表，到整個數(shù)據(jù)平臺，再到服務(wù)管理，不斷突破傳統(tǒng)元數(shù)據(jù)管理的范疇。在普元軟件產(chǎn)品部副總、大數(shù)據(jù)產(chǎn)品線總經(jīng)理王軒看來，元數(shù)據(jù)是大數(shù)據(jù)應(yīng)用的基礎(chǔ)和前提

元數(shù)據(jù)并不止存在于數(shù)據(jù)領(lǐng)域，近年來，元數(shù)據(jù)管理的范圍在不斷擴(kuò)大，從簡單的庫表，到整個數(shù)據(jù)平臺，再到服務(wù)管理，不斷突破傳統(tǒng)元數(shù)據(jù)管理的范疇。 InfoQ采訪了普元軟件產(chǎn)品部副總、大數(shù)據(jù)產(chǎn)品線總經(jīng)理王軒，了解如下問題：“元數(shù)據(jù)”和“大數(shù)據(jù)”之間的異同之處在哪里?大數(shù)據(jù)環(huán)境下的元數(shù)據(jù)管理有什么特點?元數(shù)據(jù)元數(shù)據(jù)驅(qū)動的微服務(wù)架構(gòu)有何特點?企業(yè)大數(shù)據(jù)治理難點在哪里?

InfoQ：請問大數(shù)據(jù)環(huán)境下的元數(shù)據(jù)管理有什么特點?

王軒：大數(shù)據(jù)環(huán)境下的元數(shù)據(jù)管理與以往不同，這種不同主要反映在元數(shù)據(jù)的錄入方式上，在傳統(tǒng)BI時代，很多企業(yè)主要以人工的方式對元數(shù)據(jù)進(jìn)行收集和整理，但大數(shù)據(jù)環(huán)境中的數(shù)據(jù)類型和數(shù)據(jù)結(jié)構(gòu)都變得更加復(fù)雜，元數(shù)據(jù)管理的范圍變得更廣，人工錄入的方式已經(jīng)不再適用，主要原因有以下幾點：

大數(shù)據(jù)環(huán)境下的工具眾多，無論是商業(yè)產(chǎn)品還是開源產(chǎn)品都變得更加復(fù)雜;

大數(shù)據(jù)治理中的數(shù)據(jù)采集與數(shù)據(jù)處理鏈條會變得更長，二者之間更難形成關(guān)聯(lián);

大數(shù)據(jù)環(huán)境下的數(shù)據(jù)來源各式各樣，其中除了企業(yè)內(nèi)部的數(shù)據(jù)，更多的數(shù)據(jù)來自于第三方機(jī)構(gòu);

如此復(fù)雜的企業(yè)大數(shù)據(jù)環(huán)境，對企業(yè)使用的元數(shù)據(jù)管理工具提供了更高的要求，大數(shù)據(jù)環(huán)境下的元數(shù)據(jù)管理工具，不應(yīng)該再一味地追求用戶并發(fā)數(shù)，而是應(yīng)該以全面自動化的元數(shù)據(jù)采集作為系統(tǒng)功能的核心，以此來代替?zhèn)鹘y(tǒng)效率比較低的人工錄入方式，對大數(shù)據(jù)環(huán)境中的各種元數(shù)據(jù)進(jìn)行自動化采集，這也是評判一個企業(yè)元數(shù)據(jù)管理是否成熟的重要標(biāo)志。

InfoQ：請問“元數(shù)據(jù)”和“大數(shù)據(jù)”之間的異同之處在哪里?元數(shù)據(jù)具有什么樣的特性?

王軒：“大數(shù)據(jù)”中包含眾多的元數(shù)據(jù)，可以說元數(shù)據(jù)是大數(shù)據(jù)應(yīng)用的基礎(chǔ)和前提。元數(shù)據(jù)是信息的維度，可以說，掌握了元數(shù)據(jù)就掌握了信息的維度，它描述了信息概念以及他們之間的連接。其中信息概念表示某個業(yè)務(wù)所有維度的集合，連接則是描述元數(shù)據(jù)之間關(guān)系的方式。

元數(shù)據(jù)管理的概念是隨著數(shù)據(jù)倉庫的建設(shè)逐漸完善起來的，所以現(xiàn)在人們普遍認(rèn)為元數(shù)據(jù)只存在于數(shù)據(jù)領(lǐng)域，其實這種對元數(shù)據(jù)的認(rèn)識是不全面的，近年來，元數(shù)據(jù)管理的范圍在不斷擴(kuò)大，從簡單的庫表，到整個數(shù)據(jù)平臺，再到服務(wù)管理，甚至到驅(qū)動微服務(wù)，一直在不斷突破傳統(tǒng)元數(shù)據(jù)管理的范疇，從而形成了廣義元數(shù)據(jù)的概念，我們可以發(fā)現(xiàn)，其實元數(shù)據(jù)廣泛存在于企業(yè)架構(gòu)的方方面面，而不僅僅是局限于數(shù)據(jù)領(lǐng)域里。

InfoQ：在金融、電信、制造、政府、電力等行業(yè)，需求和數(shù)據(jù)都不一樣，在進(jìn)行元數(shù)據(jù)服務(wù)治理時，如何減少差異化?有沒有統(tǒng)一的模型?

王軒：每個行業(yè)對數(shù)據(jù)治理的需求是相同的，但是治理的路徑各有不同，在進(jìn)行數(shù)據(jù)治理時，要根據(jù)各行業(yè)不同的狀況，采用不同的數(shù)據(jù)治理方案，但是大體的理念和思想是一致的。

第一，無論對哪個行業(yè)來說，數(shù)據(jù)治理都是對數(shù)據(jù)全過程，全方位的管控，是對數(shù)據(jù)采集、加工、存儲、共享、應(yīng)用等一系列完整流程的治理;

第二，任何行業(yè)的數(shù)據(jù)治理都不應(yīng)該只是局限在理論和架構(gòu)層面，整個治理過程都要靠工具和平臺來支撐，推動數(shù)據(jù)治理的落地。

InfoQ：普元在大數(shù)據(jù)治理上有多年的經(jīng)驗，是否有形成一套通用的大數(shù)據(jù)治理的平臺架構(gòu)?

王軒：是的，我們先后完成了多家大型企業(yè)的大數(shù)據(jù)治理項目，以后大數(shù)據(jù)治理也是我們主要的發(fā)展方向，我們認(rèn)為，大數(shù)據(jù)治理應(yīng)該以元數(shù)據(jù)為核心，配合大數(shù)據(jù)標(biāo)準(zhǔn)、大數(shù)據(jù)交換集成、主數(shù)據(jù)管理、大數(shù)據(jù)質(zhì)量、大數(shù)據(jù)資產(chǎn)化、大數(shù)據(jù)共享等共同完成整個企業(yè)層面的大數(shù)據(jù)治理。

大數(shù)據(jù)治理的本質(zhì)是提升企業(yè)數(shù)據(jù)資產(chǎn)價值，這就要求企業(yè)在大數(shù)據(jù)治理中要將數(shù)據(jù)與服務(wù)結(jié)合，通過“數(shù)據(jù)-服務(wù)-價值”之間的相互轉(zhuǎn)換和相互促進(jìn)，實現(xiàn)企業(yè)的數(shù)據(jù)資產(chǎn)變現(xiàn)。

InfoQ：與傳統(tǒng)軟件中的微服務(wù)相比，元數(shù)據(jù)治理中的微服務(wù)有哪些特點?這種微服務(wù)架構(gòu)如何解決哪些難點和痛點?

王軒：在微服務(wù)架構(gòu)中微服務(wù)的粒度小，數(shù)量多，微服務(wù)的設(shè)計與微服務(wù)之間的連接需要一套規(guī)范，同時需要一套可以對話的統(tǒng)一“語言”，而元數(shù)據(jù)就可以看成是這種“語言”，用元數(shù)據(jù)來驅(qū)動微服務(wù)架構(gòu)，能夠規(guī)范整個微服務(wù)體系的設(shè)計。

傳統(tǒng)的微服務(wù)架構(gòu)中經(jīng)常遇到以下幾個難點：

一、微服務(wù)邊界交互難;二、微服務(wù)開發(fā)和使用不夠規(guī)范;三、微服務(wù)脈絡(luò)分析難;四、微服務(wù)全生命周期難以管理。

元數(shù)據(jù)驅(qū)動的微服務(wù)架構(gòu)可以很好地解決這些問題。

第一，此種微服務(wù)架構(gòu)可以在事前定義好微服務(wù)邊界，通過元數(shù)據(jù)協(xié)助微服務(wù)的之間的交互，解決微服務(wù)邊界交互難的問題;

第二，在元數(shù)據(jù)驅(qū)動的微服務(wù)架構(gòu)下，可以用元數(shù)據(jù)來定義微服務(wù)中的標(biāo)準(zhǔn)規(guī)范，對微服務(wù)的數(shù)據(jù)標(biāo)準(zhǔn)和服務(wù)標(biāo)準(zhǔn)進(jìn)行統(tǒng)一定義，以此來規(guī)范微服務(wù)的開發(fā)和使用;

第三，某個微服務(wù)的改變通常會影響到多個服務(wù)的聯(lián)動調(diào)整，基于元數(shù)據(jù)驅(qū)動的微服務(wù)架構(gòu)在脈絡(luò)分析上有著明顯的優(yōu)勢，通過元數(shù)據(jù)可以分析出整個微服務(wù)調(diào)用關(guān)系圖譜，解決傳統(tǒng)微服務(wù)架構(gòu)下的脈絡(luò)分析難點;

第四，通過標(biāo)準(zhǔn)元數(shù)據(jù)，可以在微服務(wù)規(guī)劃階段規(guī)范微服務(wù)，在設(shè)計階段提供連接其他微服務(wù)的元數(shù)據(jù)信息，在開發(fā)階段協(xié)助開發(fā)測試，在上線后分析微服務(wù)的使用情況，并協(xié)助維護(hù)微服務(wù)的變更，最后微服務(wù)下架時，將微服務(wù)的元數(shù)據(jù)存檔，確保對目前體系不產(chǎn)生影響，從而對微服務(wù)的全生命周期進(jìn)行科學(xué)有效的管理。

未來元數(shù)據(jù)驅(qū)動的微服務(wù)架構(gòu)的應(yīng)用還會有很多，還需要進(jìn)一步思考和研究。

InfoQ：在您多年的研究大數(shù)據(jù)治理經(jīng)驗里，您認(rèn)為大數(shù)據(jù)治理最難的地方是什么?

王軒：從我們的大數(shù)據(jù)治理項目經(jīng)驗來看，我覺得大數(shù)據(jù)治理最大的困難在于如何有效地落地執(zhí)行。

我認(rèn)為大數(shù)據(jù)治理落地難的原因主要在兩個方面，一是現(xiàn)在大部分企業(yè)的大數(shù)據(jù)治理組織架構(gòu)存在問題，二是除了組織架構(gòu)之外，企業(yè)大數(shù)據(jù)治理更需要一套完整的平臺工具來支撐。

第一，在組織架構(gòu)上，企業(yè)的大數(shù)據(jù)治理還是應(yīng)該由業(yè)務(wù)部門來主導(dǎo)，IT部門來執(zhí)行，并且引入相應(yīng)的考核體系，以此來推動大數(shù)據(jù)治理一系列規(guī)范的執(zhí)行和落地;

第二，在平臺工具上，大數(shù)據(jù)治理是對數(shù)據(jù)采集、質(zhì)量控制、數(shù)據(jù)共享一整條線的治理，在大數(shù)據(jù)治理過程中，不能再把重點放在對人的管理上，而應(yīng)該把重點放在平臺和工具上，一套完整的平臺工具和自動化手段，能幫助企業(yè)更容易地進(jìn)行大數(shù)據(jù)治理。

InfoQ：目前普元的大數(shù)據(jù)團(tuán)隊的主要情況是什么樣的?您們的團(tuán)隊文化是什么樣的?您在團(tuán)隊管理上有什么樣的心得體會?作為“船長”您如何選擇您的“船員”?

王軒：普元的大數(shù)據(jù)團(tuán)隊是一個以產(chǎn)品研發(fā)為主的團(tuán)隊，也是很專注的團(tuán)隊，我們一直專注在大數(shù)據(jù)治理領(lǐng)域，有多個相關(guān)產(chǎn)品，同時也在大數(shù)據(jù)治理市場上有不錯的占有率。整個團(tuán)隊有多名10年以上的數(shù)據(jù)治理專家，對元數(shù)據(jù)，數(shù)據(jù)交換，數(shù)據(jù)標(biāo)準(zhǔn)，數(shù)據(jù)質(zhì)量等都很擅長。

我們的團(tuán)隊是目標(biāo)感和執(zhí)行力很強(qiáng)的團(tuán)隊，我覺得一個好的團(tuán)隊，首先，需要有一致的目標(biāo)，大家在一致的目標(biāo)下，發(fā)揮自己所長。其次，需要很強(qiáng)的執(zhí)行力，在面對困難局面的時候能夠堅持，并解決問題。最后，有濃厚的學(xué)習(xí)的氛圍，能夠主動學(xué)習(xí)，主動分享。

團(tuán)隊管理，我認(rèn)為是如何發(fā)揮每一個人長處的過程，我的團(tuán)隊有各種各樣的人，每個人都有不同，我需要做的事情很簡單，就是把大家放到能發(fā)揮長處的事情上去，在這樣的事情中，幫助大家持續(xù)學(xué)習(xí)，最大化長處，盡量減少短處，讓團(tuán)隊中每個人能夠都能成長。

最后我覺得我并不是船長，而是船員，我們沒有大輪船，可能更像是龍舟，每個人都在船上互相配合一起讓船劃得更快一點，走的更遠(yuǎn)一點。我選擇的船員是能認(rèn)同方向和我們一起用漿劃船的人。

InfoQ：感謝王軒老師接受我們的采訪。

來源：InfoQ

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會注明來源與作者；轉(zhuǎn)載我們原創(chuàng)內(nèi)容時，也請務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會受到數(shù)據(jù)猿追責(zé)。