工作日的一個早上，某電商公司數(shù)據(jù)開發(fā)團隊的負責(zé)人小李接到了業(yè)務(wù)部門同事的電話：“李總，我們需要一份關(guān)于某產(chǎn)品銷售情況的數(shù)據(jù)表，但是找了半天一直無法獲取到準(zhǔn)確的數(shù)據(jù)，優(yōu)惠活動最近幾天就要上線了，沒有數(shù)據(jù)我們也不敢隨便做決策呀……”

小李立刻召集了數(shù)據(jù)開發(fā)團隊的成員進行緊急會議，大家一起商討怎樣才能快速地提供準(zhǔn)確的數(shù)據(jù)給業(yè)務(wù)部門。最終，小李發(fā)現(xiàn)數(shù)據(jù)開發(fā)團隊的成員們各自使用不同的數(shù)據(jù)模型和規(guī)范，缺乏統(tǒng)一的標(biāo)準(zhǔn)，數(shù)據(jù)的質(zhì)量和產(chǎn)出效率受到了很大的影響。同時，由于缺乏有效的數(shù)據(jù)治理措施，數(shù)據(jù)質(zhì)量也無法得到有效保障，導(dǎo)致業(yè)務(wù)部門的數(shù)據(jù)需求無法得到滿足……

這個場景是不少企業(yè)的數(shù)據(jù)團隊經(jīng)常面臨的問題，隨著數(shù)字化的不斷推進，確實不少企業(yè)開始沉淀和積累自己的“數(shù)據(jù)資產(chǎn)”，而且各種系統(tǒng)也盡可能的提升了數(shù)據(jù)分析能力和效率，然而，數(shù)據(jù)開發(fā)和數(shù)據(jù)消費之間仍然存在著一些難以逾越的“鴻溝”，因為數(shù)據(jù)開發(fā)流程缺乏業(yè)務(wù)視角的質(zhì)量保障，導(dǎo)致企業(yè)的業(yè)務(wù)運營效率、管理、決策受到很大影響。

很多企業(yè)在處理這一問題時，最常用的方式就是另外建設(shè)數(shù)據(jù)治理體系，通過開展跨部門協(xié)作和溝通的方式，建立協(xié)同機制和流程，從而使得數(shù)據(jù)開發(fā)和數(shù)據(jù)治理之間的聯(lián)系得以加強。這種方式表面上看是解決了問題，但實際上卻增加了溝通成本，使得團隊的效率變慢了。

海量的數(shù)據(jù)非但沒有提升團隊工作效率，卻產(chǎn)生了“數(shù)據(jù)貧困”的問題，根據(jù)Gartner的報告，由于數(shù)據(jù)質(zhì)量問題，每年會造成企業(yè)10億美元的損失，這該如何解決？針對這個問題，數(shù)據(jù)猿采訪了網(wǎng)易數(shù)帆大數(shù)據(jù)產(chǎn)品線總經(jīng)理余利華，分享網(wǎng)易數(shù)帆的數(shù)據(jù)開發(fā)治理一體化的創(chuàng)新實踐。

海量數(shù)據(jù)不等于數(shù)據(jù)資產(chǎn)

隨著大數(shù)據(jù)技術(shù)的快速發(fā)展、企業(yè)數(shù)字化的不斷升級，數(shù)據(jù)量也越來越多。企業(yè)在數(shù)字化進程中發(fā)揮數(shù)據(jù)潛能順應(yīng)外界變化，Gartner認(rèn)為應(yīng)該考慮用數(shù)據(jù)資產(chǎn)化的方式，數(shù)字資產(chǎn)應(yīng)該是一種可交付、可復(fù)用的產(chǎn)品，具有很高的共享價值。然而，海量的數(shù)據(jù)卻往往讓企業(yè)陷入了“數(shù)據(jù)貧困”的困境中，難以共享、復(fù)用。余利華認(rèn)為，數(shù)據(jù)貧困集中體現(xiàn)在找不到、看不懂、信不過、管不住四個方面。

“找不到”是指在現(xiàn)代企業(yè)中，數(shù)據(jù)通常存儲在分散的數(shù)據(jù)庫中，這些數(shù)據(jù)庫可能由不同的部門或團隊維護。這就導(dǎo)致了一些數(shù)據(jù)沒有被掛載目錄，規(guī)范性差，業(yè)務(wù)人員要從中找到想要的數(shù)據(jù)無異于大海撈針。就像文章開頭的那家電商公司，明明積累了海量的數(shù)據(jù)，也有專業(yè)的數(shù)據(jù)團隊，但業(yè)務(wù)人員仍然找不到需要的數(shù)據(jù)在哪里。當(dāng)然，這樣的問題也不只存在于電商公司，像網(wǎng)易這樣的大型互聯(lián)網(wǎng)公司，此前也存在類似問題。例如，在網(wǎng)易內(nèi)部，網(wǎng)易嚴(yán)選一個業(yè)務(wù)有十幾萬張表，云音樂有八萬多張表，業(yè)務(wù)人員要找到所需數(shù)據(jù)非常困難。這不僅浪費了業(yè)務(wù)人員的時間和精力，也限制了企業(yè)決策的準(zhǔn)確性和效率。

“看不懂”是元數(shù)據(jù)的缺失和管理不善帶來的問題，比如曾經(jīng)在網(wǎng)易內(nèi)部的某項業(yè)務(wù)中，由于78%的元數(shù)據(jù)都存在缺失，即使業(yè)務(wù)人員找到了數(shù)據(jù)也看不懂。這是因為數(shù)據(jù)通常以一種技術(shù)術(shù)語的形式存儲，對于非專業(yè)人士來說，這些術(shù)語可能很難理解。此外，數(shù)據(jù)本身也可能很復(fù)雜，需要專業(yè)知識才能理解。如果業(yè)務(wù)人員無法理解數(shù)據(jù)，那么他們就無法利用數(shù)據(jù)做出正確的決策。

“信不過”主要是數(shù)據(jù)質(zhì)量和可信度存在問題。比如曾經(jīng)在網(wǎng)易內(nèi)部的某項業(yè)務(wù)中，每周都有10個以上的數(shù)據(jù)質(zhì)量問題被投訴，甚至存在供應(yīng)商數(shù)據(jù)泄露問題……這表明數(shù)據(jù)的質(zhì)量和可信度存在問題。而數(shù)據(jù)的質(zhì)量問題可能包括數(shù)據(jù)缺失、數(shù)據(jù)錯誤、數(shù)據(jù)重復(fù)等，這些問題會導(dǎo)致業(yè)務(wù)人員對數(shù)據(jù)的準(zhǔn)確性產(chǎn)生懷疑，并且會影響他們對數(shù)據(jù)的信任度。數(shù)據(jù)泄露問題則會導(dǎo)致企業(yè)的商業(yè)機密和客戶隱私泄露，嚴(yán)重影響企業(yè)的聲譽和信譽。

“管不住”主要是數(shù)據(jù)不能被有效的管理和控制。比如在某個事業(yè)部的數(shù)據(jù)中臺，78.39%的表占據(jù)了21.63%的存儲空間，然而，這些消耗大量開發(fā)人力、存儲資源和計算資源的數(shù)據(jù)，在30天內(nèi)都沒有一次訪問，導(dǎo)致大量資源浪費。如果數(shù)據(jù)沒有得到有效的管理和控制，就會導(dǎo)致數(shù)據(jù)的不必要復(fù)制、冗余和無用，進而浪費企業(yè)的資源和成本。

總之，數(shù)據(jù)資產(chǎn)質(zhì)量不高是一個嚴(yán)重的問題，DataOps作為一種高效使用數(shù)據(jù)和改進數(shù)據(jù)驅(qū)動決策的新工具受到了普遍的關(guān)注。目前而言，市場上常見的DataOps的實踐，是融合CI/CD能力的數(shù)據(jù)開發(fā)流水線的建立，雖然這種方式規(guī)范了整體數(shù)據(jù)開發(fā)的流程，但是對于滿足數(shù)據(jù)消費需求而言，仍然缺乏必要的約束，也沒有完全解決上述的四個常見問題，因此，需要從更高的維度來尋找解決方案。

網(wǎng)易開創(chuàng)數(shù)據(jù)開發(fā)治理一體化

為了從根本上解決“數(shù)據(jù)貧困”的問題，網(wǎng)易數(shù)帆在數(shù)據(jù)開發(fā)流水線基礎(chǔ)之上，提出了數(shù)據(jù)開發(fā)治理一體化的概念，也就是端到端的DataOps實踐。從字面意思上就能看出，網(wǎng)易數(shù)帆的方式與常規(guī)方式不同的點在于，它將數(shù)據(jù)開發(fā)和數(shù)據(jù)治理完全打通。余利華告訴數(shù)據(jù)猿，很多企業(yè)在做數(shù)據(jù)中臺或搭建數(shù)據(jù)平臺時，數(shù)據(jù)開發(fā)過程和數(shù)據(jù)治理過程是分開的，甚至可能是不同的供應(yīng)商提供的服務(wù)，兩者分開容易導(dǎo)致數(shù)據(jù)標(biāo)準(zhǔn)、元數(shù)據(jù)等存在差異，進而使得業(yè)務(wù)人員在消費數(shù)據(jù)時，找不到數(shù)據(jù)、看不懂?dāng)?shù)據(jù)，出現(xiàn)“數(shù)據(jù)貧困”。網(wǎng)易數(shù)帆提出的端到端的DataOps核心就是12個字：先設(shè)計后開發(fā)、先標(biāo)準(zhǔn)后建模。也就是說，企業(yè)在數(shù)據(jù)開發(fā)之前，需要先考慮清楚需要什么數(shù)據(jù)、如何設(shè)計……然后根據(jù)整體的設(shè)計再進行數(shù)據(jù)開發(fā)。這個過程非常像軟件項目的開發(fā)流程，以終為始，先確定產(chǎn)品的目標(biāo)和需求，以確保開發(fā)過程的正確性和高效性，同時，還可以幫助企業(yè)降低數(shù)據(jù)平臺搭建的成本。

其實，從這12字的核心不難發(fā)現(xiàn)，網(wǎng)易數(shù)帆解決問題的視角更具有全局化。傳統(tǒng)的解決方案是“塊塊”方案或者叫局部視角，而端到端的DataOps是通盤考慮，平臺搭建初期，業(yè)務(wù)方、數(shù)據(jù)架構(gòu)師、數(shù)據(jù)產(chǎn)品開發(fā)人員要進行整體的設(shè)計，在設(shè)計階段就要把業(yè)務(wù)相關(guān)的規(guī)范都沉淀在數(shù)據(jù)標(biāo)準(zhǔn)上，然后再以數(shù)據(jù)標(biāo)準(zhǔn)為核心，自動生成數(shù)據(jù)質(zhì)量稽核規(guī)則，自動生成表的分類分級策略、數(shù)據(jù)脫敏策略、數(shù)據(jù)安全管理策略等——這些都是確保企業(yè)數(shù)據(jù)能夠更好地共享復(fù)用的核心資產(chǎn)。回到文章開篇那家電商公司，如果在進行數(shù)據(jù)開發(fā)前，先有完整的設(shè)計，將標(biāo)準(zhǔn)和規(guī)范率先梳理完成，則后續(xù)的數(shù)據(jù)平臺就不會出現(xiàn)“找不到”數(shù)據(jù)的情況。

從這個邏輯不難發(fā)現(xiàn)，在數(shù)據(jù)開發(fā)治理一體化中，只要是有了設(shè)計、有了標(biāo)準(zhǔn)，后面的開發(fā)和建模過程會非常順暢，而且依照設(shè)計和標(biāo)準(zhǔn)規(guī)范建設(shè)的模型都符合規(guī)范，不需要經(jīng)過評審再改造和重構(gòu)。

對于企業(yè)而言，有了數(shù)據(jù)平臺整體的設(shè)計和標(biāo)準(zhǔn)，后續(xù)的開發(fā)和建模過程的編碼問題都不用擔(dān)心了，甚至完全可以放心地外包給第三方公司去編碼，因為在標(biāo)準(zhǔn)前置的約束下，基本不存在上線之后無窮無盡修改問題的“怪圈”，也基本不存在交付產(chǎn)品不符合規(guī)范和標(biāo)準(zhǔn)的問題，畢竟規(guī)范和標(biāo)準(zhǔn)早已確定。如此一來，企業(yè)就無需再為“數(shù)據(jù)貧困”的問題發(fā)愁，數(shù)據(jù)使用和業(yè)務(wù)運營的效率得以極大提升，開發(fā)成本也將大幅降低。

以終為始思考，研發(fā)團隊效率提升10倍

余利華認(rèn)為，某種意義上，端到端DataOps對于數(shù)據(jù)資產(chǎn)的價值，可以類比為手機領(lǐng)域的“iPhone時刻”，將從根本上改寫數(shù)據(jù)治理的規(guī)則。數(shù)據(jù)開發(fā)治理一體化的核心理念與傳統(tǒng)的解決思路相比，基本可以用“降維打擊”來形容，因為它是從更加全局的角度、以終為始的思考數(shù)據(jù)中臺或數(shù)據(jù)平臺的建設(shè)，而不僅僅糾結(jié)于其中的某一個環(huán)節(jié)。開發(fā)治理一體化，可以帶來多方面的優(yōu)勢：解決了數(shù)據(jù)找得到、看得懂、信得過、管得住的問題，大幅提升了數(shù)據(jù)資產(chǎn)建設(shè)的質(zhì)量和效率，減少因為數(shù)據(jù)錯誤而導(dǎo)致的返工，降低了開發(fā)治理多個團隊之間協(xié)作的難度，所以交付應(yīng)用的效率變得更高了。Gartner預(yù)測，到2025年，相比傳統(tǒng)方式，采用DataOps方式的研發(fā)團隊的效率可以提升10倍。

以網(wǎng)易云音樂為例，采用DataOps開發(fā)治理一體化模式可以實現(xiàn)模型復(fù)用、規(guī)范建設(shè)、規(guī)則覆蓋率等多方面的效率提升：在模型復(fù)用方面，先設(shè)計后開發(fā)極大程度保證了公共層邏輯下沉，可大幅降低指標(biāo)數(shù)量，云音樂模型復(fù)用度從提升4倍，下線 3.4W萬個模型；在規(guī)范建設(shè)方面， 從之前沒有任何安全規(guī)范，到目前字段及指標(biāo)的安全等級完成 100% 設(shè)置；在質(zhì)量方面，規(guī)則覆蓋率大幅度提升，業(yè)務(wù)元數(shù)據(jù)也得到補充，數(shù)據(jù)得到更好用。

從數(shù)據(jù)應(yīng)用的角度，余利華認(rèn)為，開發(fā)治理一體化還提升了管理人員與業(yè)務(wù)團隊的自助數(shù)據(jù)服務(wù)能力。網(wǎng)易數(shù)帆的某客戶，通過從0到1建設(shè)數(shù)據(jù)開發(fā)治理一體化平臺，形成了好用的數(shù)據(jù)資產(chǎn)，目前有200人數(shù)據(jù)分析團隊可以實現(xiàn)自助分析，其中包括高管32人。此外還可以降低數(shù)據(jù)事故發(fā)生概率，提升業(yè)務(wù)合規(guī)能力。目前，網(wǎng)易數(shù)帆在某金融客戶落地了180項標(biāo)準(zhǔn)，幫助客戶有效降低監(jiān)管處罰風(fēng)險。

余利華還向數(shù)據(jù)猿介紹了某電信運營商的案例，來更深入分析數(shù)據(jù)開發(fā)治理一體化所能帶來的優(yōu)勢。

某電信運營商是一家國有企業(yè)，擁有大量的用戶數(shù)據(jù)和運營數(shù)據(jù)。為了更好地管理這些數(shù)據(jù)，該運營商建立了多個數(shù)據(jù)系統(tǒng)，并實施了數(shù)據(jù)治理項目。然而，他們?nèi)匀幻媾R著標(biāo)準(zhǔn)無法落地的困境。其實，該運營商面臨的主要問題是數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量和數(shù)據(jù)開發(fā)規(guī)范只停留在字典層面，無法融入數(shù)據(jù)生產(chǎn)的流程。其次，數(shù)據(jù)質(zhì)量稽核規(guī)則無法和數(shù)據(jù)標(biāo)準(zhǔn)中數(shù)據(jù)元的值域約束打通，數(shù)據(jù)標(biāo)準(zhǔn)中數(shù)據(jù)元跟數(shù)據(jù)建模工具無法聯(lián)動，元數(shù)據(jù)管理中的數(shù)據(jù)安全等級和安全中心的數(shù)據(jù)脫敏也無法聯(lián)動。

為了解決這些問題，該運營商引入了網(wǎng)易數(shù)帆EasyData平臺，實現(xiàn)端到端的DataOps。EasyData平臺的成功應(yīng)用，為該運營商的數(shù)據(jù)治理提供了一個良好的解決方案，也證明了數(shù)據(jù)開發(fā)一體化的實現(xiàn)可以有效地提高數(shù)據(jù)質(zhì)量和開發(fā)效率。該電信運營商借助EasyData平臺，建設(shè)了100余個數(shù)據(jù)質(zhì)量稽核，覆蓋上線作業(yè)數(shù)8000+個，累計支撐自助分析60000+次，消費端及時獲取高質(zhì)量數(shù)據(jù)不再是難題?？梢哉f，EasyData的實施，不僅強化了數(shù)據(jù)治理和管理，還有效地降低了數(shù)據(jù)治理的人工參與，提升了數(shù)據(jù)產(chǎn)出的效率。

當(dāng)然，數(shù)據(jù)開發(fā)治理一體化的優(yōu)勢不僅體現(xiàn)在使用端“降本增效”和數(shù)據(jù)安全規(guī)范上，在研發(fā)效率、數(shù)據(jù)質(zhì)量、自助式服務(wù)、降低數(shù)據(jù)事故等方面，都有自己獨特的優(yōu)勢。

數(shù)據(jù)猿觀察：數(shù)據(jù)開發(fā)治理一體化已成新趨勢

既然數(shù)據(jù)開發(fā)治理一體化的優(yōu)勢如此明顯，那它會成為行業(yè)未來的趨勢嗎？數(shù)據(jù)猿認(rèn)為，可以從以下四個方面思考。

首先，數(shù)據(jù)開發(fā)治理一體化可以提高數(shù)據(jù)質(zhì)量和可靠性。根據(jù)Gartner的報告，數(shù)據(jù)開發(fā)治理一體化的方案，可以將數(shù)據(jù)質(zhì)量問題帶來的損失降至最低，從而提高企業(yè)的決策效率和業(yè)務(wù)效益。

其次，數(shù)據(jù)開發(fā)治理一體化符合法律法規(guī)和市場需求。根據(jù)市場研究機構(gòu)IDC預(yù)測，到2025年，全球數(shù)據(jù)治理和隱私解決方案市場規(guī)模將達到152億美元。數(shù)據(jù)開發(fā)治理一體化可以幫助企業(yè)滿足法律法規(guī)的要求，例如，對個人信息進行保護、合規(guī)地收集和使用數(shù)據(jù)等，提高企業(yè)的競爭力和創(chuàng)新能力。

第三，數(shù)據(jù)開發(fā)治理一體化可以提高數(shù)據(jù)生產(chǎn)的效率和創(chuàng)新能力。根據(jù)Forrester的調(diào)查報告顯示，有超過50%的企業(yè)認(rèn)為數(shù)據(jù)開發(fā)效率和創(chuàng)新能力是他們最關(guān)心的問題。數(shù)據(jù)開發(fā)治理一體化可以提高數(shù)據(jù)效率和創(chuàng)新能力的統(tǒng)一管理，從而提高企業(yè)的競爭力和創(chuàng)新能力。

第四，數(shù)據(jù)開發(fā)治理一體化更加有利于多種新技術(shù)的融合。今年以來，人工智能隨著ChatGPT的火爆而備受關(guān)注，數(shù)據(jù)猿認(rèn)為，無論是通用的大模型還是垂直方向的大模型，它的發(fā)展都離不開企業(yè)大數(shù)據(jù)的支持，而如何利用好企業(yè)本身沉淀的數(shù)據(jù)資產(chǎn)、如何訓(xùn)練輔助自身業(yè)務(wù)的大模型產(chǎn)品，與數(shù)據(jù)開發(fā)、數(shù)據(jù)治理有最直接的關(guān)系，打通企業(yè)的數(shù)據(jù)資產(chǎn)恰恰是數(shù)據(jù)開發(fā)治理一體化的優(yōu)勢所在。

綜合以上四點，如果用一句來總結(jié)，那就是：數(shù)據(jù)開發(fā)治理一體化的模式更加匹配數(shù)據(jù)行業(yè)的未來發(fā)展趨勢，同時也是增強企業(yè)競爭力的“實力工具”。事實上，數(shù)據(jù)開發(fā)治理一體化已經(jīng)被寫入中國信息通信研究院云計算與大數(shù)據(jù)研究所牽頭編制的《DataOps實踐指南（1.0）》之中，該報告指出，集數(shù)據(jù)開發(fā)、治理、運營于一體的DataOps，通過構(gòu)建全局?jǐn)?shù)據(jù)觀測視圖，前置數(shù)據(jù)質(zhì)量管控，可以有效解決以往開發(fā)治理兩張皮、數(shù)據(jù)需求不暢通、產(chǎn)品交付效率低、跨域協(xié)同難推進、開發(fā)成本難管控等問題。

余利華在談到DataOps未來的規(guī)劃時提到了兩個點：一是繼續(xù)做好基礎(chǔ)性的工作，主要是持續(xù)改進用戶體驗和對接更多的數(shù)據(jù)底座，打造實時DataOps等；二是探索數(shù)據(jù)開發(fā)治理一體化與新技術(shù)融合，比如低代碼、AIGC等，通過不斷融合新技術(shù)，實現(xiàn)安全級別的推薦、標(biāo)準(zhǔn)的自動匹配、計算任務(wù)自動生成和糾錯、錯誤的自動診斷等智能治理能力，降低用戶的使用門檻。數(shù)據(jù)猿認(rèn)為，這兩個方向就是網(wǎng)易數(shù)帆“高筑墻、廣積糧”的戰(zhàn)略方向。

在數(shù)字化轉(zhuǎn)型不斷推進、技術(shù)創(chuàng)新日益加速的數(shù)字時代，企業(yè)拼到最后，其實拼的不是數(shù)據(jù)的積累量和技術(shù)迭代的速度，而是數(shù)據(jù)效率。

為了給企業(yè)數(shù)智化提供新思路、新方向，8月10日，網(wǎng)易數(shù)帆攜手中國信通院、生態(tài)合作伙伴和金融、制造等企業(yè)，在北京JW萬豪酒店舉辦主題為“精耕數(shù)智為創(chuàng)新加速——網(wǎng)易數(shù)帆城市行（北京）”的產(chǎn)業(yè)峰會，共同分享數(shù)智技術(shù)的最新進展和行業(yè)實踐經(jīng)驗。

文：贏家 / 數(shù)據(jù)猿

來源：數(shù)據(jù)猿