大數(shù)據(jù)環(huán)境下，居高不下數(shù)據(jù)存儲和計算成本，是每一個企業(yè)數(shù)字化轉(zhuǎn)型過程中繞不開的難題。阿里巴巴也遇到過類似的問題，但憑借著一套沉淀下的方法論和產(chǎn)品，每年為阿里巴巴節(jié)省下數(shù)億元的存儲和計算成本。

本篇，我們就來聊聊阿里巴巴的資源治理方法論和產(chǎn)品Dataphin在這一領(lǐng)域的能力。

資源成本暴漲與阿里巴巴的應(yīng)對之道

數(shù)智時代，海量的數(shù)據(jù)為業(yè)務(wù)創(chuàng)造了巨大的價值，但同時也帶來了不斷上升的計算成本和存儲成本，甚至?xí)霈F(xiàn)“IT成本增速大于業(yè)務(wù)增速”，“賺來的每一分錢都用在了購買服務(wù)器上”的極端情況。

在阿里巴巴的發(fā)展道路上，也遇到過這些問題：

1、數(shù)據(jù)資源完全黑盒。面對海量數(shù)據(jù)資源，沒有統(tǒng)一的資產(chǎn)地圖，不清楚我們有哪些數(shù)據(jù)資源，也不清楚這些資源用在什么地方。

2、數(shù)據(jù)資源量大成本極高。阿里巴巴集團的數(shù)據(jù)量級早就到達了EB量級，如此巨大的數(shù)據(jù)體量，每年的數(shù)據(jù)存儲和計算成本都高達數(shù)十億元。如此巨大的數(shù)據(jù)體量，通過人工的方式去治理，往往導(dǎo)致資源治理效率低，人工成本高。

3、數(shù)據(jù)價值鏈路斷層。這么多的數(shù)據(jù)，最終被哪些業(yè)務(wù)使用，服務(wù)了哪些客戶，也不夠清晰。

為了解決以上問題，阿里巴巴創(chuàng)建了數(shù)據(jù)資源管理平臺（隸屬于數(shù)據(jù)中臺），用于對整個集團數(shù)據(jù)計算和數(shù)據(jù)存儲進行成本統(tǒng)計和優(yōu)化。每年節(jié)約數(shù)億元的數(shù)據(jù)成本，阿里巴巴是怎么做的呢？

為了解決以上三個問題，阿里巴巴采取了以下措施來實現(xiàn)數(shù)據(jù)資源的管理：

1、做好數(shù)據(jù)資源的盤點：包括理解數(shù)據(jù)資源內(nèi)容，和構(gòu)建資源類目兩部分。需要理解全部數(shù)據(jù)資源的業(yè)務(wù)屬性，制定規(guī)范的資源類目，做好數(shù)據(jù)的分類分級，總而言之是要摸清數(shù)據(jù)資源大盤；

2、做好數(shù)據(jù)資源成本的評估：包括追蹤數(shù)據(jù)應(yīng)用和剖析成本價值兩部分。評估數(shù)據(jù)價值需要追蹤數(shù)據(jù)應(yīng)用的全鏈路，盤點出每一份數(shù)據(jù)資源的連接度、貢獻度；剖析成本價值主要從數(shù)據(jù)計算和存儲兩個維度來評估。

阿里巴巴通過以上步驟，將數(shù)據(jù)成本、業(yè)務(wù)收益做到清晰透明可評估，從而可以針對性的對數(shù)據(jù)資源進行運營，降低數(shù)據(jù)成本，提升數(shù)據(jù)效益。

阿里巴巴資源治理方法論

首先，我們來看一下，實現(xiàn)資源治理所要遵循的方法論。

要真正實現(xiàn)資源的治理，降低大數(shù)據(jù)建設(shè)的成本，需要以下兩個關(guān)鍵步驟：

1、對全域的數(shù)據(jù)資源進行成本核算，生成全域的成本賬單，獲得降本目標(biāo)。

1.1、對全域所有數(shù)據(jù)，統(tǒng)一按照計算成本和存儲成本進行核算，生成每一份數(shù)據(jù)資源的成本估算

1.2、對全域所有數(shù)據(jù)，進行治理項檢測，識別出不合理的數(shù)據(jù)資源（如無人訪問的廢棄表）和數(shù)據(jù)任務(wù)（數(shù)據(jù)傾斜），并評估浪費的成本，從而在宏觀的層面，測算出全局可降本的空間。

2、以開發(fā)者個人為核心，推動部門、集團層面的治理優(yōu)化，落實降本行動。

如果只是算出來了賬單，卻沒有后續(xù)的運營手段的話，很難做到降本目標(biāo)的真正落地。所以需要以技術(shù)運營的手段，讓人人形成成本意識，真正參與降本。

2.1、對開發(fā)者、部門進行賬單的匯總，進行總成本、浪費成本的排行并進行通過平臺公示，從而能夠快速找到最需要優(yōu)化的個人和部門的數(shù)據(jù)資源。

2.2、對開發(fā)者的個人資產(chǎn)情況進行打分，如果成本意識低，資源浪費嚴(yán)重，就會導(dǎo)致個人資產(chǎn)健康分數(shù)低，導(dǎo)致該開發(fā)者不能提交新的任務(wù)，從而使其必須進行資源的治理和任務(wù)的優(yōu)化，從而在微觀執(zhí)行層面，真正落實降本的行動。

Dataphin資源治理

在方法論的基礎(chǔ)上，我們還需要一個成熟的產(chǎn)品，來幫助我們快速建立資源治理體系，真正降低我們在大數(shù)據(jù)建設(shè)中的成本。

Dataphin的治理功能，就是阿里巴巴的數(shù)據(jù)資源管理平臺的商業(yè)化版本，具備強大的資源統(tǒng)計分析能力，能智能識別當(dāng)前系統(tǒng)內(nèi)低價值的數(shù)據(jù)資源和數(shù)據(jù)任務(wù)，并進行優(yōu)化提示。

同時Dataphin提供了「治理工作臺」功能， 您可以在「治理工作臺」中，一站式的進行資源的優(yōu)化處理，全局把控計算與存儲成本。

首先，我們先看一下資源治理的應(yīng)用場景，從而對資源治理的價值有一個更直觀的認知。以下是通過Dataphin實現(xiàn)資源治理的一些典型的場景：

場景1：存儲優(yōu)化——長期無人使用的表

大數(shù)據(jù)場景下，一個公司往往有上萬張表，隨著業(yè)務(wù)的變更和人員的流動，一些業(yè)務(wù)表逐漸就無人使用，同時因為多個分區(qū)進行存儲，會一直占著大量的存儲資源。比如一些公司的原始數(shù)據(jù)，一個分區(qū)可能就有1T，但是業(yè)務(wù)每次都只會用最新的分區(qū)，就會導(dǎo)致大量的歷史分區(qū)的存儲浪費，可以設(shè)置分區(qū)的過期策略，對歷史分區(qū)進行下線操作。

Dataphin資源治理功能，可以自動發(fā)現(xiàn)無人使用的數(shù)據(jù)表或其他異常數(shù)據(jù)表，并在「治理工作臺」進行提醒和展示。您可以在治理工作臺查看相應(yīng)數(shù)據(jù)表，并采取相應(yīng)的措施（如表下線、設(shè)置生命周期等）。

場景2：計算優(yōu)化——異常計算任務(wù)

計算資源的重要價值和昂貴成本，需要每個任務(wù)都按需使用。而在實際的業(yè)務(wù)開發(fā)過程中，存在大量的異常計算任務(wù)，浪費了大量的計算資源，如暴力掃描（掃描大量分區(qū)）、數(shù)據(jù)膨脹（數(shù)據(jù)產(chǎn)出遠遠大于輸入）、數(shù)據(jù)傾斜（部分節(jié)點處理時間過長）等情況。比如發(fā)現(xiàn)數(shù)據(jù)的輸出遠遠大于數(shù)據(jù)的輸入，可能就是存在數(shù)據(jù)膨脹的問題（比如使用了full join），這時候就需要對任務(wù)進行優(yōu)化，以優(yōu)化性能。

Dataphin的資源治理功能，對任務(wù)的執(zhí)行進行了全鏈路的監(jiān)控，自動發(fā)現(xiàn)這些異常的計算任務(wù)，并在「治理工作臺」進行提醒和展示。您可以在治理工作臺查看相應(yīng)任務(wù)，并采取相應(yīng)的措施（對相應(yīng)的任務(wù)進行代碼優(yōu)化、下線等操作）。

產(chǎn)品能力介紹

1、使用流程

下面我們看一下資源治理模塊的詳細流程圖：

*虛線框的流程為可選流程

可以看到流程主要分為4步：

1、管理員制定治理規(guī)則。是正式治理前的一些準(zhǔn)備工作，因為Dataphin內(nèi)置了眾多規(guī)則，所以這一部分是可選的，包括元數(shù)據(jù)注冊、治理項管理、推送管理等功能。

2、數(shù)據(jù)負責(zé)人執(zhí)行具體的資源治理。數(shù)據(jù)負責(zé)人登錄系統(tǒng)，對具體的存儲資源和計算資源進行優(yōu)化。

3、管理員定期查看治理效果。管理員通過對治理效果進行分析和查看，了解當(dāng)前的資源現(xiàn)狀和治理效果，包括資源分析、治理分析、治理效果等功能。

4、管理員優(yōu)化治理流程，提升后續(xù)治理效果。管理員根據(jù)上一步的治理效果，優(yōu)化整個治理流程，比如增加新的治理項、增加新的推送任務(wù)、單獨通知重點項目負責(zé)人等。

2、產(chǎn)品功能

模塊包括主要包括 資源管理、 治理概覽、 治理工作臺、 治理項管理、 回收站等功能：

· 資源管理主要用于資源分析。資源分析是從全局視角為您展示資源消耗、資源消耗增速、資源消耗分布及資源治理概況。

· 治理概覽由治理分析和治理效果組成。治理分析針對全局進行問題診斷、待治理問題點的分析。治理效果助您分析治理后效果，評定治理情況、推動治理優(yōu)化。

· 治理工作臺由我的治理和項目治理組成。我的治理面向當(dāng)前登錄用戶，根據(jù)其所參與和所負責(zé)的項目，為您提供高效快捷的治理入口和能力。項目治理面向當(dāng)前登錄用戶，根據(jù)其所參與和所負責(zé)項目的信息進行管理。

· 治理項管理由元數(shù)據(jù)注冊、治理項管理、推送管理、任務(wù)管理組成。您可以自定義創(chuàng)建治理項、發(fā)起推送、查看任務(wù)執(zhí)行，也可以使用系統(tǒng)內(nèi)置的通用治理項。

· 回收站將您在治理工作臺中刪除或下線的表格暫時存留起來，以防止對數(shù)據(jù)的誤操作，支持對表格的恢復(fù)和徹底刪除。

3、特點優(yōu)勢

· 內(nèi)置治理項，開箱即用：Dataphin對其系統(tǒng)內(nèi)部的數(shù)據(jù)生產(chǎn)和存儲都進行了元數(shù)據(jù)的采集，同時內(nèi)置了最常見的存儲和計算治理項，確保開箱即用，可以快速看到全局的資源情況，并進行相應(yīng)的優(yōu)化分析。

· 治理項支持靈活自定義：Dataphin同時支持客戶自定義治理項和治理元數(shù)據(jù)，實現(xiàn)更加靈活的治理場景，比如想進行小表格的檢測，就可以新建治理項【小于1MB的表】，從而自動檢驗出這部分的數(shù)據(jù)表，并進行針對性治理。

· 密切結(jié)合數(shù)據(jù)生產(chǎn)場景：Dataphin的治理模塊與數(shù)據(jù)研發(fā)模塊、數(shù)據(jù)資源模塊進行了緊密的結(jié)合。針對檢驗出來的治理事項，可以直接在治理工作臺進行處理，直接在研發(fā)任務(wù)和資產(chǎn)存儲等方面生效，從而做到一站式資源治理工作。

未來展望

隨著數(shù)據(jù)的不斷累積和業(yè)務(wù)的不斷發(fā)展，數(shù)據(jù)的體量將會變得越來越大，隨之而來的是龐大的成本，也成為了大數(shù)據(jù)建設(shè)中越來越無法忽視的問題。

站在整體功能的角度來看，從新建治理項，到具體資源的優(yōu)化，再到治理結(jié)果的分析，當(dāng)前Dataphin已經(jīng)有了比較完善的資源治理體系。但是基于客戶資源治理場景的多樣性，有了更多的思考。

1、對Hadoop等新引擎的支持。原有的治理模塊和阿里云的云上資源緊密結(jié)合，僅能對云上環(huán)境實現(xiàn)完整的治理操作。對其他引擎，比如Hadoop，當(dāng)前僅支持部分核心流程，后續(xù)版本中逐步實現(xiàn)對Hadoop體系治理需求的完整支持。

2、治理和研發(fā)更緊密結(jié)合，確保資源治理效果。當(dāng)前治理只是對負責(zé)人進行提示，在團隊規(guī)模大、數(shù)據(jù)體量大的條狀態(tài)下，比較難有較強的約束力。后續(xù)會推出嚴(yán)格模式，開啟后，當(dāng)個人資源浪費過多，健康分過低時，會直接跳轉(zhuǎn)到治理模塊，完成資源的治理后，才能執(zhí)行新的開發(fā)任務(wù)。從而關(guān)注每個人的成本意識，讓企業(yè)實現(xiàn)降本增效。

來源：數(shù)據(jù)猿