過去基于報(bào)表來響應(yīng)業(yè)務(wù)用數(shù)需求的模式變得越來越低效。由此產(chǎn)生各部門間的數(shù)據(jù)定義和實(shí)施方式差異，導(dǎo)致企業(yè)數(shù)據(jù)集市的碎片化，不利于企業(yè)整體的數(shù)據(jù)治理。伴隨而來的一系列問題，例如報(bào)表體系混亂，報(bào)表口徑不一致和不透明，報(bào)表大量重復(fù)開發(fā)，缺乏數(shù)據(jù)價(jià)值管理體系等，嚴(yán)重阻礙了企業(yè)數(shù)字化經(jīng)營的戰(zhàn)略落地。

實(shí)施時(shí)間：

2021年1月—2021年12月

應(yīng)用場(chǎng)景

近幾年，不管是IT還是業(yè)務(wù)，都有數(shù)據(jù)開發(fā)團(tuán)隊(duì)做大量重復(fù)性的提數(shù)和報(bào)表工作，費(fèi)時(shí)費(fèi)人費(fèi)力。現(xiàn)在是數(shù)據(jù)頭條時(shí)代，一方面，把原來堆積的五六千張報(bào)表濃縮成幾十張?bào)w系化報(bào)表；另一方面向業(yè)務(wù)方推出了對(duì)象即數(shù)據(jù)的新概念。舉例來說，基于指標(biāo)名、機(jī)構(gòu)名、產(chǎn)品名等關(guān)鍵字，業(yè)務(wù)不但可以搜索到各種指標(biāo)，還可以搜索到某個(gè)機(jī)構(gòu)、行業(yè)、產(chǎn)品、渠道、客群實(shí)體的最新數(shù)據(jù)展現(xiàn)，例如這個(gè)實(shí)體在領(lǐng)域中的排名、特征標(biāo)簽以及趨勢(shì)變化。目前，行業(yè)已經(jīng)發(fā)展到下一階段——智慧經(jīng)營的時(shí)代，將企業(yè)經(jīng)營和數(shù)據(jù)決策融合在一起，從業(yè)績(jī)檢視出發(fā)，到整個(gè)經(jīng)營診斷，再到方法推薦，最后進(jìn)行效果評(píng)估，形成經(jīng)營的完整閉環(huán)。在數(shù)據(jù)分析演變的過程中，該銀行逐步建設(shè)了很多創(chuàng)新型的數(shù)據(jù)應(yīng)用，例如數(shù)據(jù)異動(dòng)歸因分析、數(shù)據(jù)自助分析、客群經(jīng)營的分析、活動(dòng)效果評(píng)估等。當(dāng)這些應(yīng)用在某個(gè)場(chǎng)景上獲得業(yè)務(wù)方的肯定和歡迎，想要繼續(xù)在其他場(chǎng)景鋪開的時(shí)候，數(shù)據(jù)平臺(tái)的問題就暴露出來了，比如底層寬表的構(gòu)建成本越來越大，并且表與表之間有大量重復(fù)的指標(biāo)。雖然IT團(tuán)隊(duì)做了一系列改造，讓不同的頂層應(yīng)用盡可能共用一套寬表，但仍然面臨新業(yè)務(wù)接入成本過高的問題。因此，廣泛的數(shù)據(jù)服務(wù)需求和數(shù)據(jù)平臺(tái)產(chǎn)能不足的矛盾成為一個(gè)痛點(diǎn)，促使銀行重新思考和規(guī)劃新的指標(biāo)的統(tǒng)一管理和分析平臺(tái)，能夠復(fù)用現(xiàn)有的指標(biāo)，提升IT交付的效率，同時(shí)保證業(yè)務(wù)應(yīng)用的靈活度和良好體驗(yàn)。

面臨挑戰(zhàn)

客戶認(rèn)為要想降低用戶使用數(shù)據(jù)的門檻，首先應(yīng)當(dāng)以指標(biāo)的治理為切入點(diǎn)，因?yàn)橹笜?biāo)是企業(yè)最核心、最重要的數(shù)據(jù)資產(chǎn)。該銀行通過打造統(tǒng)一的指標(biāo)管理和分析平臺(tái)，基于前沿的智能化技術(shù)快速整合、展現(xiàn)、治理和共享高價(jià)值的指標(biāo)資產(chǎn)，打破了以往“業(yè)務(wù)提需求，IT 做開發(fā)”的被動(dòng)響應(yīng)模式，從而讓業(yè)務(wù)方能夠主動(dòng)、快速地找到需要的業(yè)務(wù)指標(biāo)，或者基于現(xiàn)有的指標(biāo)快速派生新的指標(biāo)。此外，系統(tǒng)還能自動(dòng)匹配和推送有價(jià)值的指標(biāo)給業(yè)務(wù)人員，讓使用數(shù)據(jù)變得簡(jiǎn)單和高效。

對(duì)于指標(biāo)的統(tǒng)一管理和分析平臺(tái)的技術(shù)架構(gòu)來說，指標(biāo)加工和查詢引擎是核心組件。從 Hadoop 生態(tài)兼容性、數(shù)據(jù)量、查詢延遲、查詢靈活性、QPS 五個(gè)方面提出了更高要求，另外，服務(wù)商是否具有本地化團(tuán)隊(duì)提供專業(yè)的技術(shù)支持和服務(wù)也是挑戰(zhàn)之一。

應(yīng)用技術(shù)與實(shí)施過程

近幾年，該銀行數(shù)據(jù)分析體系的衍化過程大致可分為三個(gè)階段，第一階段稱為堆砌報(bào)表時(shí)代，不管是IT還是業(yè)務(wù)，都有數(shù)據(jù)開發(fā)團(tuán)隊(duì)做大量重復(fù)性的提數(shù)和報(bào)表工作，費(fèi)時(shí)費(fèi)人費(fèi)力。第二階段稱為數(shù)據(jù)頭條時(shí)代，一方面，把原來堆積的五六千張報(bào)表濃縮成幾十張?bào)w系化報(bào)表；另一方面向業(yè)務(wù)方推出了對(duì)象即數(shù)據(jù)的新概念。舉例來說，基于指標(biāo)名、機(jī)構(gòu)名、產(chǎn)品名等關(guān)鍵字，業(yè)務(wù)不但可以搜索到各種指標(biāo)，還可以搜索到某個(gè)機(jī)構(gòu)、行業(yè)、產(chǎn)品、渠道、客群實(shí)體的最新數(shù)據(jù)展現(xiàn)，例如這個(gè)實(shí)體在領(lǐng)域中的排名、特征標(biāo)簽以及趨勢(shì)變化。第三階段跨越到智慧經(jīng)營的時(shí)代，將企業(yè)經(jīng)營和數(shù)據(jù)決策融合在一起，從業(yè)績(jī)檢視出發(fā)，到整個(gè)經(jīng)營診斷，再到方法推薦，最后進(jìn)行效果評(píng)估，形成經(jīng)營的完整閉環(huán)。在數(shù)據(jù)分析演變的過程中，該銀行逐步建設(shè)了很多創(chuàng)新型的數(shù)據(jù)應(yīng)用，例如數(shù)據(jù)異動(dòng)歸因分析、數(shù)據(jù)自助分析、客群經(jīng)營的分析、活動(dòng)效果評(píng)估等。當(dāng)這些應(yīng)用在某個(gè)場(chǎng)景上獲得業(yè)務(wù)方的肯定和歡迎，想要繼續(xù)在其他場(chǎng)景鋪開的時(shí)候，數(shù)據(jù)平臺(tái)的問題就暴露出來了，比如底層寬表的構(gòu)建成本越來越大，并且表與表之間有大量重復(fù)的指標(biāo)。雖然IT團(tuán)隊(duì)做了一系列改造，讓不同的頂層應(yīng)用盡可能共用一套寬表，但仍然面臨新業(yè)務(wù)接入成本過高的問題。因此，廣泛的數(shù)據(jù)服務(wù)需求和數(shù)據(jù)平臺(tái)產(chǎn)能不足的矛盾成為一個(gè)痛點(diǎn)，促使銀行重新思考和規(guī)劃新的指標(biāo)的統(tǒng)一管理和分析平臺(tái)，能夠復(fù)用現(xiàn)有的指標(biāo)，提升IT交付的效率，同時(shí)保證業(yè)務(wù)應(yīng)用的靈活度和良好體驗(yàn)。

經(jīng)過思考和總結(jié)，該銀行發(fā)現(xiàn)指標(biāo)的統(tǒng)一管理和分析平臺(tái)需要重點(diǎn)解決目前數(shù)據(jù)業(yè)務(wù)面臨的四大痛點(diǎn)。

（1）指標(biāo)標(biāo)準(zhǔn)不一致，例如命名不規(guī)范、口徑不一致，造成指標(biāo)的重復(fù)開發(fā)和數(shù)據(jù)的核對(duì)困難。

（2）數(shù)據(jù)加工成本過高，包括大數(shù)據(jù)集群資源和人力投入的成本，隨著業(yè)務(wù)的快速擴(kuò)展，集群需要擴(kuò)容和搬遷，同時(shí)數(shù)據(jù)團(tuán)隊(duì)陷入大量基礎(chǔ)ETL工作，團(tuán)隊(duì)的產(chǎn)能低下，無法轉(zhuǎn)型到創(chuàng)新應(yīng)用的研究和開發(fā)上。

（3）數(shù)據(jù)加工鏈路復(fù)雜，數(shù)據(jù)治理困難，整體數(shù)據(jù)時(shí)效性得不到保證。

（4）數(shù)據(jù)平臺(tái)能力和應(yīng)用需求脫節(jié)，由于大量依靠IT人力的開發(fā)，缺少自動(dòng)化和智能化的指標(biāo)開發(fā)體系，新應(yīng)用的數(shù)據(jù)接入成本和時(shí)間都非常高。

通過搭建企業(yè)級(jí)統(tǒng)一的指標(biāo)管理和分析平臺(tái)，對(duì)數(shù)據(jù)資產(chǎn)進(jìn)行盤點(diǎn)、聯(lián)接和規(guī)范管理，對(duì)集市模型進(jìn)行統(tǒng)一的治理，對(duì)指標(biāo)開發(fā)流程制定標(biāo)準(zhǔn)規(guī)范，逐步形成"指標(biāo)資產(chǎn)"管理體系，避免指標(biāo)歧義和冗余開發(fā)，確保前端業(yè)務(wù)輕量化。基于 Kyligence 的 AI 智能建模技術(shù)構(gòu)建自動(dòng)化開發(fā)流程，將 IT 團(tuán)隊(duì)從重復(fù)的報(bào)表開發(fā)工作中釋放出來，投入到持續(xù)的平臺(tái)運(yùn)營之中，整合和統(tǒng)一指標(biāo)模型，增強(qiáng)指標(biāo)的共享和擴(kuò)展能力，向報(bào)表、可視化儀表盤、移動(dòng)端、數(shù)據(jù)挖掘等應(yīng)用開放數(shù)據(jù)服務(wù)能力。

（圖片來源：Kyligence）

通過近一年的建設(shè)，平臺(tái)初步形成了以構(gòu)建服務(wù)、查詢服務(wù)、數(shù)據(jù)治理和 AI 能力為核心的中臺(tái)能力：

構(gòu)建服務(wù)：提供了數(shù)據(jù)查詢的自動(dòng)視圖構(gòu)建、Kyligence 的 Cube 自動(dòng)構(gòu)建、任務(wù)的智能任務(wù)管理、智能資源隊(duì)列等功能，實(shí)現(xiàn)指標(biāo)模型的自動(dòng)化構(gòu)建；

查詢服務(wù)：提供異步查詢、主被動(dòng)緩存、降級(jí)下壓、智能聚合等功能，滿足大數(shù)據(jù)量多維查詢場(chǎng)景下快速響應(yīng)與靈活分析的需求；

數(shù)據(jù)治理：以“邊使用邊治理”的理念為驅(qū)動(dòng)，提供指標(biāo)、維度、數(shù)據(jù)時(shí)效等的治理功能，提升數(shù)據(jù)規(guī)范性、減少指標(biāo)和維度的二義性，提升數(shù)據(jù)管理水平。

AI 能力：平臺(tái)以業(yè)務(wù)場(chǎng)景為導(dǎo)向，圍繞指標(biāo)應(yīng)用，提供了算法的接入能力，目前已接入智能預(yù)警、規(guī)則預(yù)警、智能歸因、指標(biāo)推薦等算法，幫助用戶更快定位問題，開展分析。

在此基礎(chǔ)上，平臺(tái)還為第三方提供了開放組件，可提供算法特征、數(shù)據(jù)交換、可視化組件、組件查詢接口等服務(wù)，進(jìn)一步賦能數(shù)據(jù)應(yīng)用，提升效率。

指標(biāo)的統(tǒng)一管理和分析平臺(tái)改變了數(shù)據(jù)的日常開發(fā)模式，以及業(yè)務(wù)用戶的數(shù)據(jù)應(yīng)用模式，降低了數(shù)據(jù)開發(fā)的成本，提升數(shù)據(jù)應(yīng)用的效率：

數(shù)據(jù)開發(fā)周期平均縮短了 3-5 天；

大數(shù)據(jù)報(bào)表開發(fā)人力耗費(fèi)減少 30%；

常規(guī)需求替換率達(dá)到 25% 以上。

目前該平臺(tái)接入指標(biāo) 4000 余個(gè)，維度 500 余個(gè)，基本覆蓋各業(yè)務(wù)條線核心指標(biāo)和分析維度；在線看板 600余個(gè)，月均 UV 1500+，月均 PV 30000+。

商業(yè)變化

首先，指標(biāo)的統(tǒng)一管理和分析平臺(tái)顯著提升了集群資源的利用率。通過規(guī)范的定義和自動(dòng)化的檢測(cè)流程，減少重復(fù)性指標(biāo)的開發(fā)，保證指標(biāo)口徑的一致性，企業(yè)的核心指標(biāo)得到高度復(fù)用。

其次，指標(biāo)的統(tǒng)一管理和分析平臺(tái)能夠增強(qiáng)企業(yè)數(shù)據(jù)治理的能力。以往行內(nèi)建設(shè)的數(shù)據(jù)資產(chǎn)管理平臺(tái)，由于和業(yè)務(wù)脫節(jié)，缺少運(yùn)營意識(shí)，時(shí)間長了往往淪為擺設(shè)?，F(xiàn)在指標(biāo)的統(tǒng)一管理和分析平臺(tái)作為中臺(tái)樞紐，打通了數(shù)據(jù)和應(yīng)用，結(jié)合日常的運(yùn)營和治理，能夠保障業(yè)務(wù)方拿到的數(shù)據(jù)是最新的，口徑是最準(zhǔn)確的，也是唯一的。

最后，針對(duì)前文提到的場(chǎng)景復(fù)制的痛點(diǎn)，由于開發(fā)效率和平臺(tái)資源的限制，無法快速將創(chuàng)新應(yīng)用復(fù)制到各業(yè)務(wù)線場(chǎng)景。指標(biāo)的統(tǒng)一管理和分析平臺(tái)的建設(shè)能夠幫助我們實(shí)現(xiàn)場(chǎng)景復(fù)制產(chǎn)能的大幅度提升，無論是可視化的應(yīng)用，還是分析挖掘的應(yīng)用，都離不開準(zhǔn)確、高質(zhì)量的數(shù)據(jù)支撐。

在平臺(tái)建設(shè)之前，從業(yè)務(wù)方提出指標(biāo)需求到IT交付完成，通常需要耗費(fèi)12個(gè)工作日，其中很多指標(biāo)是重復(fù)開發(fā)，至少要牽涉到三方合作，業(yè)務(wù)方和零售數(shù)據(jù)團(tuán)隊(duì)，還有其他條線IT，溝通成本很高。

當(dāng)平臺(tái)上線后，可以看到效率提升是非常明顯的，協(xié)作效率大大提升，溝通成本顯著降低。

總體來說，該項(xiàng)目的實(shí)踐，改變了數(shù)據(jù)的日常開發(fā)模式，以及業(yè)務(wù)用戶的數(shù)據(jù)應(yīng)用模式，幫助客戶降低了數(shù)據(jù)開發(fā)的成本，提升數(shù)據(jù)應(yīng)用的效率：數(shù)據(jù)開發(fā)周期平均縮短了 3-5 天；大數(shù)據(jù)報(bào)表開發(fā)人力耗費(fèi)減少 30%；常規(guī)需求替換率達(dá)到 25% 以上。目前該平臺(tái)接入指標(biāo) 4000 余個(gè)，維度 500 余個(gè)，基本覆蓋各業(yè)務(wù)條線核心指標(biāo)和分析維度；在線看板 600余個(gè)，月均 UV 1500+，月均 PV 30000+。

相關(guān)企業(yè)介紹

·Kyligence

Kyligence 由 Apache Kylin 創(chuàng)始團(tuán)隊(duì)創(chuàng)建，致力于打造下一代智能數(shù)據(jù)云平臺(tái)，為企業(yè)實(shí)現(xiàn)自動(dòng)化的數(shù)據(jù)服務(wù)和管理?；跈C(jī)器學(xué)習(xí)和人工智能等技術(shù)，Kyligence 從多云的數(shù)據(jù)存儲(chǔ)中識(shí)別和管理最有價(jià)值數(shù)據(jù)，并提供高性能、高并發(fā)的數(shù)據(jù)服務(wù)以支撐各種數(shù)據(jù)分析與應(yīng)用，同時(shí)不斷降低 TCO（總體擁有成本）。

·某大型股份制銀行

某大型股份制銀行是一家全國性股份制商業(yè)銀行，通過百家分行及千家營業(yè)機(jī)構(gòu)為客戶提供多種金融服務(wù)。該行堅(jiān)持不斷深化數(shù)字化經(jīng)營，保證各項(xiàng)業(yè)務(wù)穩(wěn)健增長，為客戶提供了有溫度的金融服務(wù)。

來源：數(shù)據(jù)猿