2022年10月，中國(guó)人民銀行正式發(fā)布了《關(guān)于開(kāi)展深化金融科技應(yīng)用推進(jìn)金融數(shù)字化轉(zhuǎn)型提升工程的通知》，從“加快數(shù)字化基礎(chǔ)能力建設(shè)，提升數(shù)字金融核心競(jìng)爭(zhēng)力”、“筑牢依法合規(guī)安全底線，提升數(shù)據(jù)要素綜合應(yīng)用水平”、“發(fā)揮數(shù)字技術(shù)驅(qū)動(dòng)作用，提升金融服務(wù)的可得性公平性”、“強(qiáng)化金融科技手段運(yùn)用，增強(qiáng)敢貸愿貸能貸會(huì)貸能力”、“深化金融科技多向賦能，提升公共領(lǐng)域金融服務(wù)質(zhì)效”5個(gè)方面規(guī)范了銀行業(yè)金融機(jī)構(gòu)的數(shù)字化轉(zhuǎn)型提升工作，并提出了體系化的要求。

同時(shí)，在ABCD（人工智能、區(qū)塊鏈、云計(jì)算、大數(shù)據(jù)）技術(shù)的創(chuàng)新驅(qū)動(dòng)下，越來(lái)越多的商業(yè)銀行開(kāi)啟數(shù)字化轉(zhuǎn)型之路。數(shù)字技術(shù)與金融的結(jié)合改變了傳統(tǒng)的金融機(jī)構(gòu)業(yè)務(wù)模式，新興金融科技逐漸應(yīng)用到客戶服務(wù)、業(yè)務(wù)受理、信貸流程、運(yùn)營(yíng)管理、風(fēng)險(xiǎn)管理和經(jīng)營(yíng)決策等銀行核心業(yè)務(wù)之中。同時(shí)，新冠疫情催化了線上化業(yè)務(wù)辦理的需求，銀行業(yè)服務(wù)朝著數(shù)字化、智能化的階段邁進(jìn)。傳統(tǒng)村鎮(zhèn)銀行的業(yè)務(wù)模式亟需變革，加快落實(shí)數(shù)字化轉(zhuǎn)型，是實(shí)現(xiàn)村鎮(zhèn)銀行業(yè)務(wù)可持續(xù)發(fā)展的重要途徑。

隨著日益復(fù)雜的行業(yè)監(jiān)管與內(nèi)部管理要求，杭州聯(lián)合銀行主發(fā)起村鎮(zhèn)銀行原先基于DB2的數(shù)據(jù)平臺(tái)越來(lái)越無(wú)法滿足現(xiàn)階段高并發(fā)、大批量、跨部門的數(shù)據(jù)需求，由于數(shù)據(jù)質(zhì)量差，指標(biāo)口徑不統(tǒng)一，數(shù)據(jù)開(kāi)發(fā)、數(shù)據(jù)可視化等數(shù)據(jù)生產(chǎn)力工具缺乏，導(dǎo)致開(kāi)發(fā)效率低，為應(yīng)對(duì)監(jiān)管部門數(shù)字化轉(zhuǎn)型要求和杭州聯(lián)合銀行全行數(shù)字化轉(zhuǎn)型的大背景，亟需建立一個(gè)統(tǒng)一的數(shù)據(jù)生產(chǎn)力平臺(tái)來(lái)保障數(shù)字化轉(zhuǎn)型的科技支撐。

實(shí)施時(shí)間：

項(xiàng)目開(kāi)始時(shí)間：2022年6月23日

項(xiàng)目完結(jié)時(shí)間：2023年12月31日

·重要實(shí)施節(jié)點(diǎn)：

第一階段：2022年6月—2022年12月

大數(shù)據(jù)平臺(tái)搭建完成，以數(shù)據(jù)治理、自助分析、監(jiān)管集市場(chǎng)景完成數(shù)據(jù)公共層建設(shè)。

第二階段：2023年1月—2023年6月

深度挖掘村鎮(zhèn)銀行日常經(jīng)營(yíng)數(shù)據(jù)分析場(chǎng)景，實(shí)現(xiàn)統(tǒng)一大數(shù)據(jù)統(tǒng)一經(jīng)營(yíng)管理門戶建設(shè)。

第三階段：2023年7月—2023年12月

拓寬應(yīng)用，向智能化方向進(jìn)一步發(fā)展。

應(yīng)用場(chǎng)景

本次項(xiàng)目包含了多項(xiàng)大數(shù)據(jù)核心技術(shù)及應(yīng)用的建設(shè)：

1、大數(shù)據(jù)開(kāi)發(fā)治理平臺(tái)

① 搭建大數(shù)據(jù)基礎(chǔ)平臺(tái)：將基于DB2的傳統(tǒng)數(shù)倉(cāng)逐步遷移到基于分布式的大數(shù)據(jù)平臺(tái)上，解決DB2上取數(shù)用數(shù)的性能瓶頸問(wèn)題。

② 數(shù)據(jù)治理開(kāi)發(fā)平臺(tái)建設(shè)：建設(shè)全行統(tǒng)一的一站式數(shù)據(jù)治理開(kāi)發(fā)平臺(tái)，統(tǒng)一數(shù)據(jù)開(kāi)發(fā)流程規(guī)范，形成數(shù)據(jù)質(zhì)量監(jiān)控機(jī)制，提升數(shù)據(jù)開(kāi)發(fā)效率和質(zhì)量。

2、數(shù)據(jù)治理

數(shù)據(jù)治理的目標(biāo)是形成一套完善有效的數(shù)據(jù)治理機(jī)制，建立企業(yè)數(shù)據(jù)管理和控制的完整體系。

通過(guò)本期數(shù)據(jù)治理項(xiàng)目，擬對(duì)杭州聯(lián)合銀行主發(fā)起村鎮(zhèn)銀行數(shù)據(jù)治理現(xiàn)狀進(jìn)行梳理和全面評(píng)估，對(duì)比同業(yè)領(lǐng)先實(shí)踐形成差異分析，并制定數(shù)據(jù)治理體系藍(lán)圖和實(shí)施路徑規(guī)劃；搭建全行數(shù)據(jù)治理組織架構(gòu)，制定數(shù)據(jù)治理制度和流程；制定全行主要基礎(chǔ)主題數(shù)據(jù)標(biāo)準(zhǔn)和涵蓋監(jiān)管報(bào)送、經(jīng)營(yíng)管理報(bào)表等應(yīng)用的指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)，建立完整、嚴(yán)格、一致的數(shù)據(jù)定義；設(shè)計(jì)數(shù)據(jù)質(zhì)量檢核規(guī)則，輸出數(shù)據(jù)質(zhì)量報(bào)告，提升數(shù)據(jù)質(zhì)量水平；通過(guò)數(shù)據(jù)治理項(xiàng)目的實(shí)施，鼓勵(lì)行內(nèi)人員積極參與，相互支持，共同成長(zhǎng)。

涉及建設(shè)場(chǎng)景如下：

① 保障機(jī)制

現(xiàn)狀分析及體系規(guī)劃、組織架構(gòu)與職責(zé)、管理辦法及流程

② 數(shù)據(jù)標(biāo)準(zhǔn)

按照本階段監(jiān)管集市建設(shè)范圍，包括EAST5.0、1104、人行金融基礎(chǔ)數(shù)據(jù)采集規(guī)范，構(gòu)建統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)，保障數(shù)據(jù)一致、準(zhǔn)確；

③ 數(shù)據(jù)質(zhì)量

A. 覆蓋EAST5.0、1104、人行金融基礎(chǔ)數(shù)據(jù)采集規(guī)范及其交叉驗(yàn)證類質(zhì)量規(guī)則；

B. 參考村鎮(zhèn)銀行需求，設(shè)計(jì)質(zhì)量檢核報(bào)告，并在BI中進(jìn)行呈現(xiàn)。

3、 監(jiān)管門戶建設(shè)

基于網(wǎng)易數(shù)帆EasyData+有數(shù)BI的功能結(jié)合，以監(jiān)管報(bào)送場(chǎng)景為驅(qū)動(dòng)，初步形成監(jiān)管報(bào)送數(shù)據(jù)的統(tǒng)一管控、統(tǒng)一收集、統(tǒng)一存儲(chǔ)、統(tǒng)一應(yīng)用。協(xié)助村鎮(zhèn)銀行提升監(jiān)管報(bào)送數(shù)據(jù)的準(zhǔn)確性、規(guī)范性、完整性、一致性，提高監(jiān)管報(bào)送工作整體效率，建立全行級(jí)監(jiān)管報(bào)送管理體系。

① 監(jiān)管集市：基于數(shù)據(jù)治理開(kāi)發(fā)平臺(tái)，建設(shè)以業(yè)務(wù)臺(tái)賬為基礎(chǔ)的監(jiān)管集市，從DWD業(yè)務(wù)事實(shí)表-->監(jiān)管臺(tái)賬-->監(jiān)管報(bào)表-->監(jiān)管指標(biāo)，形成一整套完整的監(jiān)管數(shù)據(jù)架構(gòu)體系和可溯源的數(shù)據(jù)血緣鏈路；

② 監(jiān)管門戶：以數(shù)據(jù)填報(bào)、復(fù)雜報(bào)表、數(shù)據(jù)質(zhì)量監(jiān)控、可視化分析等功能為基礎(chǔ)，形成手工臺(tái)賬在線化，監(jiān)管報(bào)表自動(dòng)化，質(zhì)量監(jiān)控可預(yù)警、可溯源，監(jiān)管指標(biāo)可視化、報(bào)送管理流程化等門戶核心功能，提升面向監(jiān)管的決策效率和業(yè)務(wù)合規(guī)性。

4、 自助取數(shù)平臺(tái)建設(shè)

通過(guò)網(wǎng)易數(shù)帆EasyData的統(tǒng)一建模能力，以及有數(shù)BI的自助取數(shù)功能，以村鎮(zhèn)銀行各類日常經(jīng)營(yíng)分析取數(shù)需求場(chǎng)景為驅(qū)動(dòng)，建設(shè)客戶、存款、貸款等主題寬表體系，賦能村鎮(zhèn)銀行自主完成取數(shù)用數(shù)，解決業(yè)務(wù)科技間數(shù)據(jù)需求溝通實(shí)現(xiàn)效率問(wèn)題，并且?guī)椭彐?zhèn)銀行各個(gè)條線形成數(shù)據(jù)文化。

應(yīng)用場(chǎng)景

對(duì)CRM中客戶、存款、貸款明細(xì)報(bào)表進(jìn)行整合，建設(shè)初期寬表體系，配合有數(shù)BI自助取數(shù)功能，搭建自助數(shù)據(jù)平臺(tái)，降低人工取數(shù)難度，提升數(shù)據(jù)準(zhǔn)確性。具體涉及CRM清單報(bào)表32張，重構(gòu)后一階段開(kāi)放14張自助取數(shù)寬表，供業(yè)務(wù)部門取數(shù)使用。

5、實(shí)時(shí)計(jì)算場(chǎng)景建設(shè)

基于網(wǎng)易數(shù)帆EasyData中的實(shí)時(shí)開(kāi)發(fā)平臺(tái)能力，以通知類場(chǎng)景為驅(qū)動(dòng)，實(shí)現(xiàn)對(duì)相關(guān)業(yè)務(wù)決策邏輯規(guī)則、業(yè)務(wù)通知提醒規(guī)則在配置、維護(hù)、擴(kuò)展層面的高效與可靠，進(jìn)一步提升村鎮(zhèn)銀行對(duì)還款行為、資金流向變化等客戶交易行為的洞察與管理。

應(yīng)用場(chǎng)景

① 場(chǎng)景一：大額資金流入流出實(shí)時(shí)提醒。

場(chǎng)景描述：當(dāng)客戶發(fā)生大額資金轉(zhuǎn)入或轉(zhuǎn)出時(shí)，通過(guò)實(shí)時(shí)通知方式，通知客戶所屬客戶經(jīng)理。

通知對(duì)象：村鎮(zhèn)銀行客戶經(jīng)理。

② 場(chǎng)景二：貸款提前還款、結(jié)清提醒。

場(chǎng)景描述：當(dāng)客戶發(fā)生貸款提前還款、提前結(jié)清操作時(shí)，通過(guò)實(shí)時(shí)通知方式，通知所述客戶經(jīng)理。

通知對(duì)象：村鎮(zhèn)銀行客戶經(jīng)理。

③ 場(chǎng)景三：客戶還款提醒、客戶歸還利息提醒。

場(chǎng)景描述：將還款賬戶內(nèi)余額不足的客戶，向客戶經(jīng)理進(jìn)行名單制推送；對(duì)發(fā)出還款通知后主動(dòng)償還利息的客戶，向客戶經(jīng)理進(jìn)行通知推送。

通知對(duì)象：村鎮(zhèn)銀行客戶經(jīng)理。

④ 場(chǎng)景四：貸款余額實(shí)時(shí)查詢。

場(chǎng)景描述：貸款余額支持實(shí)時(shí)查詢，其中支行貸款余額根據(jù)績(jī)效比例進(jìn)行拆分和匯總。

查詢用戶：支行層級(jí)、總行層級(jí)的管理崗。

7、AI場(chǎng)景建設(shè)

以村鎮(zhèn)銀行數(shù)驅(qū)產(chǎn)品場(chǎng)景為主，實(shí)現(xiàn)對(duì)精細(xì)化運(yùn)營(yíng)、客戶價(jià)值提升、風(fēng)險(xiǎn)準(zhǔn)入、個(gè)性化定價(jià)等場(chǎng)景提供AI技術(shù)支撐，進(jìn)一步提升村鎮(zhèn)銀行的管理數(shù)字化水平，為數(shù)驅(qū)產(chǎn)品提供智能化基礎(chǔ)。

應(yīng)用場(chǎng)景

本階段AI擬建設(shè)用戶貢獻(xiàn)度畫(huà)像場(chǎng)景，涉及用戶貢獻(xiàn)度數(shù)據(jù)分析和計(jì)算、用戶貢獻(xiàn)度預(yù)測(cè)模型。

① 模型：用戶貢獻(xiàn)度畫(huà)像

描述：通過(guò)對(duì)用戶在行內(nèi)的行為數(shù)據(jù)分析和統(tǒng)計(jì)，計(jì)算用戶的存款模擬利潤(rùn)、貸款模擬利潤(rùn)、粘度、聯(lián)絡(luò)員標(biāo)識(shí)共四種畫(huà)像標(biāo)簽，并通過(guò)AI算法對(duì)未來(lái)一段時(shí)間的存款模擬利潤(rùn)、貸款模擬利潤(rùn)、粘度三個(gè)標(biāo)簽進(jìn)行預(yù)測(cè)，為客戶經(jīng)理提供業(yè)務(wù)參考。

輸出：畫(huà)像模型和畫(huà)像預(yù)測(cè)模型，以T+1任務(wù)部署在機(jī)器學(xué)習(xí)平臺(tái)上，定期輸出畫(huà)像表到數(shù)倉(cāng)中，供后續(xù)界面化使用。

面臨挑戰(zhàn)

挑戰(zhàn)1：制度落實(shí)缺抓手

制度落地缺少抓手，業(yè)務(wù)部門、技術(shù)部門數(shù)據(jù)治理工作缺乏定量的效果統(tǒng)計(jì)。一缺認(rèn)責(zé)，無(wú)治理對(duì)接人，二缺考核，無(wú)考核則無(wú)重視。

挑戰(zhàn)2：數(shù)據(jù)意識(shí)相對(duì)薄弱

由于戰(zhàn)略屬于高層次規(guī)劃，依賴于銀行內(nèi)部的數(shù)據(jù)文化及數(shù)據(jù)共識(shí)，員工數(shù)據(jù)意識(shí)相對(duì)較為薄弱，部門間數(shù)據(jù)流通不順暢，主觀原因造成數(shù)據(jù)壁壘，影響各部門合力推進(jìn)數(shù)據(jù)工作。按照監(jiān)管要求，銀行業(yè)金融機(jī)構(gòu)應(yīng)當(dāng)建立良好的數(shù)據(jù)文化，樹(shù)立數(shù)據(jù)是重要資產(chǎn)和數(shù)據(jù)應(yīng)真實(shí)客觀的理念與準(zhǔn)則，強(qiáng)化用數(shù)意識(shí)，遵循依規(guī)用數(shù)、科學(xué)用數(shù)的職業(yè)操守。

挑戰(zhàn)3：缺少業(yè)務(wù)導(dǎo)向

數(shù)據(jù)規(guī)范、數(shù)據(jù)質(zhì)量要求應(yīng)該從業(yè)務(wù)層面導(dǎo)向，到技術(shù)層面落地，單純從科技角度開(kāi)展數(shù)據(jù)治理，數(shù)據(jù)難以反映真實(shí)業(yè)務(wù)情況。

挑戰(zhàn)4：只治標(biāo)不治本

監(jiān)管數(shù)據(jù)問(wèn)題很多需要在科技或人工層面通過(guò)映射關(guān)系解決，滿足了報(bào)送需求，但在源系統(tǒng)層面并沒(méi)有規(guī)范流程，導(dǎo)致實(shí)際問(wèn)題無(wú)法解決。

挑戰(zhàn)5：架構(gòu)偏傳統(tǒng)

原先的應(yīng)用大多采用煙囪式架構(gòu)，無(wú)法復(fù)用。性能差、擴(kuò)展難、維護(hù)難、效率低，缺少頂層設(shè)計(jì)和工具支撐。

挑戰(zhàn)6：數(shù)據(jù)應(yīng)用能力不足

缺少全量數(shù)據(jù)分析的架構(gòu)支撐，實(shí)時(shí)應(yīng)用少，缺少智能化業(yè)務(wù)場(chǎng)景創(chuàng)新。

挑戰(zhàn)7：數(shù)據(jù)質(zhì)量不佳

指標(biāo)口徑不一致、缺少統(tǒng)一的治理和標(biāo)準(zhǔn)體系建設(shè)，導(dǎo)致數(shù)據(jù)壁壘現(xiàn)象頻發(fā)，各系統(tǒng)、舊數(shù)倉(cāng)各層數(shù)據(jù)交叉取數(shù)，數(shù)據(jù)鏈路不清。

挑戰(zhàn)8：監(jiān)管壓力大

缺失監(jiān)管數(shù)據(jù)集市，存在數(shù)據(jù)缺失補(bǔ)錄，時(shí)效要求高，1104依賴手工臺(tái)賬，可能存在人工加工失誤的風(fēng)險(xiǎn)。

挑戰(zhàn)9：IT人力緊張

業(yè)務(wù)支持強(qiáng)依賴IT團(tuán)隊(duì)，急需平臺(tái)化釋放人力資源，響應(yīng)速度有瓶頸，容易造成業(yè)務(wù)取數(shù)效率低。

數(shù)據(jù)支持

該項(xiàng)目主要會(huì)從核心、信貸、卡、中間業(yè)務(wù)、網(wǎng)銀、增值稅、HR、短信平臺(tái)等系統(tǒng)獲取數(shù)據(jù)，每日處理的源系統(tǒng)導(dǎo)出壓縮包共計(jì)約3GB。

由于銀行的安全要求，不能直接對(duì)接源系統(tǒng)數(shù)據(jù)庫(kù)。由源庫(kù)導(dǎo)出IBM DEL格式的文件，該文件格式用換行符作為行分隔符，用英文逗號(hào)作為列分隔符，每個(gè)字段的首尾均添加雙引號(hào)，從而確保字段內(nèi)容中的換行符和列分隔符不會(huì)影響數(shù)據(jù)解析。若字段內(nèi)容中有雙引號(hào)，則替換為兩個(gè)雙引號(hào)。DEL格式的整體規(guī)則與CSV格式相似，文件入倉(cāng)時(shí)可參考CSV格式處理。

源庫(kù)的每張表導(dǎo)出一個(gè)對(duì)應(yīng)的數(shù)據(jù)文件，同時(shí)生成一個(gè)記錄了導(dǎo)出行數(shù)的校驗(yàn)文件。數(shù)據(jù)入倉(cāng)時(shí)，指定該校驗(yàn)文件，若實(shí)際入倉(cāng)的行數(shù)與校驗(yàn)文件記錄的行數(shù)不一致，則任務(wù)報(bào)錯(cuò)。

每個(gè)系統(tǒng)導(dǎo)出的文件都打包成一個(gè)壓縮包，并添加一個(gè)校驗(yàn)文件，記錄數(shù)據(jù)文件壓縮包的md5值。文件接收后，先對(duì)壓縮包的md5值進(jìn)行校驗(yàn)，校驗(yàn)通過(guò)后解壓成單個(gè)數(shù)據(jù)文件，再分別入倉(cāng)。

數(shù)據(jù)從源系統(tǒng)導(dǎo)出時(shí)，中文字段以GBK的編碼格式存儲(chǔ)。在入倉(cāng)時(shí)轉(zhuǎn)換成UTF-8編碼。

應(yīng)用技術(shù)與實(shí)施過(guò)程

數(shù)字化轉(zhuǎn)型是一個(gè)長(zhǎng)期的過(guò)程，通過(guò)技術(shù)平臺(tái)支撐與核心能力的構(gòu)建，最終需要達(dá)成提升數(shù)據(jù)技術(shù)、沉淀數(shù)據(jù)資產(chǎn)、釋放數(shù)據(jù)價(jià)值、培養(yǎng)數(shù)據(jù)人才的目標(biāo)效果。

網(wǎng)易數(shù)帆經(jīng)過(guò)充分調(diào)研，結(jié)合村鎮(zhèn)銀行業(yè)務(wù)痛點(diǎn)，為杭州聯(lián)合銀行主發(fā)起村鎮(zhèn)銀行量身定制了一整套從技術(shù)平臺(tái)支撐到核心能力構(gòu)建，最終完成數(shù)字化轉(zhuǎn)型的藍(lán)圖規(guī)劃。

圖：村鎮(zhèn)銀行數(shù)字化轉(zhuǎn)型藍(lán)圖

技術(shù)平臺(tái)支撐

考慮到目前發(fā)展的現(xiàn)狀及銀保監(jiān)、人民銀行對(duì)金融業(yè)數(shù)字化轉(zhuǎn)型的要求，村鎮(zhèn)銀行希望引入一套自主可控的大數(shù)據(jù)平臺(tái)，對(duì)傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行替換，實(shí)現(xiàn)數(shù)字化技術(shù)底座的搭建。網(wǎng)易數(shù)帆基于自身產(chǎn)品能力，提出了數(shù)據(jù)中臺(tái)解決方案，該方案主要分為大數(shù)據(jù)集群和大數(shù)據(jù)開(kāi)發(fā)套件兩部分。

在大數(shù)據(jù)集群層面，本項(xiàng)目使用了網(wǎng)易數(shù)帆大數(shù)據(jù)基礎(chǔ)平臺(tái)（NDH）。NDH基于最新開(kāi)源技術(shù)打造，并在Hadoop、Spark、Impala等多個(gè)核心組件做了功能增強(qiáng)，使其具有了自主可控、安全穩(wěn)定、開(kāi)發(fā)便利、智能運(yùn)維等核心特性。

① 自主可控

NDH是整套完全自主掌握核心代碼的大數(shù)據(jù)基礎(chǔ)平臺(tái)。如Hadoop，開(kāi)源了安全回收站、元數(shù)據(jù)分析服務(wù)等特性，保障數(shù)據(jù)安全和平臺(tái)穩(wěn)定性。還有Impala、Spark、Hive等等大數(shù)據(jù)基礎(chǔ)組件均進(jìn)行了源代碼級(jí)別的增強(qiáng)。

② 安全穩(wěn)定

網(wǎng)易數(shù)帆大數(shù)據(jù)基礎(chǔ)平臺(tái)NDH集成了包括Ranger、Kerberos、LDAP等整套安全管理模塊，并不同的組件進(jìn)行了安全穩(wěn)定上的優(yōu)化和增強(qiáng)。

如上圖：HDFS通過(guò)API進(jìn)行數(shù)據(jù)刪除時(shí)(如：Hive Drop Table操作)，數(shù)據(jù)不會(huì)進(jìn)入回收站，導(dǎo)致數(shù)據(jù)開(kāi)發(fā)在誤操作(insert overwrite/ drop table)時(shí)會(huì)誤刪數(shù)據(jù)，通過(guò)增強(qiáng)回收站功能確保數(shù)據(jù)會(huì)先被保存到回收站。

③ 開(kāi)發(fā)便利

NDH還集成了Kyuubi（Kyuubi為基于Spark計(jì)算引擎上構(gòu)建的SQL查詢引擎，支持多租戶隔離等特性），支持SQL on Spark，大大降低了數(shù)據(jù)開(kāi)發(fā)門檻。

④ 智能運(yùn)維

通過(guò)構(gòu)建任務(wù)、主機(jī)、服務(wù)之間的映射關(guān)系，在集群出現(xiàn)異常時(shí)，快速分析導(dǎo)致異常的原因，進(jìn)而進(jìn)行快速處理。

在大數(shù)據(jù)開(kāi)發(fā)套件方面，該項(xiàng)目則是重點(diǎn)使用到了網(wǎng)易數(shù)帆數(shù)據(jù)開(kāi)發(fā)治理平臺(tái)（EasyData），包含其中的子產(chǎn)品實(shí)時(shí)開(kāi)發(fā)以及機(jī)器學(xué)習(xí)平臺(tái)，涵蓋離線開(kāi)發(fā)、實(shí)時(shí)開(kāi)發(fā)以及機(jī)器學(xué)習(xí)算法開(kāi)發(fā)能力等能力，與大數(shù)據(jù)底座一起，完成了數(shù)據(jù)中臺(tái)基礎(chǔ)能力的構(gòu)建。

① 網(wǎng)易數(shù)帆數(shù)據(jù)開(kāi)發(fā)治理平臺(tái)（EasyData）

一站式數(shù)據(jù)開(kāi)發(fā)治理平臺(tái)，覆蓋大數(shù)據(jù)開(kāi)發(fā)，任務(wù)調(diào)度，數(shù)據(jù)質(zhì)量，數(shù)據(jù)治理及數(shù)據(jù)服務(wù)等功能。簡(jiǎn)單可視化的多人協(xié)作管理、開(kāi)發(fā)，有效縮短開(kāi)發(fā)周期；獨(dú)創(chuàng)的數(shù)倉(cāng)模型評(píng)估體系保障建模流程規(guī)范可控；結(jié)構(gòu)化地構(gòu)建統(tǒng)計(jì)指標(biāo)體系，保障指標(biāo)體系唯一可信，避免重復(fù)性建設(shè)。

圖：系統(tǒng)功能示意圖

② 實(shí)時(shí)開(kāi)發(fā)

基于 Apache Flink 構(gòu)建的高性能、一站式實(shí)時(shí)大數(shù)據(jù)處理方案，通過(guò)標(biāo)準(zhǔn) SQL 服務(wù)和更高級(jí)的代碼定制服務(wù)，提供低門檻、專業(yè)化的實(shí)時(shí)計(jì)算集成開(kāi)發(fā)環(huán)境。

圖：產(chǎn)品架構(gòu)圖

③ 機(jī)器學(xué)習(xí)平臺(tái)

基于高性能計(jì)算架構(gòu)和大數(shù)據(jù)底層平臺(tái)構(gòu)建，旨在為AI開(kāi)發(fā)者打造一站式、高性能的分析建模平臺(tái) 功能覆蓋算法開(kāi)發(fā)、模型訓(xùn)練評(píng)估、在線推理預(yù)測(cè)建模全流程。

核心能力構(gòu)建：

本項(xiàng)目從架構(gòu)和場(chǎng)景兩個(gè)方面，對(duì)村鎮(zhèn)銀行數(shù)字化轉(zhuǎn)型進(jìn)行了核心能力的構(gòu)建。

架構(gòu)上包括了數(shù)據(jù)治理、技術(shù)架構(gòu)、數(shù)據(jù)架構(gòu)、業(yè)務(wù)架構(gòu)等。

① 數(shù)據(jù)治理

從數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量?jī)蓚€(gè)角度，結(jié)合數(shù)據(jù)治理體系架構(gòu)，流程制度等規(guī)范的制定，對(duì)村鎮(zhèn)銀行數(shù)據(jù)進(jìn)行了整體評(píng)估及治理。依托于EasyData平臺(tái)數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量模塊，將數(shù)據(jù)治理成果進(jìn)行了落地及監(jiān)控，以數(shù)據(jù)質(zhì)量報(bào)告及流程制度的把控相結(jié)合的方式，幫助村鎮(zhèn)銀行及時(shí)發(fā)現(xiàn)數(shù)據(jù)問(wèn)題，解決數(shù)據(jù)問(wèn)題，最終達(dá)到規(guī)范數(shù)據(jù)標(biāo)準(zhǔn)、提升數(shù)據(jù)質(zhì)量的目的。

② 技術(shù)架構(gòu)

以EasyData平臺(tái)所提供的數(shù)據(jù)傳輸、離線開(kāi)發(fā)、模型設(shè)計(jì)中心、數(shù)據(jù)地圖等功能模塊能力，實(shí)現(xiàn)了從傳統(tǒng)數(shù)倉(cāng)SHELL腳本+存儲(chǔ)過(guò)程開(kāi)發(fā)模式到數(shù)據(jù)中臺(tái)一站式、可視化、可配置開(kāi)發(fā)模式的轉(zhuǎn)變。

另外引入了實(shí)時(shí)開(kāi)發(fā)、機(jī)器學(xué)習(xí)兩大平臺(tái)，實(shí)現(xiàn)了實(shí)時(shí)、機(jī)器學(xué)習(xí)開(kāi)發(fā)技術(shù)架構(gòu)的搭建，為后續(xù)實(shí)時(shí)和算法場(chǎng)景搭建提供了技術(shù)支持。

③ 數(shù)據(jù)架構(gòu)

項(xiàng)目整體建設(shè)按照統(tǒng)一指標(biāo)體系，統(tǒng)一數(shù)倉(cāng)建設(shè)，統(tǒng)一分析平臺(tái)，統(tǒng)一數(shù)據(jù)服務(wù)總體思路來(lái)構(gòu)建數(shù)據(jù)架構(gòu)。

統(tǒng)一指標(biāo)體系

通過(guò)數(shù)據(jù)治理業(yè)務(wù)梳理分析，輸出符合相關(guān)金融監(jiān)管要求的數(shù)據(jù)標(biāo)準(zhǔn)，包括指標(biāo)體系、指標(biāo)清單、指標(biāo)口徑命名、指標(biāo)加工邏輯等。

統(tǒng)一數(shù)倉(cāng)建設(shè)

接入源端業(yè)務(wù)系統(tǒng)數(shù)據(jù)，結(jié)合使用離線開(kāi)發(fā)和實(shí)時(shí)開(kāi)發(fā)，在數(shù)據(jù)平臺(tái)進(jìn)行統(tǒng)一數(shù)倉(cāng)建設(shè)。分為數(shù)據(jù)采集層、數(shù)據(jù)公共層、數(shù)據(jù)應(yīng)用層。

a)數(shù)據(jù)采集層完成對(duì)源數(shù)據(jù)的采集，包括增量、全量、實(shí)時(shí)等采集方式。

b)數(shù)據(jù)公共層進(jìn)行主題域劃分，包括明細(xì)數(shù)據(jù)、維度數(shù)據(jù)、匯總數(shù)據(jù)。

c)數(shù)據(jù)應(yīng)用層包含數(shù)據(jù)集市、實(shí)時(shí)和算法。

統(tǒng)一分析平臺(tái)

統(tǒng)一數(shù)倉(cāng)建設(shè)完成之后，模型支撐應(yīng)用能力逐漸釋放，一方面模型復(fù)用度更高，另一方面快速支撐上層應(yīng)用，比如監(jiān)管上報(bào)，報(bào)表分析，自助取數(shù)，形成高效便捷統(tǒng)一的數(shù)據(jù)分析平臺(tái)。

統(tǒng)一數(shù)據(jù)服務(wù)

通過(guò)平臺(tái)的數(shù)據(jù)服務(wù)模塊，對(duì)外提供統(tǒng)一的數(shù)據(jù)服務(wù)能力，各個(gè)BI前端展示及外部應(yīng)用調(diào)用API接口按需查詢使用數(shù)據(jù)。

在場(chǎng)景方面，本項(xiàng)目規(guī)劃從數(shù)字化合規(guī)、數(shù)字化管理、數(shù)字化運(yùn)營(yíng)、數(shù)字化風(fēng)控四個(gè)方案進(jìn)行構(gòu)建場(chǎng)景化應(yīng)用實(shí)現(xiàn)能力。

① 數(shù)字化合規(guī)

主要以人行金融基礎(chǔ)數(shù)據(jù)上報(bào)、銀監(jiān)EAST5.0、1104上報(bào)等監(jiān)管上報(bào)為內(nèi)容，以網(wǎng)易數(shù)帆有數(shù)BI報(bào)告、門戶為展現(xiàn)形式，構(gòu)建集監(jiān)管數(shù)據(jù)展示、下載、報(bào)備、監(jiān)管數(shù)據(jù)質(zhì)量報(bào)告展示以及監(jiān)管指標(biāo)監(jiān)控等功能為一體的監(jiān)管數(shù)據(jù)門戶。

圖：監(jiān)管門戶原型樣例

② 數(shù)字化管理

在管理角度，后還規(guī)劃建設(shè)各層級(jí)領(lǐng)導(dǎo)駕駛艙、績(jī)效考核應(yīng)用等等。

③ 數(shù)字化運(yùn)營(yíng)

在運(yùn)營(yíng)方面，規(guī)劃從客戶、產(chǎn)品角度進(jìn)行深入分析，并依托有數(shù)BI便捷的跨終端能力（PC、PAD），為村鎮(zhèn)銀行客戶營(yíng)銷等場(chǎng)景提供支持。

④ 數(shù)字化風(fēng)控

在風(fēng)控方面，計(jì)劃結(jié)合業(yè)務(wù)實(shí)際情況，以及機(jī)器學(xué)習(xí)算法為預(yù)測(cè)手段，以短信、報(bào)告、API等形式為風(fēng)險(xiǎn)預(yù)測(cè)、欺詐識(shí)別等等場(chǎng)景需求提供支持。

外部合作

外部合作伙伴：上海熵衍信息技術(shù)有限公司

合作內(nèi)容：1104監(jiān)管報(bào)送咨詢服務(wù)，以下簡(jiǎn)稱監(jiān)管報(bào)送咨詢服務(wù)。

需求概述

本項(xiàng)目基于網(wǎng)易數(shù)帆EasyData+有數(shù)BI的功能，以監(jiān)管報(bào)送場(chǎng)景為驅(qū)動(dòng)，初步形成1104監(jiān)管報(bào)送數(shù)據(jù)的統(tǒng)一管控、統(tǒng)一收集、統(tǒng)一存儲(chǔ)，統(tǒng)一應(yīng)用，協(xié)助杭州聯(lián)合銀行主發(fā)起村鎮(zhèn)銀行提升監(jiān)管報(bào)送數(shù)據(jù)的準(zhǔn)確性、規(guī)范性、完整性、一致性，提高監(jiān)管報(bào)送工作整體效率，建立全行級(jí)監(jiān)管報(bào)送管理體系。

需求詳細(xì)內(nèi)容

根據(jù)聯(lián)合村鎮(zhèn)銀行的實(shí)際監(jiān)管報(bào)送場(chǎng)景，本階段需要完成35張1104報(bào)送報(bào)表業(yè)務(wù)邏輯梳理，并配合網(wǎng)易數(shù)帆完成相關(guān)邏輯在數(shù)據(jù)中臺(tái)的落地。

交付內(nèi)容要求

① 35張1104報(bào)送報(bào)表EXCEL版本業(yè)務(wù)制度建設(shè)，并對(duì)符合監(jiān)管要求的業(yè)務(wù)邏輯準(zhǔn)確性負(fù)責(zé)；

② 35張1104報(bào)送報(bào)表涉及臺(tái)賬模型的設(shè)計(jì)，以及臺(tái)賬到1104報(bào)送報(bào)表的加工邏輯；

③ 臺(tái)賬對(duì)應(yīng)的字段業(yè)務(wù)口徑解釋及符合1104報(bào)表要求的數(shù)據(jù)、枚舉值或碼值表，盡可能與行方已有字段形成映射關(guān)系；

業(yè)務(wù)制度建設(shè)過(guò)程中發(fā)現(xiàn)問(wèn)題的清單，并配合數(shù)據(jù)治理要求給出專家解決建議。

商業(yè)變化

變化1：制度落實(shí)

完善數(shù)據(jù)治理制度，截至2022年底共發(fā)布《數(shù)據(jù)治理管理辦法》《數(shù)據(jù)標(biāo)準(zhǔn)管理細(xì)則》《數(shù)據(jù)質(zhì)量管理細(xì)則》《元數(shù)據(jù)管理細(xì)則》及配套流程共27項(xiàng)，對(duì)數(shù)據(jù)治理各個(gè)環(huán)節(jié)的實(shí)現(xiàn)明確依據(jù)。在全行層面推動(dòng)管理機(jī)制和考核機(jī)制落地，以“數(shù)據(jù)質(zhì)量報(bào)告”得分為抓手，定期對(duì)考核結(jié)果進(jìn)行評(píng)估。通過(guò)2022年10月至2023年6月試行，根據(jù)試行情況修訂制度。

變化2：人人是數(shù)據(jù)管理者

定期進(jìn)行數(shù)據(jù)治理、自助取數(shù)、業(yè)務(wù)流程等專項(xiàng)培訓(xùn)，并形成培訓(xùn)紀(jì)要，尤其是對(duì)客戶經(jīng)理進(jìn)行信貸業(yè)務(wù)專項(xiàng)培訓(xùn)，減少前端數(shù)據(jù)錄入差錯(cuò)問(wèn)題。另外，通過(guò)激勵(lì)模式，將問(wèn)題發(fā)現(xiàn)、主動(dòng)解決數(shù)據(jù)問(wèn)題等指標(biāo)納入績(jī)效考核，作為數(shù)據(jù)質(zhì)量考核的加分項(xiàng)，鼓勵(lì)村鎮(zhèn)銀行積極用數(shù)、主動(dòng)治理。

變化3：業(yè)務(wù)參與力度加強(qiáng)

各村鎮(zhèn)銀行業(yè)務(wù)部門積極配合各項(xiàng)數(shù)據(jù)治理工作及1104專項(xiàng)監(jiān)管線上化報(bào)表工作，集中辦公測(cè)試數(shù)據(jù)問(wèn)題，并討論后續(xù)提升數(shù)據(jù)質(zhì)量的常態(tài)化機(jī)制，尤其是在長(zhǎng)興村鎮(zhèn)銀行建立了“1104監(jiān)管報(bào)送”的標(biāo)桿形象，培養(yǎng)了一批專業(yè)的統(tǒng)計(jì)人員，業(yè)務(wù)與科技間配合更加深入。

變化4：積極推動(dòng)源頭治理

以1104監(jiān)管項(xiàng)目為抓手，上線了10大基礎(chǔ)臺(tái)賬和12項(xiàng)衍生臺(tái)賬，支撐報(bào)表生成，共維護(hù)117項(xiàng)1104字段，推動(dòng)并支持源系統(tǒng)改造，并建立質(zhì)量規(guī)則定期監(jiān)控，防止后續(xù)重復(fù)問(wèn)題的發(fā)生。

變化5：引用網(wǎng)易數(shù)帆大數(shù)據(jù)平臺(tái)

網(wǎng)易數(shù)帆大數(shù)據(jù)平臺(tái)性能強(qiáng)，數(shù)據(jù)反應(yīng)時(shí)效快，基于內(nèi)存的OLAP引擎，查詢速度快，節(jié)約了時(shí)效約50%；分布式架構(gòu)，支持存儲(chǔ)的橫向擴(kuò)展，支持5~10年數(shù)據(jù)存儲(chǔ)；支持離線、實(shí)時(shí)場(chǎng)景、滿足AI應(yīng)用需求。

變化6：數(shù)據(jù)賦能管理決策

利用大數(shù)據(jù)技術(shù)分析和挖掘用戶、場(chǎng)景畫(huà)像等是銀行數(shù)字化智能化的重要應(yīng)用方向，通過(guò)依法合規(guī)的整合行內(nèi)行外數(shù)據(jù)資源，利用機(jī)器學(xué)習(xí)、深度學(xué)習(xí)技術(shù)對(duì)用戶生命周期等進(jìn)行分析和挖掘，在營(yíng)銷業(yè)務(wù)對(duì)客戶經(jīng)理等提供數(shù)據(jù)支撐，包括建設(shè)初步面向用戶的數(shù)據(jù)畫(huà)像和分析標(biāo)簽體系，指導(dǎo)后續(xù)技術(shù)落地。

建設(shè)數(shù)據(jù)分析標(biāo)簽，通過(guò)數(shù)據(jù)客觀刻畫(huà)用戶基礎(chǔ)標(biāo)簽；建設(shè)模型標(biāo)簽，通過(guò)AI技術(shù)挖掘復(fù)雜、潛在用戶行為、畫(huà)像。

變化7：數(shù)據(jù)管理能力提升率為172%

根據(jù)國(guó)標(biāo)、行標(biāo)及金融行業(yè)標(biāo)準(zhǔn)規(guī)則，建立數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量檢核體系，整體提升村鎮(zhèn)銀行數(shù)據(jù)管理能力，針對(duì)涉及的能力項(xiàng)，預(yù)計(jì)總體提升15.5分，提升率為172%，同時(shí)提升數(shù)據(jù)的復(fù)用性，增強(qiáng)數(shù)據(jù)質(zhì)量水平。

2022年10月中旬完成509項(xiàng)數(shù)據(jù)標(biāo)準(zhǔn)，149項(xiàng)公共代碼及915項(xiàng)英文詞根的制定，在大數(shù)據(jù)平臺(tái)進(jìn)行維護(hù)，并進(jìn)行流程化管理；2022年底逐步建立數(shù)據(jù)標(biāo)準(zhǔn)映射關(guān)系，預(yù)計(jì)監(jiān)管數(shù)據(jù)標(biāo)準(zhǔn)化率達(dá)90%，并在大數(shù)據(jù)平臺(tái)進(jìn)行展示。

建立監(jiān)管數(shù)據(jù)質(zhì)量檢核規(guī)則，預(yù)計(jì)覆蓋EAST的檢核規(guī)則共1952條，覆蓋金融基礎(chǔ)數(shù)據(jù)的檢核規(guī)則共2185條。建立監(jiān)管數(shù)據(jù)質(zhì)量檢核監(jiān)控任務(wù)，并生成問(wèn)題數(shù)據(jù)，匯總至數(shù)據(jù)質(zhì)量報(bào)告，并分發(fā)至相關(guān)責(zé)任部門，監(jiān)控質(zhì)量問(wèn)題的落實(shí)和解決，并對(duì)成果進(jìn)行評(píng)價(jià)與考核。

變化8：統(tǒng)一的監(jiān)管集市，建立同源數(shù)據(jù)

建立數(shù)倉(cāng)各層模型建設(shè)規(guī)范，輸出規(guī)范文檔，并在大數(shù)據(jù)平臺(tái)進(jìn)行落地與維護(hù)，預(yù)計(jì)覆蓋9大主題域，明細(xì)層、公共層和應(yīng)用層等多項(xiàng)數(shù)據(jù)模型，完成44張EAST數(shù)據(jù)報(bào)送，18張金融基礎(chǔ)數(shù)據(jù)報(bào)送及25張1104報(bào)表建設(shè)；

在應(yīng)用層建立統(tǒng)一的監(jiān)管集市，按照數(shù)據(jù)標(biāo)準(zhǔn)落標(biāo)，按照數(shù)據(jù)質(zhì)量檢核規(guī)則進(jìn)行校驗(yàn)，提升監(jiān)管數(shù)據(jù)質(zhì)量。

變化9：取數(shù)用數(shù)效率預(yù)計(jì)提升14倍

建立自助取數(shù)寬表層模型建設(shè)方案，輸出規(guī)范文檔，并在大數(shù)據(jù)平臺(tái)進(jìn)行落地與維護(hù)，預(yù)計(jì)覆蓋9大臺(tái)賬，2大主題域，16個(gè)寬表，25項(xiàng)報(bào)表模型；借助低代碼平臺(tái)，支撐我行在營(yíng)銷、風(fēng)險(xiǎn)、客戶和績(jī)效等領(lǐng)域所積累各種個(gè)性化需求，更高效地滿足銀行對(duì)業(yè)務(wù)創(chuàng)新的需求。業(yè)務(wù)團(tuán)隊(duì)和開(kāi)發(fā)團(tuán)隊(duì)得以各司其職，專注“更有價(jià)值、更專業(yè)的事”，實(shí)現(xiàn)“取數(shù)用數(shù)效率預(yù)計(jì)提升14倍，取數(shù)時(shí)間由預(yù)計(jì)7天+降低至0.5天”的效果。

相關(guān)企業(yè)介紹

·網(wǎng)易數(shù)帆

網(wǎng)易數(shù)帆是網(wǎng)易集團(tuán)旗下 TO B 企業(yè)服務(wù)品牌，定位于領(lǐng)先的數(shù)字化轉(zhuǎn)型技術(shù)與服務(wù)提供商，依托網(wǎng)易20余年互聯(lián)網(wǎng)技術(shù)積累，推出三大數(shù)字生產(chǎn)力模型，幫助企業(yè)發(fā)展軟件生產(chǎn)力、數(shù)據(jù)生產(chǎn)力、智慧生產(chǎn)力，沉淀企業(yè)數(shù)字資產(chǎn)，為企業(yè)數(shù)字化轉(zhuǎn)型提質(zhì)增效。目前已服務(wù)不同行業(yè)頭部客戶三百余家。

·杭州聯(lián)合銀行

杭州聯(lián)合銀行，全稱“杭州聯(lián)合農(nóng)村商業(yè)銀行股份有限公司”，是一家立足于杭州本土的地方性銀行，始終以服務(wù)社區(qū)和轄內(nèi)“三農(nóng)”、支持中小微企業(yè)和地方經(jīng)濟(jì)發(fā)展為己任。根據(jù)國(guó)際權(quán)威金融媒體——英國(guó)《The Banker》雜志公布的2018年度全球銀行1000強(qiáng)排名，位列第380位；在中國(guó)銀行業(yè)協(xié)會(huì)公布的商業(yè)銀行穩(wěn)健發(fā)展能力陀螺評(píng)價(jià)體系中，位列城區(qū)農(nóng)商行第7位。

來(lái)源：數(shù)據(jù)猿