【案例】某城商行——數據平臺建設項目

東方金信案例大數據金融監(jiān)管

原創(chuàng) 東方金信 | 2017-06-22 08:00

【數據猿導讀】隨著城商行業(yè)務的發(fā)展，銀行內部業(yè)務系統(tǒng)的處理日益加重，處理邏輯日益復雜。若以傳統(tǒng)方式直接從數據來源系統(tǒng)供給分析類業(yè)務系統(tǒng)，而又不影響各個業(yè)務系統(tǒng)的處理效率已經不現實

本篇案例為數據猿推出的大型“金融大數據主題策劃”活動（查看詳情）第一部分的系列案例/征文；感謝 東方金信 的投遞

作為整體活動的第二部分，2017年6月29日，由數據猿主辦，上海金融行業(yè)信息協會、互聯網普惠金融研究院聯合主辦，中國信息通信研究院、大數據發(fā)展促進委員會、上海大數據聯盟、首席數據官聯盟、中國大數據技術與應用聯盟協辦的《「數據猿·超聲波」之金融科技·商業(yè)價值探索高峰論壇》還將在上海隆重舉辦【論壇詳情丨上屆回顧】

在論壇現場，也將頒發(fā)“技術創(chuàng)新獎”、“應用創(chuàng)新獎”、“最佳實踐獎”、“優(yōu)秀案例獎”四大類案例獎

來源：數據猿丨投遞：東方金信

隨著城商行業(yè)務的發(fā)展，銀行內部業(yè)務系統(tǒng)的處理日益加重，處理邏輯日益復雜。若以傳統(tǒng)方式直接從數據來源系統(tǒng)供給分析類業(yè)務系統(tǒng)，而又不影響各個業(yè)務系統(tǒng)的處理效率已經不現實。此外，直接向分析類業(yè)務系統(tǒng)提供來源系統(tǒng)數據，則使他們之間耦合度過高，不利于系統(tǒng)的維護和工作開展。

我們通過數據平臺建設，應用咨詢、規(guī)劃、部署對數據規(guī)范化定義，實現數據的唯一性，準確性，完整性，規(guī)范性和實效性。實現數據的共享共用，解決數據層面的孤島問題。整合銀行各個業(yè)務系統(tǒng)，形成數據中性。不同的業(yè)務分布在網絡的不同位置，沒有形成邏輯和物理的數據集中，給數據共享、數據管理和數據應用帶來很多不便。

因此需要整合各個業(yè)務系統(tǒng)，建立數據中心，物理和邏輯的將數據集中起來，同時數據中心起到了物理隔離生產系統(tǒng)，減輕對生產系統(tǒng)壓力，提升效率。

周期/節(jié)奏

2016年7月至11月，我公司根據銀行用戶需求，完成了銀行數據倉庫的數據模型建設工作，其中包含了銀行的存款、貸款、銀行卡、財務、客戶等業(yè)務，滿足了行內大部分業(yè)務系統(tǒng)的應用需求，目前已在生產系統(tǒng)正式運行。

期間，解決了ETL調度系統(tǒng)跑批時間較慢的問題，按照分批定時的方式，將作業(yè)分批執(zhí)行，合理安排跑批時間，使問題得以解決。

2016年7月至10月，完成了管理駕駛艙系統(tǒng)建設工作，其中包含了40個指標的開發(fā)，及管理駕駛艙系統(tǒng)前端界面的開發(fā)工作。

以核心系統(tǒng)，信貸系統(tǒng)等主要來源系統(tǒng)為主要數據來源，實現如何將管理經驗信息化，如何應對監(jiān)管要求，如何體現管理中股東的利益，如何識別、規(guī)避和管理的各類風險、如何實現以客戶為中心的體系、如何建立銀行全面績效系統(tǒng)等基本目標，建設使領導能夠及時了解資產變化情況、及時掌握銀行風險狀況，為決策者提供數據方面的參考依據。

2016年7月至11月，根據行內報表需求，完成了106張新報表的程序開發(fā)與前臺界面設計工作。支持在規(guī)定的批處理時間窗口（Batch Window）內能夠完成數據加載工作，滿足日常數據加載的性能需求；實時調度，包括結合審批流程發(fā)起實時調度，結合ODS滿足部分準實時調度需求；能夠支持有效的應用程序開發(fā)模式，提高開發(fā)效率，盡量減少應用開發(fā)成本；減少系統(tǒng)維護的復雜性，支持后續(xù)增加新數據或功能的開發(fā)工作；和上下游系統(tǒng)接口的松耦合設計，避免上下游系統(tǒng)的變更導致ETL程序本身頻繁變更；利于擴展，當ODS需要進行擴展時，ETL平臺能夠很好的支持。

客戶名稱/所屬分類

某城商行/數據平臺

任務/目標

重點完成銀行數據平臺建設，包括數據倉庫、報表平臺、管理駕駛艙等模塊。

1、數據倉庫需求

數據倉庫建設的目的是為業(yè)務應用系統(tǒng)提供基礎分析數據；

（1）標準化和規(guī)范化，對各源系統(tǒng)代碼進行標準化處理，對數據格式進行規(guī)范化處理

（2）數據的必要整合，對源系統(tǒng)進行整合、拆分，以達到應用方便、高效為目的

（3）機構的統(tǒng)一，將各源系統(tǒng)機構編碼進行統(tǒng)一，平臺提供統(tǒng)一基線機構，在整合中進行轉換

（4）實體設計基本要求，所有實體增加字段：源系統(tǒng)數據時間、源系統(tǒng)標識、數據加載時間

2、管理駕駛艙建設需求

結合核心系統(tǒng)，信貸系統(tǒng)，總賬，財務系統(tǒng)等業(yè)務系統(tǒng)的數據，如何把管理經驗信息化，如何應對監(jiān)管要求，如何體現管理中的股東利益，如何識別、規(guī)避和管理各類風險，如何為客戶提供恰當的服務，如何將產品定價，以及如何建立銀行全面績效體系，如何輔助管理部門和領導進行決策，如何為各業(yè)務部門提供精確業(yè)務信息。

根據以上這些目標，建設管理駕駛艙系統(tǒng)，使管理者能夠通過管理駕駛艙系統(tǒng)，及時了解資產增減變化情況，掌握全行風險狀況，為決策提供數據方面的依據。

除了保證數據的準確性，重點關注系統(tǒng)的界面風格，讓領導能夠清晰的看到每一個指標的數據展現情況。同時為后續(xù)系統(tǒng)的擴展預留通道，后續(xù)可以集成短信，郵件等

3、報表平臺建設需求

（1）保證報表平臺數據的準確性，

（2）支持在規(guī)定的批處理時間窗口內能夠完成數據加載工作，滿足日常數據加載的性能需求；

（3）業(yè)務人員能夠及時準確的查詢報表

（4）當有新數據需求時，科技人員能夠高效、準確的開發(fā)新報表

（5）減少系統(tǒng)維護的復雜性，支持后續(xù)增加新數據或功能的開發(fā)工作；

（6）和上下游系統(tǒng)接口的松耦合設計，避免上下游系統(tǒng)的變更導致ETL程序本身頻繁變更；

挑戰(zhàn)

1.公司與用戶之間的信任度不高，并且用戶在技術方面有一定的局限性，通過我們的實施策略，達到一做一匯報的原則，并定期對用戶進行培訓，是用戶更加的了解與信任公司，最終此問題得以解決。

2.ETL調度跑批時間較慢的問題，不能達到用戶在上班時查到有效數據，在一定程度上影響了業(yè)務人員的需求，公司方面采用將調度作業(yè)分批定時的方式進行跑批，并增加了運行內存，最終，跑批時間控制在用戶上班前半小時完成。

3.執(zhí)行程序時，部分主要的大表，運行時間較長，采用分區(qū)表的方式，以及調整加載策略的方式，最大程度的調整大表執(zhí)行時間，使整體運行時間縮短到理想狀態(tài)。

實施過程/解決方案

數據平臺主要由貼源區(qū)、整合區(qū)、集市區(qū)、應用區(qū)、四部分組成，并制定相應數據標準、應用規(guī)范及數據安全管理體系，總體框架圖如下：

東方金信案例_大數據_金融_監(jiān)管-1

（一）數據源層

數據源層是基礎數據來源，包括銀行的核心數據、信貸數據、財務數據、網銀數據以及其它數據。

（二）數據處理層

在源數據加載到模型庫之前，對數據融合清洗，進行全面的質量稽查、標準化、數據歸集關聯清洗、質量監(jiān)測、數據比對，進行數據質量提升幾個功能模塊。

（三）數據服務層

數據服務層通過對多源數據服務化，形成各類服務引擎，查詢引擎、報表引擎、分析引擎，給綜合統(tǒng)計分析系統(tǒng)提供安全的數據服務。

（四）數據應用層

應用層通過開放服務接口的方式向各應用系統(tǒng)提供安全的數據共享服務。

（五）標準體系、安全體系及運維支撐體系

標準體系、安全體系及運維支撐體系為我行數據平臺的建設提供標準支撐、安全支撐及后續(xù)的運維支撐，以保證整個項目的順利開展。

總體架構圖：

東方金信案例_大數據_金融_監(jiān)管-2

結果/效果總結

階段效果

（一）數據倉庫

1、入倉

（1）入倉表統(tǒng)計

目前銀行業(yè)務系統(tǒng)有35個系統(tǒng)（1548張表）入倉，村鎮(zhèn)銀行有8個系統(tǒng)（728張表）入倉；

（2）存儲策略

全量：在線只保存一天的數據、歷史數據文件存儲

增量：在線永久存儲數據

2、基礎模型

（1）主題分類

數據倉庫基礎層模型建設主要分為六個主題，共68張表：

參數主題：8張表

協議主題：38張表

產品主題：4張表

財務主題：2張表

事件主題：14張表

機構主題：1張表

以上六個主題包括我行存款、貸款、卡、總賬相關業(yè)務，覆蓋了大部分業(yè)務范圍；

（2）存儲策略

全量表：數據倉庫中存儲每月底加當前的數據

增量表：存儲當前的最新數據

賬戶類：采用歷史拉鏈的方式存儲

3、匯總層

為了讓基礎層模型得到有效的利用，在模型的基礎上建設了匯總層，主要是一些重要數據的匯總加工，滿足了管理駕駛艙系統(tǒng)的使用，同時也滿足后續(xù)的報表系統(tǒng)，其他有需求的下游應用系統(tǒng)使用。

匯總層目前完成了5張匯總表的建設，并保證了數據的準確性：

存款主題匯總表：17個指標

貸款主題匯總表：13個指標

盈利主題匯總表：3個指標

存款主題積數表：該表統(tǒng)計了存款賬戶表中重要的指標字段，并將余額的月積數、季積數、年積數及余額的月日均、季日均、年日均等數據做了匯總統(tǒng)計

貸款主題積數表：同理于存款主題積數表

匯總層的維度：按照時間、機構、幣種統(tǒng)計；

頻率：每日數據

存儲策略：每日切片式存儲

4、出倉

出倉數據以數據文件的形式發(fā)送至對方服務器

本行出倉系統(tǒng)：11個系統(tǒng)（435張表）出倉；

村鎮(zhèn)銀行出倉系統(tǒng)：3個系統(tǒng)（89張表）出倉；

5、ETL調度

為了能夠高效的處理數據以及及時了解數據的運行情況，我們自主研發(fā)了ODS平臺調度系統(tǒng)，通過該系統(tǒng)，可以通過將數據進行調度，并且監(jiān)控數據的運行情況及數據的準確性；

每一個出現錯誤的作業(yè)，可以查看調取該作業(yè)的腳本，通過日志查看報錯的原因，以便及時解決問題；

除此之外，ODS調度系統(tǒng)還可以監(jiān)控整個平臺的運行情況，包括服務器的運行情況監(jiān)控，作業(yè)的運行時長，錯誤作業(yè)的統(tǒng)計等功能；

根據不同的需求，可以自定義批量作業(yè)的運行時間，防止因多個作業(yè)同時運行引起的通道堵塞問題。

6、短信模塊

為了隨時了解數據的運行情況，開發(fā)小組進行了短信通知模塊的開發(fā)，將各系統(tǒng)的入倉時間、結束時間，報錯信息，以及批量運行完成后各空間的剩余情況以短信的形式進行告知。

7、數據質量檢查

每月定時檢查數據倉庫中的數據標準情況，目前每月初手工統(tǒng)計截止到上月末的數據質量情況；分別檢查各業(yè)務系統(tǒng)中每張入倉表的標準情況，包括入倉表比例，表注釋，字段注釋等情況的檢查；

（二）管理駕駛艙

1、管理駕駛艙實施成果

管理駕駛艙系統(tǒng)目前有5個主題，合計38個指標，覆蓋了銀行存款，貸款，不良貸款，盈利等重點關注的大部分指標，詳細如下：

存款主題：17個指標

貸款主題：13個指標

盈利主題：3個指標

流動性主題：3個指標

資本充足率主題：2個指標

（三）報表平臺

建設全行統(tǒng)一的報表平臺，確保了數據的準確性，支持全行業(yè)務人員開展統(tǒng)計分析工作，并為本行的經營決策提供數據支持；

報表平臺目前總計206張報表，其中101張報表滿足上線條件，現已確認口徑，完成了報表開發(fā)及數據核對工作

根據統(tǒng)計，現有8個部門正在使用報表平臺，其中計劃財務部（使用66張）、內審稽核部（使用41張）使用報表數及使用頻率較多

整體評估

（一）建立了一套適用于銀行大數據應用和發(fā)展的標準規(guī)范體系，為將來大數據實踐的不斷完善和擴展打下良好的基礎。

（二）統(tǒng)一了大數據采集平臺，重塑數據來源通道，一次采集全部公用，減少工作人員重復采集的人力支出，規(guī)范了數據入口和出口。

（三）通過標準規(guī)范指導下的數據清洗融合，將高質量的多源異構數據進行統(tǒng)一存儲和管理，為進一步更加精準的數據分析、挖掘預測創(chuàng)作了條件。

（四）大數據基礎支撐平臺是共用的基礎技術平臺，為后續(xù)應用發(fā)展提供了技術支撐，降低了數據協調費用，大大降低系統(tǒng)建設成本。

（五）通過標準規(guī)范建設、數據治理和大數據技術的支撐，構建數據庫，為銀行的風險控制、成本控制、精準營銷等提供了有力支撐。

企業(yè)介紹：

北京東方金信科技有限公司（后簡稱東方金信）成立于2013年2月，是一家專注于大數據平臺和大數據解決方案的國內領先企業(yè)，擁有ISO9001和CMMI3認證，是首批通過工信部數據中心聯盟大數據基礎能力和性能雙認證的企業(yè)，參與和編寫中國大數據標準和安全綱要、區(qū)域大數據評價標準和大數據十三五規(guī)劃等頂層設計綱要。是中國數據中心聯盟理事單位，中國大數據產業(yè)生態(tài)聯盟理事單位，清華大學大數據產業(yè)聯合會理事單位，中國支付清算協會金融科技專業(yè)委員會成員單位，中國大數據50強企業(yè)，IBM中國區(qū)大數據戰(zhàn)略合作伙伴，Oracle金牌合作伙伴，Gartner國際主流Hadoop發(fā)行版廠商，中關村高新技術企業(yè)，國家高新技術企業(yè)。

東方金信的核心產品基于Hadoop分布式架構的大數據平臺，專注于實現企業(yè)級高性能分布式大數據解決方案。公司核心產品海盒大數據產品套件包括了海盒大數據平臺、海盒分布式關系型數據庫、海盒人工智能分析平臺、海盒分布式內存系統(tǒng)、海盒大數據BI系統(tǒng)、海盒大數據開發(fā)平臺和海盒數據實時同步工具，涵蓋了大數據產業(yè)鏈的數據采集、數據存儲、數據管理、數據計算、數據分析挖掘、數據應用與數據展示的全部環(huán)節(jié)，提供高性能的海量數據處理能力，并且具有高可靠的安全管理系統(tǒng)和豐富的圖形化交互界面，可以為企業(yè)級客戶提供高效的一站式分布式大數據解決方案。

目前，東方金信公司已在政府、金融、工業(yè)、健康、電信等多個行業(yè)領域實現大數據戰(zhàn)略布局，服務過的客戶項目多數成為大數據典型案例和行業(yè)標桿。

歡迎更多大數據企業(yè)、大數據愛好者投稿數據猿，來稿請直接投遞至：tougao@datayuan.cn

來源：數據猿

收藏分享

聲明：數據猿尊重媒體行業(yè)規(guī)范，相關內容都會注明來源與作者；轉載我們原創(chuàng)內容時，也請務必注明“來源：數據猿”與作者名稱，否則將會受到數據猿追責。