鏡舟科技案例

本項目案例由鏡舟科技投遞并參與數(shù)據(jù)猿與上海大數(shù)據(jù)聯(lián)盟聯(lián)合推出的《2024中國數(shù)智化轉(zhuǎn)型升級創(chuàng)新服務(wù)企業(yè)》榜單/獎項評選。

在 2017 年建行之初，江蘇蘇商銀行股份有限公司（以下簡稱“江蘇蘇商銀行”）確定“依托數(shù)據(jù)服務(wù)業(yè)務(wù)，科技立行”的發(fā)展戰(zhàn)略，依托 Hadoop 生態(tài)體系搭建數(shù)倉，使用 Hive 進行數(shù)據(jù)加工處理。隨著近 2 年數(shù)據(jù)量快速增長、業(yè)務(wù)場景多樣化發(fā)展，該方案逐漸無法適應(yīng)，暴露的尖銳痛點主要有：

1、數(shù)據(jù)鏈路加工復(fù)雜，導(dǎo)致數(shù)據(jù)開發(fā)和維護成本高。長鏈路下的數(shù)據(jù)口徑容易發(fā)生不一致，導(dǎo)致業(yè)務(wù)數(shù)據(jù)應(yīng)用不準確、用數(shù)需求的反饋通常需要T+1天，難以得到及時滿足

2、大規(guī)模數(shù)據(jù)下的查詢性能不足，隨著外部競爭的激烈，前臺業(yè)務(wù)人員對于數(shù)據(jù)的用數(shù)時效要求不斷提高。尤其重點核心的貸款類業(yè)務(wù)，從之前的T+1時效，變?yōu)門+0.5，到現(xiàn)階段的2小時內(nèi)必須數(shù)據(jù)加工完成。導(dǎo)致科技研發(fā)和業(yè)務(wù)之間的溝通壁壘以及相互抱怨逐漸加深

基于以上2個核心訴求，江蘇蘇商銀行迫切的希望，能夠全面實現(xiàn)數(shù)據(jù)從源頭的業(yè)務(wù)系統(tǒng)，到末端分析界面準實時的呈現(xiàn)，同時在數(shù)據(jù)湖上建倉，加速數(shù)據(jù)訪問全面實現(xiàn)大規(guī)模下數(shù)據(jù)秒級查詢分析。

時間周期：

開始時間：2023年10月

里程碑1：深入分析痛點，全面整理數(shù)據(jù)加工處理全鏈路環(huán)節(jié)耗時，江蘇蘇商銀行發(fā)現(xiàn)在查詢請求多、且數(shù)據(jù)量大的情況下，查詢性能會出現(xiàn)明顯瓶頸。后經(jīng)過調(diào)研、比對業(yè)內(nèi)如ClickHouse、kylin、Presto、StarRocks等數(shù)據(jù)庫，最終確定采用StarRocks來構(gòu)建高性能查詢底層OLAP分析引擎；

里程碑2：全面升級現(xiàn)有BI系統(tǒng)。原有系統(tǒng)界面老舊，使用不靈活，難以適應(yīng)業(yè)務(wù)多樣化展示訴求；

里程碑3：聯(lián)合消金、客戶分析、微商、財富等部門，全面收集分析業(yè)務(wù)痛點及訴求。打通Mysql、Oracle、Hive、Kafka 等多種異構(gòu)數(shù)據(jù)源之間數(shù)據(jù)實時同步鏈路。

截止時間：2024年3月

客戶的數(shù)智化（數(shù)字化）轉(zhuǎn)型升級需求

隨著技術(shù)創(chuàng)新和科技發(fā)展，各商業(yè)銀行從信息化階段邁向數(shù)字化階段，提高數(shù)據(jù)的處理和應(yīng)用的價值成為數(shù)字化轉(zhuǎn)型發(fā)展的關(guān)鍵。

在此過程中，江蘇蘇商銀行也積極面向自身業(yè)務(wù)，推動數(shù)據(jù)與技術(shù)的升級，全面發(fā)揮數(shù)據(jù)要素價值。其數(shù)智化轉(zhuǎn)型升級需求主要體現(xiàn)在以下幾個方面：

1、數(shù)據(jù)管理成本與應(yīng)用效率：隨著用戶和業(yè)務(wù)從線下網(wǎng)點向線上遷移，銀行的數(shù)據(jù)量呈爆發(fā)式增長，傳統(tǒng)數(shù)據(jù)倉庫已無法滿足要求，江蘇蘇商銀行需要能夠高效處理和存儲大量數(shù)據(jù)的系統(tǒng)，以減少數(shù)據(jù)存儲冗余和管理成本。

2、技術(shù)升級與架構(gòu)優(yōu)化：客戶需要采用先進的技術(shù)架構(gòu)來提升數(shù)據(jù)查詢性能，實現(xiàn)高并發(fā)下的極速響應(yīng)，并具備橫向擴展能力，以適應(yīng)數(shù)據(jù)量的快速增長。客戶希望通過構(gòu)建統(tǒng)一的數(shù)據(jù)服務(wù)平臺，實現(xiàn)數(shù)據(jù)的統(tǒng)一管理和服務(wù)，從而優(yōu)化現(xiàn)有的技術(shù)架構(gòu)。

3、敏捷開發(fā)與響應(yīng)：隨著數(shù)據(jù)需求的爆發(fā)式增長，數(shù)據(jù)研發(fā)在面對業(yè)務(wù)需求時，需要更加及時、穩(wěn)定、準確交付，配合業(yè)務(wù)方快速響應(yīng)市場變化和業(yè)務(wù)需求，提高數(shù)據(jù)開發(fā)效率，保證數(shù)據(jù)研發(fā)交付服務(wù)能夠順利投產(chǎn)、穩(wěn)定運行。

面臨挑戰(zhàn)

在項目實施中，江蘇蘇商銀行面臨一個非常突出的挑戰(zhàn)：實時 OLAP 架構(gòu)的升級改造，涉及非常多的業(yè)務(wù)線，且原有的業(yè)務(wù)數(shù)據(jù)加工處理鏈路長，加工邏輯復(fù)雜。在實現(xiàn)打通全行 200+ 業(yè)務(wù)系統(tǒng)的實時鏈路，實現(xiàn)數(shù)據(jù)的統(tǒng)一流轉(zhuǎn)、統(tǒng)一管控、統(tǒng)一審核、數(shù)據(jù)容錯等能力建設(shè)的同時，該如何盡可能的減少對行內(nèi)現(xiàn)存系統(tǒng)的沖擊，甚至無感切換適配。

這個挑戰(zhàn)對于整個項目實施的成功與否至關(guān)重要，甚至起決定性作用。此外，各個業(yè)務(wù)方不確定架構(gòu)改造帶來的價值和潛在未來收益，因此都保持謹慎態(tài)度。

針對這個挑戰(zhàn)，江蘇蘇商銀行做了以下幾個措施，概括如下：

1、對于實時鏈路的升級改造。江蘇蘇商銀行引入實時數(shù)據(jù)同步系統(tǒng)，基于開源 Flink CDC 組件，實現(xiàn)源端數(shù)據(jù)到目標端的異構(gòu)數(shù)據(jù)源的秒級同步。業(yè)務(wù)系統(tǒng)的實時數(shù)據(jù)同步需求，歷史的操作手段是，通過業(yè)務(wù)系統(tǒng)拋送數(shù)據(jù)到 Kafka 消息隊列，目標數(shù)據(jù)系統(tǒng)再通過消費 Kafka 來實現(xiàn)數(shù)據(jù)的同步鏈路交互。引入實時數(shù)據(jù)同步工具之后，江蘇蘇商銀行對整體鏈路架構(gòu)進行了簡化，不再通過 Kafka 進行異構(gòu)數(shù)據(jù)源的流轉(zhuǎn)，統(tǒng)一采用實時數(shù)據(jù)同步工具進行統(tǒng)一處理管控。

2、對于各個業(yè)務(wù)系統(tǒng)負責人的疑慮。項目團隊在前期和各個業(yè)務(wù)團隊充分交流，并收集了當前實時數(shù)據(jù)的痛點，同時也多次組織進行項目價值的宣導(dǎo)和講解。最終各個團隊配合改造意愿達成一致。

數(shù)據(jù)支持

基于全行的業(yè)務(wù)數(shù)據(jù)和外部數(shù)據(jù)，依托數(shù)據(jù)底座提供的公共能力，江蘇蘇商銀行構(gòu)建了自己的數(shù)據(jù)湖體系，打造了湖倉一體的數(shù)據(jù)架構(gòu)。通過在數(shù)據(jù)湖集市層，引入基于全場景 MPP 分析引擎 StarRocks 研發(fā)的鏡舟湖倉分析引擎，實現(xiàn)極速統(tǒng)一的數(shù)據(jù)分析。

項目范疇：覆蓋全行 200+ 系統(tǒng)及所有業(yè)務(wù)線，提供數(shù)據(jù)口徑統(tǒng)一的、一站式的數(shù)據(jù)探查服務(wù)，使大量分布在消金、微商、財務(wù)等業(yè)務(wù)領(lǐng)域的實時數(shù)據(jù)，可以集中統(tǒng)一處理，對業(yè)務(wù)營銷響應(yīng)從原來的 2 天縮短到秒級。

項目亮點/效果：

實時數(shù)據(jù)場景下，通過打通標簽、UC、埋點、存貸款核心、資損防控等 5 大業(yè)務(wù)場景的實時數(shù)據(jù)鏈路，實現(xiàn)企業(yè)報表產(chǎn)出由原來 n+6小時縮短到秒級，使管理決策用數(shù)效率從T+1天縮短到秒級。

最新貸款等業(yè)務(wù)數(shù)據(jù)的實時查詢，首次實現(xiàn)秒級響應(yīng)。實時存貸款報表應(yīng)用中，存貸款的對賬時效從 2 小時縮短到 30 秒內(nèi)，效率提升1000倍+。此次架構(gòu)升級改造，江蘇蘇商銀行的整體數(shù)據(jù)運維成本降低60%+，相關(guān)人力成本綜合核減每月400人天。

應(yīng)用技術(shù)與實施過程

項目啟動之初，團隊將整體數(shù)據(jù)底座架構(gòu)重新進行梳理、優(yōu)化升級，旨在滿足各個業(yè)務(wù)團隊的快速、高效、穩(wěn)定的用數(shù)需求。其中，實時數(shù)倉架構(gòu)以鏡舟湖倉分析引擎為核心，支持高并發(fā)和低延遲的數(shù)據(jù)處理需求。

1、總體流程

具體邏輯過程如下：

第一，對于外部的數(shù)據(jù)，首先通過離線和實時的數(shù)據(jù)交換集成同步工具，抽取到數(shù)據(jù)層進行統(tǒng)一管理存儲，其中可存儲的數(shù)據(jù)類型涵蓋大規(guī)模分布式文件系統(tǒng)hdfs、半結(jié)構(gòu)化存儲mongdb、列式存儲hbase、分布式賬本、對象存儲ceph等。

第二，在數(shù)據(jù)計算層，通過基于spark、hive、flink等開源組件，構(gòu)建的流批一體化計算平臺，對數(shù)據(jù)存儲層的落庫數(shù)據(jù)進行ETL加工處理，加工之后的數(shù)據(jù)最終存放到數(shù)據(jù)資源中心，形成全行的數(shù)據(jù)資產(chǎn)，也就是行內(nèi)的數(shù)據(jù)湖產(chǎn)品。

第三，依托數(shù)據(jù)湖的底層數(shù)據(jù)資產(chǎn)，在數(shù)據(jù)服務(wù)中心提供RestfulAPI、WebService、RSF等各種形式的數(shù)據(jù)接口，提供可對外服務(wù)的數(shù)據(jù)服務(wù)。

第四，最后，構(gòu)建數(shù)據(jù)服務(wù)總線，涵蓋批量數(shù)據(jù)服務(wù)、實時無邊界數(shù)據(jù)服務(wù)、DataAPI服務(wù)的形式統(tǒng)一對外暴露。最終服務(wù)各個業(yè)務(wù)系統(tǒng)，賦能業(yè)務(wù)數(shù)字化。

在整個數(shù)據(jù)底座垂直的數(shù)據(jù)流轉(zhuǎn)體系中，在橫向維度，江蘇蘇商銀行進行了數(shù)據(jù)治理、保障體系、數(shù)據(jù)資產(chǎn)管理管控等拓展，尤其在數(shù)據(jù)流轉(zhuǎn)的溯源排查上，通過全鏈路的數(shù)據(jù)血緣分析能力?？梢钥焖俚姆治龆ㄎ粩?shù)據(jù)問題，賦能數(shù)據(jù)治理有了一個強力的數(shù)據(jù)分析抓手，系統(tǒng)截圖如下:

數(shù)據(jù)血緣分析

2、實時數(shù)倉架構(gòu)

根據(jù)業(yè)務(wù)現(xiàn)狀，我們借助鏡舟湖倉分析引擎的高性能分析優(yōu)勢，作為實時數(shù)倉的整個實時能力的核心部分，具體的：

1）上游通過實時同步系統(tǒng)實時同步過來的數(shù)據(jù)，一條鏈路同步到Kafka，借助行內(nèi)自研的大數(shù)據(jù)平臺實時Flink消費到鏡舟湖倉分析引擎；

2）一條鏈路是直接同步到鏡舟湖倉分析引擎。下游業(yè)務(wù)方主要有2大業(yè)務(wù)域，一個是BI系統(tǒng)，主要實時報表。另外一個是客戶營銷，通過行內(nèi)配置化的統(tǒng)一數(shù)據(jù)API系統(tǒng)，對下游提供熔斷、限流、安全管控的API能力。

3、湖倉分析引擎集群劃分

湖倉分析引擎集群區(qū)域劃分整體劃分如下：

1）批量存儲DB區(qū)域

通過T+1離線數(shù)據(jù)同步到鏡舟湖倉分析引擎數(shù)據(jù)集，主要承載的是各個業(yè)務(wù)條線的集市數(shù)據(jù)集；

2）實時存儲區(qū)DB區(qū)域

承載財富、消金、支付、風險、微商等實時業(yè)務(wù)訴求；

3）臨時存儲區(qū)DB區(qū)域

設(shè)置7天、1天、3個月等不同維度的臨時存儲，主要為了滿足業(yè)務(wù)方臨時數(shù)據(jù)探查訴求；

行業(yè)變化

1、使大量分布在消金、微商、財務(wù)等業(yè)務(wù)領(lǐng)域的實時數(shù)據(jù)，可以集中統(tǒng)一處理，對業(yè)務(wù)營銷響應(yīng)從原來的 2 天縮短到秒級。

2、整體架構(gòu)在數(shù)據(jù)湖之上引入 StarRocks ，搭建加速分析層，可分析數(shù)據(jù)集市的千萬級、億級數(shù)據(jù)量，時效從原來的 30分鐘 -- n 小時的分析時效區(qū)間，縮短到秒級。

3、整體取數(shù)運維成本降低60%+。

4、智能運營增長平臺可以實時監(jiān)控觸達轉(zhuǎn)化數(shù)據(jù)；管理駕駛倉能實時查看時點存款、時點貸款的余額、實時總客戶數(shù)的排名情況，輔助業(yè)務(wù)人員進行實時的分析決策。

關(guān)于企業(yè)

·鏡舟科技

北京鏡舟科技有限公司是一家專注開源商業(yè)化的中國公司，由 StarRocks 項目核心成員于2022年創(chuàng)立。

基于開源項目 StarRocks ，鏡舟打造了符合國家標準并適配國內(nèi)外生態(tài)體系的企業(yè)級分析型（OLAP）數(shù)據(jù)庫，在行業(yè)適配度、場景成熟度、產(chǎn)品穩(wěn)定性等方面有著卓越表現(xiàn)。

作為 StarRocks 社區(qū)中國最大貢獻者，鏡舟大力參與社區(qū)推廣工作，未來也將持續(xù)與各大頭部廠商一起創(chuàng)造世界頂級的開源項目，為社區(qū)發(fā)展貢獻力量。點擊文末“閱讀原文”鏈接，還可了解更多“鏡舟科技”信息。

鏡舟科技

鏡舟，連接大數(shù)據(jù)與價值

·蘇商銀行

江蘇蘇商銀行股份有限公司，是江蘇首家民營銀行、國家高新技術(shù)企業(yè)，于2017年6月16日由多家知名企業(yè)發(fā)起設(shè)立，注冊資本為人民幣40億元。江蘇蘇商銀行從誕生之初就融入了科技創(chuàng)新的基因，秉承“科技使金融更簡單”的經(jīng)營理念，聚焦微商金融、消費金融、科創(chuàng)金融、產(chǎn)業(yè)鏈金融、財富管理和支付金融六大核心業(yè)務(wù)，產(chǎn)品突出“O2O”與“科技驅(qū)動”的定位，將自身定位于銀行業(yè)市場的“補位者”，將長尾客戶定位為目標客群。

蘇商銀行

蘇商銀行官方服務(wù)號。蘇商銀行已按照國家規(guī)定參加存款保險，本機構(gòu)吸收的本外幣存款依照《存款保險條例》受到保護。

★以上由鏡舟科技投遞申報的項目案例，最終將會角逐由數(shù)據(jù)猿與上海大數(shù)據(jù)聯(lián)盟聯(lián)合推出的《2024中國數(shù)智化轉(zhuǎn)型升級創(chuàng)新服務(wù)企業(yè)》榜單/獎項。

該榜單獎項最終將于7月24日以下活動中進行榜單的首發(fā)與獎項的頒發(fā)，歡迎報名蒞臨現(xiàn)場

來源：數(shù)據(jù)猿