黨的十八大以來，黨中央、國務(wù)院不斷加大金融科技創(chuàng)新支持力度，擴大金融科技創(chuàng)新在資本市場的試點范圍。同時，2020年10月證監(jiān)會發(fā)布《證券期貨業(yè)科技發(fā)展“十四五”規(guī)劃》，指出推進行業(yè)數(shù)字化轉(zhuǎn)型發(fā)展是兩大主題之一，并強調(diào)需加強科技治理體系、數(shù)據(jù)治理體系建設(shè)。數(shù)據(jù)治理是業(yè)務(wù)支撐能力應(yīng)用場景數(shù)字化轉(zhuǎn)型的基石，數(shù)字化轉(zhuǎn)型是金融科技創(chuàng)新的關(guān)鍵環(huán)節(jié)。金融科技創(chuàng)新亦成為證券公司穩(wěn)定運行、發(fā)展壯大的必然選擇。

首創(chuàng)證券在保障業(yè)務(wù)系統(tǒng)平穩(wěn)運行、加強合規(guī)管理和注重風(fēng)險防范的基礎(chǔ)上，持續(xù)加大金融科技投入，通過數(shù)字化水平的不斷提升支撐業(yè)務(wù)戰(zhàn)略的落地，依托金融科技保障業(yè)務(wù)的高質(zhì)量增長。為滿足經(jīng)營發(fā)展需要，首創(chuàng)證券已建設(shè)有大量信息化應(yīng)用系統(tǒng)，經(jīng)內(nèi)部調(diào)研發(fā)現(xiàn)，依然存在大量手工處理、加工數(shù)據(jù)的情況，導(dǎo)致各方的同一數(shù)據(jù)口徑不一致、同一數(shù)據(jù)重復(fù)加工，耗費大量人力且效率不足，無法保障最終應(yīng)用數(shù)據(jù)的質(zhì)量。首創(chuàng)證券迫切希望打破各應(yīng)用系統(tǒng)數(shù)據(jù)孤島，梳理元數(shù)據(jù)、主數(shù)據(jù)，規(guī)范數(shù)據(jù)標準，建立數(shù)據(jù)模型，提供數(shù)據(jù)質(zhì)量保障，實現(xiàn)金融數(shù)據(jù)價值的最大化。

為解決上述問題，持續(xù)提升經(jīng)營分析、風(fēng)險管理和監(jiān)管報送等工作的數(shù)字化水平，首創(chuàng)證券決定建設(shè)新型的公司級數(shù)據(jù)中心，從數(shù)據(jù)應(yīng)用出發(fā)，改變傳統(tǒng)的數(shù)據(jù)倉庫方法論，構(gòu)建數(shù)據(jù)處理平臺、指標中臺和數(shù)據(jù)應(yīng)用，提供數(shù)據(jù)治理整體方案，保障數(shù)據(jù)質(zhì)量和安全，實現(xiàn)金融數(shù)據(jù)的作用與價值。

實施時間：

項目開始時間：2023年 7月

中間重要時間節(jié)點：2023年 11月

項目完結(jié)時間：2024年1月

應(yīng)用場景

1、高質(zhì)量經(jīng)營戰(zhàn)略決策

將首創(chuàng)證券各業(yè)務(wù)、各應(yīng)用系統(tǒng)數(shù)據(jù)孤島進行聯(lián)通，集中分析整體經(jīng)營情況，可進行不同業(yè)務(wù)間經(jīng)營數(shù)據(jù)的橫向?qū)Ρ?，亦可進行同業(yè)務(wù)內(nèi)的縱向?qū)Ρ?，可支持實時查看各類業(yè)務(wù)考核指標完成進度，為公司管理層即時調(diào)整經(jīng)營策略提供強有力的數(shù)據(jù)支撐。

2、數(shù)據(jù)資產(chǎn)化管理

通常，業(yè)務(wù)人員需對基礎(chǔ)數(shù)據(jù)進行加工后應(yīng)用，以支持業(yè)務(wù)決策。數(shù)據(jù)中心提供數(shù)據(jù)開發(fā)平臺——指標中心，統(tǒng)一定義指標口徑，指定指標數(shù)據(jù)責(zé)任人，保障出口數(shù)據(jù)質(zhì)量；通過數(shù)據(jù)權(quán)限控制實現(xiàn)一次開發(fā)多人使用，避免數(shù)據(jù)重復(fù)開發(fā)，將數(shù)據(jù)資產(chǎn)化管理，提高數(shù)據(jù)應(yīng)用效率。

3、數(shù)據(jù)共享

通過建設(shè)公司級數(shù)據(jù)中心，梳理并確定主數(shù)據(jù)內(nèi)容、源頭、責(zé)任崗位，保障數(shù)據(jù)質(zhì)量。責(zé)任主崗維護一次數(shù)據(jù)后，即可供其它應(yīng)用系統(tǒng)通過數(shù)據(jù)中心接口獲取該主數(shù)據(jù)，既保障了各應(yīng)用系統(tǒng)間同一數(shù)據(jù)的來源一致性，又減少了同一業(yè)務(wù)鏈條上多次手工維護數(shù)據(jù)造成的不確定性。數(shù)據(jù)中心匯集各應(yīng)用系統(tǒng)的核心數(shù)據(jù)并提供接口，供應(yīng)用系統(tǒng)獲取其他數(shù)據(jù)，降低應(yīng)用系統(tǒng)間共享數(shù)據(jù)的復(fù)雜度，提高數(shù)據(jù)安全性。

面臨挑戰(zhàn)

盤點發(fā)現(xiàn)，首創(chuàng)證券亟待解決的問題和場景包含以下方面：

1、數(shù)據(jù)孤島現(xiàn)象嚴重：上萬張數(shù)據(jù)表，分散在 10 多個不同業(yè)務(wù)系統(tǒng)、數(shù)據(jù)庫和平臺中，數(shù)據(jù)孤島現(xiàn)象嚴重；

2、數(shù)據(jù)口徑不一致：開發(fā)鏈路不一致，指標口徑缺乏有效管理，導(dǎo)致同一業(yè)務(wù)指標從不同數(shù)據(jù)表或服務(wù)中取得的數(shù)據(jù)不一致；

3、口徑溯源及影響面評估難：傳統(tǒng)數(shù)據(jù)分析解決方案難以打通整體的數(shù)據(jù)血緣，導(dǎo)致指標的口徑溯源困難；在調(diào)整數(shù)據(jù)鏈路時，也很難看清對下游的影響面；

4、數(shù)據(jù)使用與分析效率不足：投資經(jīng)理對不同產(chǎn)品差異化分析的需求越來越高，但其很難通過數(shù)倉表自助完成數(shù)據(jù)提取，數(shù)據(jù)使用最后一公里痛點明顯；

5、靈活性和敏捷性不足：證券市場變化迅速，需要快速調(diào)整分析策略，現(xiàn)有數(shù)據(jù)體系情況無法滿足需求。

在此背景下，首創(chuàng)證券數(shù)據(jù)平臺團隊考察調(diào)研了多種數(shù)倉解決方案，傳統(tǒng)數(shù)倉 + BI 的思路難以滿足其對高效數(shù)據(jù)管理和智能分析的需求。

應(yīng)用技術(shù)與實施過程

基于上述問題，首創(chuàng)證券聯(lián)合 Aloudata大應(yīng)科技制定了一套更高效、更統(tǒng)一、更智能的 DataFabric 架構(gòu)理念下的敏捷數(shù)倉技術(shù)方案現(xiàn)代數(shù)據(jù)平臺方案，適應(yīng)數(shù)字化時代的新需求。

Data Fabric 是一種新的數(shù)據(jù)管理和集成方法，它將數(shù)據(jù)生態(tài)系統(tǒng)的復(fù)雜組件整合到一起，提供完整且有凝聚力的數(shù)據(jù)管理方案。與數(shù)據(jù)湖不同，Data Fabric 無需將數(shù)據(jù)移動到集中位置，而是依靠強大的數(shù)據(jù)虛擬化技術(shù)及數(shù)據(jù)治理策略來實現(xiàn)數(shù)據(jù)管理的統(tǒng)一。Data Fabric 數(shù)據(jù)管理方法，打破了傳統(tǒng)數(shù)倉及數(shù)據(jù)湖等前幾代數(shù)據(jù)處理技術(shù)限制，釋放了數(shù)據(jù)的生產(chǎn)力。

因此，本方案摒棄傳統(tǒng)數(shù)倉數(shù)據(jù)架構(gòu)（貼源層->明細層->聚合層），基于 NoETL 理念進行跨數(shù)據(jù)源查詢構(gòu)建虛擬明細層，并根據(jù)下游使用數(shù)據(jù)情況智能化構(gòu)建數(shù)據(jù)聚合層、自動化進行數(shù)據(jù)物化以提升數(shù)據(jù)應(yīng)用性能，簡化數(shù)據(jù)開發(fā)鏈條的長度，節(jié)約數(shù)據(jù)中心基礎(chǔ)設(shè)施成本，降低數(shù)據(jù)中心運維成本，構(gòu)建數(shù)倉新形態(tài)。

具體到方案設(shè)計，本敏捷數(shù)據(jù)分析方案實現(xiàn)了：

1、將外部采集數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)庫數(shù)據(jù)（Mysql、Oracle、SqlServer等）以及對象存儲數(shù)據(jù)統(tǒng)一通過 PDS（物理數(shù)據(jù)集，即業(yè)務(wù)庫源表的映射）方式映射到敏捷數(shù)倉中，無需做一對一的數(shù)據(jù)復(fù)制，無需構(gòu)建傳統(tǒng)數(shù)倉的 ODS 層。

2、基于 PDS/VDS 定義新的 VDS（虛擬數(shù)據(jù)集，即定義了數(shù)據(jù)視圖的取數(shù)邏輯），過程中，無需關(guān)心數(shù)據(jù)存儲和計算調(diào)度等細節(jié)，也無需物理拷貝數(shù)據(jù)，可多層嵌套，直到定義出目標場景可用的虛擬數(shù)據(jù)集。

3、基于虛擬數(shù)據(jù)集進行統(tǒng)一模型和指標定義，并通過 API/JDBC 開放化接口對接外部的報表或者分析工具，或者通過 JDBC 導(dǎo)出到外部數(shù)據(jù)庫或者文件，實現(xiàn)數(shù)據(jù)和外部系統(tǒng)的共享。

4、根據(jù)用戶訪問需求，配置投影加速策略，并由系統(tǒng)根據(jù)用戶查詢歷史，智能構(gòu)建加速策略，實現(xiàn)外部業(yè)務(wù)數(shù)據(jù)查詢的快速響應(yīng)。投影根據(jù)所屬 VDS 的嵌套依賴關(guān)系，自動構(gòu)建數(shù)據(jù)更新鏈路，實現(xiàn)自調(diào)度的自動化投影數(shù)據(jù)生產(chǎn)。

本方案在落地應(yīng)用階段先后完成數(shù)據(jù)虛擬化引擎、指標服務(wù)平臺搭建，其中100% 均為信創(chuàng)技術(shù)和產(chǎn)品、覆蓋數(shù)據(jù)的采集、管理、分析、展示等多個維度，2023 年底達到版本與服務(wù)穩(wěn)定運行的效果。各下游應(yīng)用系統(tǒng)均從本平臺獲取數(shù)據(jù)，提高數(shù)據(jù)一致性；指標性數(shù)據(jù)，均在此平臺實現(xiàn)定義與開發(fā)，提升指標數(shù)據(jù)生產(chǎn)效率，保障指標數(shù)據(jù)的一致性，避免重復(fù)性的數(shù)據(jù)開發(fā)工作；平臺的數(shù)倉架構(gòu)，從整體成本節(jié)約了數(shù)據(jù)存儲成本，提高數(shù)據(jù)開發(fā)效率，敏捷高效滿足即時業(yè)務(wù)數(shù)據(jù)分析需求。

商業(yè)變化

依托 Aloudata AIR 邏輯數(shù)據(jù)平臺、Aloudata CAN 自動化指標平臺構(gòu)建的 NoETL 敏捷數(shù)據(jù)分析方案在降低成本和技術(shù)創(chuàng)新等方面具有顯著優(yōu)勢，取得了重大效益和示范成果：

1、10倍以上數(shù)據(jù)化運營效率：本方案重新定義了數(shù)據(jù)工作方式。無需等待數(shù)據(jù)同步和漫長 ETL 排期，人人皆可自助發(fā)現(xiàn)可信數(shù)據(jù)，隨時進行全域數(shù)據(jù)探索和數(shù)據(jù)準備，實現(xiàn)企業(yè)數(shù)據(jù)化運營的極致敏捷。

2、最高100倍數(shù)據(jù)湖分析性能：本方案提供相比開源 Presto、Impala 等開源方案2倍以上的數(shù)據(jù)查詢性能。通過智能加速技術(shù)，最高可實現(xiàn)100倍性能提升，帶來交互式的數(shù)據(jù)分析體驗。

3、50%以上存儲成本節(jié)約：本方案基于對象存儲技術(shù)構(gòu)建數(shù)據(jù)湖，按需物化，相比開源 HDFS 方案成本節(jié)約近2/3，同時通過對無用數(shù)據(jù)存儲的自動回收以及對相似數(shù)據(jù)存儲的自動合并，大幅降低存儲成本。

4、70%以上數(shù)據(jù)管理成本節(jié)約：該方案實現(xiàn)了元數(shù)據(jù)驅(qū)動的智能化、主動式、持續(xù)式數(shù)據(jù)管理，讓數(shù)據(jù)管理走向“自動駕駛”，大量節(jié)省在數(shù)據(jù)治理和風(fēng)險應(yīng)對上的管理投入。

從技術(shù)創(chuàng)新角度，該方案通過 NoETL 理念，該方案能夠減少數(shù)據(jù)冗余存儲，提高數(shù)據(jù) ETL 效率，降低數(shù)據(jù)應(yīng)用開發(fā)復(fù)雜度，從而有效提高數(shù)據(jù)應(yīng)用開發(fā)效率，并大幅度減少數(shù)據(jù)資產(chǎn)化方面投入的人力與物力成本。此外，該方案還提供全鏈路血緣分析，為 IT 技術(shù)人員和業(yè)務(wù)人員帶來高效便捷的數(shù)據(jù)開發(fā)和應(yīng)用體驗，提高技術(shù)人員與業(yè)務(wù)人員溝通協(xié)作效率，促進公司業(yè)務(wù)發(fā)展和品牌建設(shè)，有效積累無形資產(chǎn)，推動公司業(yè)務(wù)轉(zhuǎn)型和市場競爭力的形成，并實現(xiàn)了以下幾大技術(shù)創(chuàng)新突破：

1、Data Fabric 架構(gòu)實踐

① 支持聯(lián)邦查詢：利用虛擬數(shù)倉技術(shù)，將首創(chuàng)證券眾多散落在各處的業(yè)務(wù)數(shù)據(jù)進行統(tǒng)一管理和定義，無需拷貝原始數(shù)據(jù)（無需 ods 層），直接構(gòu)建明細層（dwd 層），降低建設(shè)復(fù)雜度和存儲成本。

② 通過虛擬化技術(shù)，提供一致的數(shù)據(jù)視圖，通過一套查詢語言來支持分析、報表及 AI 等場景的數(shù)據(jù)使用。

③ 智能物化加速：基于用戶查詢行為和業(yè)務(wù)元數(shù)據(jù)驅(qū)動的智能加速能力，使得數(shù)據(jù)查詢分析相比傳統(tǒng) presto、impala 等查詢引擎有近百倍的提升。通過智能自動化生產(chǎn)，全面替換了原來需要人工完成的數(shù)據(jù)集成、開發(fā)和運維的工作，降低成本、提升效率。

2、指標定義即生產(chǎn)、定義即服務(wù)

提供極為靈活、聲明式的指標定義能力，依托數(shù)據(jù)自動化生產(chǎn)技術(shù)，定義的指標觸發(fā)自動的指標數(shù)據(jù)生產(chǎn)，并通過 JDBC、API、EXCEL 插件等諸多通道提供給各種數(shù)據(jù)消費場景。

3、全鏈路血緣

提供了從報表到指標到敏捷數(shù)倉到原始業(yè)務(wù)庫，端到端的全鏈路列級血緣能力，從而為指標口徑溯源、變更影響面評估等提供了可靠的評估依據(jù)。

相關(guān)企業(yè)介紹

·首創(chuàng)證券

首創(chuàng)證券股份有限公司成立于2000年2月，注冊資本27.3億元人民幣。2022年12月22日，公司在上海證券交易所掛牌上市交易（證券代碼“601136”）。公司總部設(shè)在北京，控股股東為北京首都創(chuàng)業(yè)集團有限公司，實際控制人為北京市國資委。

經(jīng)過二十余年的穩(wěn)健發(fā)展，公司已成為具有全牌照經(jīng)營資質(zhì)，業(yè)務(wù)結(jié)構(gòu)均衡、特色鮮明的綜合類證券公司。公司業(yè)務(wù)范圍涵蓋資產(chǎn)管理、自營投資與交易服務(wù)、投資銀行、證券經(jīng)紀、財富管理、信用融資、研究咨詢、期貨、私募基金管理、另類投資等多個領(lǐng)域，為企業(yè)客戶、機構(gòu)客戶、零售客戶、高凈值客戶等提供各類專業(yè)金融服務(wù)解決方案，在資產(chǎn)管理、固定收益投資交易等領(lǐng)域形成了自身特色與品牌優(yōu)勢。多年來，公司一直保持良好的發(fā)展態(tài)勢，經(jīng)營管理規(guī)范，資產(chǎn)質(zhì)量良好。

·Aloudata

Aloudata(大應(yīng)科技) 是一家自動化數(shù)據(jù)管理軟件提供商，國內(nèi) Data Fabric 架構(gòu)理念引領(lǐng)者，以“讓數(shù)據(jù)隨時就緒”為使命，致力于消除數(shù)據(jù)管理技術(shù)瓶頸，提升 ETL 工程自動化水平，助力企業(yè)平滑升級至下一代大數(shù)據(jù)基礎(chǔ)設(shè)施。

Aloudata 自主研發(fā)的 Aloudata AIR 邏輯數(shù)據(jù)平臺支持異構(gòu)數(shù)據(jù)的邏輯集成、整合與查詢，通過自適應(yīng)物化加速和自動回收技術(shù)，實現(xiàn)秒級查詢響應(yīng)并節(jié)省 50% 以上的存算成本；Aloudata BIG 主動元數(shù)據(jù)平臺，基于全球獨創(chuàng)的算子級血緣解析技術(shù)，讓復(fù)雜數(shù)據(jù)鏈路看得清、管得住、治得動，實現(xiàn)更精細更智能的數(shù)據(jù)管理；Aloudata CAN 自動化指標平臺，改變“業(yè)務(wù)提需求IT 開發(fā)”的傳統(tǒng)模式，支持業(yè)務(wù)人員從任意顆粒度、任何維度靈活分析指標，實現(xiàn)指標“定義即開發(fā)、定義即服務(wù)”。

目前，Aloudata 各產(chǎn)品已在多家頭部企業(yè)的復(fù)雜數(shù)據(jù)環(huán)境中落地，成功交付了多個 Data Fabric 最佳實踐。

來源：數(shù)據(jù)猿