“本項(xiàng)目案例由 網(wǎng)智天元 投遞并參與由數(shù)據(jù)猿&上海大數(shù)據(jù)聯(lián)盟聯(lián)合推出的“行業(yè)盤點(diǎn)季之?dāng)?shù)智化轉(zhuǎn)型升級(jí)”大型主題策劃活動(dòng)之《2021中國企業(yè)數(shù)智化轉(zhuǎn)型升級(jí)創(chuàng)新服務(wù)企業(yè)》榜單/獎(jiǎng)項(xiàng)的評(píng)選。

近年來，銀行業(yè)金融機(jī)構(gòu)在業(yè)務(wù)快速發(fā)展過程中，積累了客戶數(shù)據(jù)、交易數(shù)據(jù)、外部數(shù)據(jù)等海量數(shù)據(jù)。數(shù)據(jù)已經(jīng)成為銀行的重要資產(chǎn)和核心競爭力，充分發(fā)揮數(shù)據(jù)價(jià)值，用數(shù)據(jù)驅(qū)動(dòng)銀行發(fā)展，提高銀行經(jīng)營質(zhì)效，具有重要意義。銀保監(jiān)會(huì)發(fā)布《銀行業(yè)金融機(jī)構(gòu)數(shù)據(jù)治理指引》，以取代銀監(jiān)會(huì)2011年頒布的《銀行監(jiān)管統(tǒng)計(jì)數(shù)據(jù)質(zhì)量管理良好標(biāo)準(zhǔn)(試行)》。

本項(xiàng)目銀行充分重視國家政策導(dǎo)向和上級(jí)單位的要求開展數(shù)據(jù)治理工作。一方面，緊跟國家政策導(dǎo)向，為上級(jí)單位提供大數(shù)據(jù)的支撐；另一方面，從自身層面出發(fā)，利用大數(shù)據(jù)技術(shù)，提高中心工作效率、決策能力和服務(wù)水平。

本項(xiàng)目銀行把數(shù)據(jù)治理作為重要的制度性建設(shè)和基礎(chǔ)性工作，加強(qiáng)組織保障、制度保障與流程保障，有序推進(jìn)、重點(diǎn)強(qiáng)化；統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)，提高數(shù)據(jù)質(zhì)量，深化數(shù)據(jù)應(yīng)用，有效支撐銀行業(yè)務(wù)發(fā)展，有效提升銀行管理水平。

精細(xì)化管理要求逐步提高，在業(yè)務(wù)決策、風(fēng)險(xiǎn)分析、營銷和財(cái)務(wù)的精細(xì)化管理中，數(shù)據(jù)將發(fā)揮更加重要的作用。

通過數(shù)據(jù)治理平臺(tái)的建設(shè)，可實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)化管理、統(tǒng)一的元數(shù)據(jù)管理、標(biāo)準(zhǔn)流程的自動(dòng)化管理，提高數(shù)據(jù)標(biāo)準(zhǔn)管理的工作效率和執(zhí)行力度，降低數(shù)據(jù)的集成成本，促進(jìn)數(shù)據(jù)質(zhì)量的提升，實(shí)現(xiàn)銀行數(shù)據(jù)資產(chǎn)應(yīng)用的價(jià)值最大化。

●實(shí)施時(shí)間

開始時(shí)間：2021年1月11日

測(cè)試時(shí)間：2021年4月12日-2021年5月9日

上線試運(yùn)行時(shí)間：2021年5月10日-2021年6月30日

截止時(shí)間：2021年7月9日

應(yīng)用場(chǎng)景

全域數(shù)據(jù)治理智能服務(wù)平臺(tái)可實(shí)現(xiàn)元數(shù)據(jù)管理、數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)質(zhì)量管理、資產(chǎn)管理、數(shù)據(jù)安全管理、共享服務(wù)管理、主數(shù)據(jù)管理以及全生命周期管理等，為本項(xiàng)目銀行提供一套完整的數(shù)據(jù)治理解決方案。

全域數(shù)據(jù)治理智能服務(wù)平臺(tái)是高效的數(shù)據(jù)管理平臺(tái)。本平臺(tái)具備統(tǒng)一的連接性、元數(shù)據(jù)和操作管理功能，加快了大數(shù)據(jù)管理項(xiàng)目的開發(fā)和部署速度，同本平臺(tái)基于SOA整體架構(gòu)進(jìn)行開發(fā)。軟件采用層次化結(jié)構(gòu)，支持分布式系統(tǒng)部署。

數(shù)據(jù)治理平臺(tái)：提供數(shù)據(jù)治理的基礎(chǔ)能力，主要包括用戶管理、元數(shù)據(jù)智能管理、任務(wù)調(diào)度中心、數(shù)據(jù)源管理、建模設(shè)計(jì)、日志管理。

服務(wù)能力：主要涉及數(shù)據(jù)治理和共享門戶兩方面。數(shù)據(jù)治理服務(wù)能力包括數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)資產(chǎn)、數(shù)據(jù)服務(wù)、數(shù)據(jù)安全；共享門戶主要提供數(shù)據(jù)服務(wù)查詢、申請(qǐng)能力。

用戶群體：數(shù)據(jù)治理平臺(tái)面向的用戶群體主要包括數(shù)據(jù)開發(fā)人員、數(shù)據(jù)分析師、業(yè)務(wù)用戶、數(shù)據(jù)科學(xué)家、數(shù)據(jù)管理員、數(shù)據(jù)操作員。

一、元數(shù)據(jù)管理

元數(shù)據(jù)管理是對(duì)數(shù)據(jù)采集、存儲(chǔ)、加工和展現(xiàn)等數(shù)據(jù)全生命周期的描述信息，幫助用戶理解數(shù)據(jù)關(guān)系和相關(guān)屬性。平臺(tái)提供元數(shù)據(jù)采集模版管理、采集任務(wù)配置、元數(shù)據(jù)維護(hù)、版本維護(hù)、影響分析、血緣分析、表關(guān)聯(lián)度分析、數(shù)據(jù)元拓?fù)浞治龅裙δ堋?/p>

元數(shù)據(jù)維護(hù)：提供元數(shù)據(jù)查詢和元數(shù)據(jù)信息維護(hù)功能。

版本維護(hù)：提供元數(shù)據(jù)的版本查詢、發(fā)布、比較功能。主要是管理采集的數(shù)據(jù)字典的版本，即庫、表及字段的版本，提供每個(gè)版本的查詢能力，版本之間的比較能力，數(shù)據(jù)字典對(duì)象的變更歷史、變更發(fā)布能力。

影響分析：基于元數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)定義、去向、轉(zhuǎn)換關(guān)系、依賴關(guān)系等，提供影響分析管理（向上分析）功能。

血緣分析：基于元數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)定義、來源、轉(zhuǎn)換關(guān)系、依賴關(guān)系等，提供血緣分析管理（向下分析）功能。

表關(guān)聯(lián)度分析：提供表級(jí)關(guān)聯(lián)關(guān)系分析功能，實(shí)現(xiàn)對(duì)數(shù)據(jù)流向分析，通過選定指定表操作對(duì)指定表進(jìn)行數(shù)據(jù)流向分析，以實(shí)現(xiàn)對(duì)數(shù)據(jù)源數(shù)據(jù)具體流向的分析與統(tǒng)計(jì)。

拓?fù)浞治觯夯跀?shù)據(jù)元，獲得數(shù)據(jù)元對(duì)應(yīng)的數(shù)據(jù)拓?fù)鋱D以及引用情況。

二、數(shù)據(jù)質(zhì)量管理

數(shù)據(jù)質(zhì)量管理實(shí)現(xiàn)對(duì)數(shù)據(jù)全生命周期的質(zhì)量管理，提供完善的數(shù)據(jù)質(zhì)量管理方法和措施，對(duì)數(shù)據(jù)質(zhì)量進(jìn)行完整性、一致性、精度性、合理性、有效性、準(zhǔn)確性等全方位的檢查，保障政務(wù)大數(shù)據(jù)中心歸集數(shù)據(jù)的質(zhì)量。主要包括質(zhì)量檢核規(guī)則管理、檢核執(zhí)行配置、質(zhì)量問題管理、數(shù)據(jù)質(zhì)量分析等功能。

檢核規(guī)則管理：提供數(shù)據(jù)質(zhì)量檢核規(guī)則新增、修改、刪除、查詢等功能。需支持幾類規(guī)則的自動(dòng)生成：唯一性檢查、字段非空檢查、代碼值域檢查（應(yīng)能對(duì)接數(shù)據(jù)元獲取代碼枚舉值）、字段長度檢查、字段取值范圍的檢查。

檢核執(zhí)行配置：提供對(duì)數(shù)據(jù)質(zhì)量的調(diào)度執(zhí)行管理，包括自動(dòng)執(zhí)行及手工執(zhí)行配置管理。

質(zhì)量問題管理：提供問題數(shù)據(jù)詳情信息查看及跟蹤管理的相關(guān)功能，記錄異常數(shù)據(jù)、異常原因，進(jìn)行問題數(shù)據(jù)統(tǒng)計(jì)、檢查規(guī)則統(tǒng)計(jì)，將問題數(shù)據(jù)分配給相關(guān)人員；將異常數(shù)據(jù)修改到數(shù)據(jù)存儲(chǔ)表中，便于將確認(rèn)的修改數(shù)據(jù)發(fā)送到數(shù)據(jù)源方。

數(shù)據(jù)質(zhì)量分析：根據(jù)質(zhì)量檢核規(guī)則在一定時(shí)間內(nèi)形成的問題趨勢(shì)，提供基于檢核規(guī)則的問題趨勢(shì)分析功能；根據(jù)單表在一定時(shí)間內(nèi)形成的問題趨勢(shì)，提供表級(jí)的問題趨勢(shì)分析功能；根據(jù)質(zhì)量檢測(cè)情況形成數(shù)據(jù)質(zhì)量檢查結(jié)果校驗(yàn)報(bào)告，實(shí)現(xiàn)對(duì)數(shù)據(jù)質(zhì)量報(bào)告的維護(hù)管理等相關(guān)功能。

三、調(diào)度管理系統(tǒng)

調(diào)度管理系統(tǒng)是對(duì)數(shù)據(jù)采集、傳輸、數(shù)據(jù)匯聚等一系列數(shù)據(jù)處理任務(wù)進(jìn)行發(fā)布、編排，并進(jìn)行統(tǒng)一的執(zhí)行調(diào)度和管理。包括的功能有：

調(diào)度配置：可以對(duì)作業(yè)根據(jù)業(yè)務(wù)需求，進(jìn)行定時(shí)觸發(fā)配置和條件觸發(fā)配置；作業(yè)跑批周期可以按需進(jìn)行分、時(shí)、日、月、季、年等設(shè)置；可以根據(jù)業(yè)務(wù)需要對(duì)作業(yè)進(jìn)行優(yōu)先級(jí)設(shè)置。

調(diào)度運(yùn)維：可對(duì)作業(yè)進(jìn)行并發(fā)控制；可對(duì)作業(yè)進(jìn)行手工干預(yù)，包括重跑，暫停，通過等；作業(yè)出錯(cuò)，可根據(jù)設(shè)定的重試次數(shù)和時(shí)間間隔進(jìn)行出錯(cuò)重試和發(fā)送錯(cuò)誤信息；可進(jìn)行斷點(diǎn)續(xù)跑。

調(diào)度監(jiān)控：可以展示作業(yè)的運(yùn)行情況；可以輸出作業(yè)日志，根據(jù)需求開發(fā)各種調(diào)度監(jiān)控指標(biāo)。

資源管理：根據(jù)資源使用情況，自動(dòng)分配作業(yè)執(zhí)行節(jié)點(diǎn)；根據(jù)設(shè)置的閾值，對(duì)調(diào)度資源進(jìn)行監(jiān)控，超值告警。

參數(shù)管理：可以對(duì)調(diào)度的各種參數(shù)進(jìn)行統(tǒng)一管理、修改。

接口：提供各類接口滿足接入其他平臺(tái)或批量生產(chǎn)作業(yè)。

面臨挑戰(zhàn)

隨著銀行信息化程度的逐年提高，數(shù)據(jù)的積累使得其使用與價(jià)值創(chuàng)造成為了可能，但是由于系統(tǒng)建設(shè)缺乏統(tǒng)籌能力，導(dǎo)致了系統(tǒng)之間存在孤島現(xiàn)象，從而引發(fā)數(shù)據(jù)不一致、業(yè)務(wù)指標(biāo)口徑不一致等問題，數(shù)據(jù)質(zhì)量堪憂?；谶@些問題，需要統(tǒng)一的數(shù)據(jù)資產(chǎn)監(jiān)控平臺(tái)，通過數(shù)據(jù)標(biāo)準(zhǔn)梳理和建設(shè)、元數(shù)據(jù)管理、數(shù)據(jù)地圖建設(shè)，進(jìn)而提升數(shù)據(jù)質(zhì)量。

由于銀行系統(tǒng)承建單位不同，各系統(tǒng)存在許多基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一、業(yè)務(wù)指標(biāo)口徑不一致，造成數(shù)據(jù)質(zhì)量低下，數(shù)據(jù)應(yīng)用分析結(jié)果錯(cuò)誤，進(jìn)而導(dǎo)致決策失誤，需要通過數(shù)據(jù)標(biāo)準(zhǔn)管理平臺(tái)為銀行數(shù)據(jù)建立標(biāo)準(zhǔn)，消除數(shù)據(jù)的不一致性。

另外，當(dāng)前銀行還缺少以下數(shù)據(jù)治理各領(lǐng)域的管理體系：

1、缺少企業(yè)級(jí)數(shù)據(jù)標(biāo)準(zhǔn)管理體系

雖然銀行擁有了大量的數(shù)據(jù)資源，但是，也經(jīng)常面臨重要數(shù)據(jù)缺失，系統(tǒng)間數(shù)據(jù)不一致，統(tǒng)計(jì)口徑和加工方法不一致，導(dǎo)致數(shù)據(jù)可信度降低的問題。深入分析后發(fā)現(xiàn)，出現(xiàn)這種現(xiàn)象的原因?yàn)槿狈τ行У臄?shù)據(jù)標(biāo)準(zhǔn)化。

2、缺少企業(yè)級(jí)元數(shù)據(jù)管理體系

目前，我國大多數(shù)銀行的元數(shù)據(jù)管理僅限于少數(shù)系統(tǒng)和少數(shù)用戶，尚未達(dá)到體系化的程度，也存在完備性不足的情況。

3、缺少企業(yè)級(jí)數(shù)據(jù)質(zhì)量管理體系

數(shù)據(jù)的質(zhì)量對(duì)銀行業(yè)發(fā)展尤為重要，并且銀行對(duì)數(shù)據(jù)質(zhì)量的治理重視程度會(huì)直接影響數(shù)據(jù)治理的成效。銀行的數(shù)據(jù)質(zhì)量管理應(yīng)當(dāng)涵蓋數(shù)據(jù)質(zhì)量問題的防范、識(shí)別、度量、分析、監(jiān)控、清洗等管理活動(dòng)，以滿足對(duì)數(shù)據(jù)質(zhì)量的要求。

4、缺少完備的數(shù)據(jù)生命周期管理體系

當(dāng)前銀行大部分在系統(tǒng)無法支撐時(shí)才考慮數(shù)據(jù)清理備份的工作，難以做到對(duì)數(shù)據(jù)生命周期的統(tǒng)籌管理，并且對(duì)支付數(shù)據(jù)生命周期管理的系統(tǒng)和工具建設(shè)力度不夠，不能很好的支撐全行數(shù)據(jù)生命周期管理工作。

5、缺乏完善的系統(tǒng)支撐和技術(shù)手段

銀行存在的系統(tǒng)數(shù)據(jù)量龐大，各式系統(tǒng)多種多樣，如果不依賴技術(shù)手段，沒有相應(yīng)的支撐平臺(tái)和工具，就不可能理解如此龐大的數(shù)據(jù)量和看到其潛在價(jià)值。

數(shù)據(jù)支持

本項(xiàng)目是對(duì)銀行全域數(shù)據(jù)資產(chǎn)進(jìn)行治理，主要包括業(yè)務(wù)系統(tǒng)數(shù)據(jù)資產(chǎn)（CRM、數(shù)整平臺(tái)、積分商城、總行信貸、村鎮(zhèn)貸等）和內(nèi)部管理系統(tǒng)數(shù)據(jù)資產(chǎn)（人力資源、ERP財(cái)務(wù)等），共3350多個(gè)數(shù)據(jù)表。

應(yīng)用技術(shù)與實(shí)施過程

本項(xiàng)目實(shí)施般總體為三個(gè)階段：一是對(duì)銀行方的數(shù)據(jù)資產(chǎn)進(jìn)行現(xiàn)狀梳理分析與評(píng)估；二是進(jìn)行數(shù)據(jù)治理體系設(shè)計(jì)與規(guī)劃；三是數(shù)據(jù)治理平臺(tái)的建設(shè)。

一、全域系統(tǒng)的標(biāo)準(zhǔn)合規(guī)評(píng)估

數(shù)據(jù)標(biāo)準(zhǔn)落地工作首先要從對(duì)現(xiàn)有系統(tǒng)的合規(guī)情況了解為起點(diǎn)。通過數(shù)據(jù)標(biāo)準(zhǔn)映射和差異分析，對(duì)銀行方各類業(yè)務(wù)系統(tǒng)以及其他重要系統(tǒng)中的業(yè)務(wù)數(shù)據(jù)與山東城商行聯(lián)盟數(shù)據(jù)治理相關(guān)標(biāo)準(zhǔn)進(jìn)行對(duì)標(biāo)，并得出系統(tǒng)數(shù)據(jù)診斷和梳理分析。

二、進(jìn)行數(shù)據(jù)治理體系的設(shè)計(jì)與規(guī)劃

根據(jù)《山東城商行聯(lián)盟數(shù)據(jù)治理管理辦法》及相關(guān)標(biāo)準(zhǔn)，建立覆蓋數(shù)據(jù)產(chǎn)生、存儲(chǔ)、交換、加工、歸檔和應(yīng)用等全生命周期的管理流程，規(guī)范全流程數(shù)據(jù)標(biāo)準(zhǔn)審核、內(nèi)部數(shù)據(jù)服務(wù)申請(qǐng)、外部監(jiān)管數(shù)據(jù)報(bào)送、外部數(shù)據(jù)安全合作等控制流程，通過全流程管控方式保障數(shù)據(jù)的準(zhǔn)確性、一致性、完整性、及時(shí)性，促進(jìn)數(shù)據(jù)資產(chǎn)發(fā)揮價(jià)值。

如元數(shù)據(jù)實(shí)施體系方面，目前僅覆蓋僅限數(shù)據(jù)倉庫相關(guān)系統(tǒng)，未入倉的業(yè)務(wù)系統(tǒng)和其他下游應(yīng)用系統(tǒng)使用的源系統(tǒng)的數(shù)據(jù)字典、注釋、接口等元數(shù)據(jù)內(nèi)容未納入管理范圍，本項(xiàng)目將元數(shù)據(jù)管理的范圍應(yīng)擴(kuò)展到銀行全域的所有系統(tǒng)。 元數(shù)據(jù)管理對(duì)象的類型待擴(kuò)充：元數(shù)據(jù)管理的內(nèi)容應(yīng)擴(kuò)充數(shù)據(jù)模型、TEL腳本之外其他信息，例如業(yè)務(wù)術(shù)語、數(shù)據(jù)分布、數(shù)據(jù)存儲(chǔ)等。

對(duì)各系統(tǒng)數(shù)據(jù)的數(shù)據(jù)關(guān)系、數(shù)據(jù)質(zhì)量、ETL作業(yè)、等內(nèi)容進(jìn)行管理，具有一定的數(shù)據(jù)調(diào)度、數(shù)據(jù)質(zhì)量檢核、數(shù)據(jù)的傳輸與下發(fā)以及元數(shù)據(jù)的采集功能。元數(shù)據(jù)管理的范圍主要圍繞數(shù)據(jù)倉庫以及其上下游的元數(shù)據(jù)對(duì)象，具體數(shù)據(jù)接口文件定義、數(shù)據(jù)庫分層物理模型定義、ETL作業(yè)定義、業(yè)務(wù)報(bào)表定義。元數(shù)據(jù)平臺(tái)包含了元數(shù)據(jù)查詢、元數(shù)據(jù)統(tǒng)計(jì)、實(shí)體級(jí)的血緣分析和影響性分析，以及統(tǒng)計(jì)報(bào)表的“查詢時(shí)間”、“平均耗時(shí)”和“最大耗時(shí)”功能。

三、進(jìn)行數(shù)據(jù)治理平臺(tái)的建設(shè)

根據(jù)前兩個(gè)階段的成果進(jìn)行全域數(shù)據(jù)治理智能服務(wù)平臺(tái)的設(shè)計(jì)、開發(fā)和測(cè)試、上線試運(yùn)行等工作。

1、平臺(tái)總體結(jié)構(gòu)和技術(shù)架構(gòu)

全域數(shù)據(jù)治理智能服務(wù)平臺(tái)采用前后端完全分離技術(shù)，整體技術(shù)框架以自主研發(fā)的WISEWEB-MVC技術(shù)作為基礎(chǔ)，同時(shí)整合了面向服務(wù)的架構(gòu)（SOA）。

平臺(tái)集成了前端展示技術(shù)，包括VUE、three.js、echarts、d3等。

基于HTTP、Webservice接口技術(shù)，可零編碼封裝數(shù)據(jù)接口，對(duì)外進(jìn)行服務(wù)接口的發(fā)布。

平臺(tái)集成了elasticsearch、fastdfs等存儲(chǔ)技術(shù)，用于存儲(chǔ)服務(wù)數(shù)據(jù)以及非結(jié)構(gòu)化數(shù)據(jù)。

平臺(tái)集成統(tǒng)一的調(diào)度中心：支持HA集群模式調(diào)度，多種任務(wù)路由策略。

系統(tǒng)部署：

（1）支持主服務(wù)的HA高可用部署，避免單點(diǎn)故障即使主管理服務(wù) server無法正常工作，也不影響整個(gè)作業(yè)平臺(tái)的自動(dòng)化調(diào)度運(yùn)行；

（2）支持代理節(jié)點(diǎn)的負(fù)載均衡調(diào)度，避免代理因負(fù)荷過載而導(dǎo)致調(diào)度效率下降；

（3）支持分布式集群部署，可實(shí)現(xiàn)高可用性與負(fù)載均衡的企業(yè)級(jí)；

（4）提供多種機(jī)制保證批量敏捷調(diào)度7*24小時(shí)高可用運(yùn)行。

系統(tǒng)安全：

提供訪問控制，可參數(shù)化配置多層次安全控制，可按照用戶組定義安全策略。數(shù)據(jù)傳輸過程中，應(yīng)根據(jù)安全等級(jí)要求，對(duì)有保密需求的數(shù)據(jù)進(jìn)行加密傳輸。

2、系統(tǒng)主要功能的研發(fā)實(shí)現(xiàn)

2.1 工作臺(tái)

通過工作臺(tái)，當(dāng)前登錄用戶可以查看與其相關(guān)的數(shù)據(jù)治理相關(guān)工作。

2.2 數(shù)據(jù)地圖

支持根據(jù)分層分域的關(guān)系自動(dòng)顯示數(shù)據(jù)駕駛艙，可以通過點(diǎn)擊分層或者主題域下鉆查看具體數(shù)據(jù)表。

2.3 元數(shù)據(jù)

元數(shù)據(jù)管理包括原模型、元數(shù)據(jù)采集、元數(shù)據(jù)維護(hù)、元數(shù)據(jù)訂閱和版本管理。

2.3.1 元模型

元模型用于定義元數(shù)據(jù)采集的范圍和具體采集的屬性，本版本元模型均為內(nèi)置，不允許進(jìn)行新增，修改，刪除

2.3.2 元數(shù)據(jù)采集

提供對(duì)技術(shù)元數(shù)據(jù)的定時(shí)采集任務(wù)的配置。

主要的采集范圍包括：關(guān)系型數(shù)據(jù)庫的元數(shù)據(jù)， 大數(shù)據(jù)的Hive元數(shù)據(jù)，HDFS的元數(shù)據(jù)，HBASE的元數(shù)據(jù) ，shell腳本元數(shù)據(jù)

2.3.3 元數(shù)據(jù)稽核

2.3.4 元數(shù)據(jù)管理

提供元數(shù)據(jù)的維護(hù)，訂閱，和版本管理功能。

2.3.5 元數(shù)據(jù)分析

輸入任意字符，搜索元數(shù)據(jù)。

2.3.6 元數(shù)據(jù)安全

按照表的維度，對(duì)表進(jìn)行授權(quán)到部門，用戶，角色。

2.4 數(shù)據(jù)標(biāo)準(zhǔn)

2.4.1 數(shù)據(jù)元

數(shù)據(jù)元作為數(shù)據(jù)的最小單元，包括本地標(biāo)準(zhǔn)，國家標(biāo)準(zhǔn)和行業(yè)標(biāo)準(zhǔn)的維護(hù)和引用，包括名稱，規(guī)則的配置。

2.4.2 代碼集

提供對(duì)代碼集的查詢，新增，修改功能。

2.4.3 數(shù)據(jù)集

提供數(shù)據(jù)集的新增，修改，查詢，詳情查看功能。

2.4.4 編碼標(biāo)準(zhǔn)

提供用戶對(duì)部門或者系統(tǒng)進(jìn)行編碼的能力，“命名規(guī)則”為業(yè)務(wù)編碼規(guī)則中的其中一個(gè)能力，主要應(yīng)用于數(shù)據(jù)庫表的命名規(guī)則；

2.4.5 標(biāo)簽管理

提供對(duì)編碼標(biāo)準(zhǔn)的查詢和查看功能。

2.5 數(shù)據(jù)模型

2.5.1 邏輯模型

設(shè)計(jì)數(shù)據(jù)庫邏輯模型。

2.5.2 物理模型

提供對(duì)數(shù)據(jù)庫生成相應(yīng)的模型并可在數(shù)據(jù)庫中新建表、查看數(shù)據(jù)庫表的功能。

2.6 數(shù)據(jù)質(zhì)量管理

2.6.1 質(zhì)量規(guī)則

以表的維度計(jì)算及展示每個(gè)表的所有字段的規(guī)則。

2.6.2 質(zhì)量設(shè)計(jì)

質(zhì)量設(shè)計(jì)實(shí)現(xiàn)對(duì)表的校驗(yàn)流程配置，同時(shí)可依據(jù)質(zhì)量規(guī)則自動(dòng)生成質(zhì)量任務(wù)。支持選擇數(shù)據(jù)源、刪除數(shù)據(jù)源、質(zhì)量設(shè)計(jì)、變更通知等功能。

2.6.3 問題數(shù)據(jù)

輸出質(zhì)量任務(wù)的數(shù)據(jù)校驗(yàn)結(jié)果。

2.6.4 質(zhì)量評(píng)估

配置質(zhì)量分類及計(jì)算權(quán)重。

2.6.5 質(zhì)量報(bào)告

根據(jù)問題數(shù)據(jù)計(jì)算數(shù)據(jù)質(zhì)量情況。

2.7 調(diào)度中心

2.7.1 任務(wù)管理

維護(hù)數(shù)據(jù)質(zhì)量，元數(shù)據(jù)采集，服務(wù)數(shù)據(jù)同步，訂閱數(shù)據(jù)同步，元數(shù)據(jù)稽核，生命周期任務(wù)。

2.7.2 任務(wù)監(jiān)控

監(jiān)控所有注冊(cè)到調(diào)度中心的任務(wù)列表。

2.7.3 告警配置

配置元數(shù)據(jù)稽核，數(shù)據(jù)質(zhì)量校驗(yàn)，調(diào)度任務(wù)的告警規(guī)則。

2.7.4 告警通知

展示告警通知結(jié)果列表。

2.7.5 服務(wù)治理

展示共享服務(wù)管理列表，以及發(fā)布服務(wù)。

2.8 資產(chǎn)管理

2.8.1 生命周期

維護(hù)數(shù)據(jù)的生命周期，以策略方式來配置數(shù)據(jù)的刪除策略。

2.8.2 主數(shù)據(jù)管理

維護(hù)主數(shù)據(jù)的新增，編輯，刪除以及發(fā)布。

2.8.3 資產(chǎn)目錄

數(shù)據(jù)資源編目，維護(hù)資源目錄的新增，修改，刪除，發(fā)布，下載功能。

2.8.4 數(shù)據(jù)查詢

以sql方式編寫查詢語句，查詢結(jié)果，并且可根據(jù)結(jié)果發(fā)布成共享服務(wù)。

3、使用的核心技術(shù)

網(wǎng)絡(luò)智能機(jī)器人是網(wǎng)智天元公司獨(dú)創(chuàng)的先進(jìn)技術(shù)，在全域數(shù)據(jù)治理智能服務(wù)平臺(tái)中進(jìn)行很多數(shù)據(jù)治理操作流程的模擬和智能自動(dòng)化處理。該技術(shù)設(shè)計(jì)實(shí)現(xiàn)的軟件，提供圖形化界面，內(nèi)置一個(gè)網(wǎng)頁瀏覽器，用戶只需點(diǎn)擊鼠標(biāo)進(jìn)行選擇，不但可以靈活定義網(wǎng)頁中要采集的任意內(nèi)容（如文字、圖片），而且可以完全模擬用戶瀏覽操作網(wǎng)頁的所有步驟（如輸入登錄信息、循環(huán)、翻頁等），并自動(dòng)形成一個(gè)非侵入的數(shù)據(jù)治理網(wǎng)絡(luò)智能機(jī)器人，實(shí)現(xiàn)網(wǎng)頁信息的自動(dòng)感知、分析、處理等。數(shù)據(jù)治理網(wǎng)絡(luò)智能機(jī)器人可以批量運(yùn)行于分布式環(huán)境下，數(shù)據(jù)治理的結(jié)果可以存放在任何類型的數(shù)據(jù)庫中。

網(wǎng)絡(luò)智能機(jī)器人軟件的體系結(jié)構(gòu)如下：

圖中各個(gè)子系統(tǒng)的功能如下：

數(shù)據(jù)模型構(gòu)建系統(tǒng)

——幫助用戶建立要處理數(shù)據(jù)的數(shù)據(jù)模型屬性。

可視化機(jī)器人生成系統(tǒng)

——幫助用戶建立數(shù)據(jù)治理機(jī)器人。

機(jī)器人服務(wù)器

——負(fù)責(zé)調(diào)度運(yùn)行機(jī)器人進(jìn)行服務(wù)。

機(jī)器人管理工具

——幫助用戶查看機(jī)器人狀態(tài)和管理機(jī)器人。

控制中心

——幫助用戶管理分布式環(huán)境下的機(jī)器人服務(wù)器。

機(jī)器人客戶端

——提供遠(yuǎn)程訪問控制機(jī)器人狀態(tài)的界面。

其中，機(jī)器人制作子系統(tǒng)輔助用戶根據(jù)不同的信息智能絡(luò)服務(wù)需求，靈活定義制作生成不同的網(wǎng)絡(luò)智能機(jī)器人。網(wǎng)絡(luò)智能機(jī)器人：即實(shí)現(xiàn)某種網(wǎng)絡(luò)智能服務(wù)任務(wù)的程序，一般每一個(gè)網(wǎng)絡(luò)智能機(jī)器人對(duì)應(yīng)一個(gè)網(wǎng)絡(luò)系統(tǒng)的一項(xiàng)任務(wù)，例如既可以一個(gè)創(chuàng)建網(wǎng)絡(luò)智能機(jī)器人在內(nèi)部系統(tǒng)中瀏覽人力資源數(shù)據(jù)，也可以創(chuàng)建一個(gè)網(wǎng)絡(luò)智能機(jī)器人在財(cái)務(wù)系統(tǒng)中統(tǒng)計(jì)相關(guān)數(shù)據(jù)。利用可視化網(wǎng)絡(luò)智能機(jī)器人制作系統(tǒng)，每次可以創(chuàng)建一個(gè)網(wǎng)絡(luò)智能機(jī)器人。一旦設(shè)計(jì)完畢被賦予網(wǎng)絡(luò)智能服務(wù)任務(wù)后，可以自動(dòng)地模擬人在網(wǎng)絡(luò)系統(tǒng)中的操作和數(shù)據(jù)分析處理動(dòng)作。

機(jī)器人制作系統(tǒng)包括這么幾個(gè)部分：機(jī)器人步驟管理器，當(dāng)前狀態(tài)管理器，動(dòng)作管理器，輸入輸出對(duì)象管理器。

機(jī)器人步驟管理器：機(jī)器人步驟管理器中可以查看機(jī)器人的動(dòng)作步驟和步驟之間的關(guān)系。用戶可以設(shè)定步驟執(zhí)行的順序，包括順序執(zhí)行，循環(huán)執(zhí)行，分支執(zhí)行等多種執(zhí)行循序。在每個(gè)步驟上點(diǎn)右鍵，可以更改每個(gè)步驟的動(dòng)作。

機(jī)器人狀態(tài)管理器：機(jī)器人狀態(tài)管理器實(shí)現(xiàn)顯示、管理和設(shè)定機(jī)器人在某個(gè)步驟的狀態(tài)，包括當(dāng)前頁面瀏覽，當(dāng)前頁面源碼瀏覽，當(dāng)前頁面DOM樹圖瀏覽，當(dāng)前標(biāo)簽路徑瀏覽與設(shè)定。

機(jī)器人動(dòng)作管理器：機(jī)器人動(dòng)作管理器實(shí)現(xiàn)顯示、管理和設(shè)定機(jī)器人的當(dāng)前步驟，包括查找標(biāo)簽路徑，定義當(dāng)前動(dòng)作，定義動(dòng)作的輸入輸出對(duì)象，設(shè)定錯(cuò)誤處理方法。

機(jī)器人調(diào)試子系統(tǒng)實(shí)現(xiàn)調(diào)試執(zhí)行機(jī)器人動(dòng)作的過程，查看執(zhí)行狀態(tài)和結(jié)果。調(diào)試的方法包括單步執(zhí)行調(diào)試，斷點(diǎn)執(zhí)行調(diào)試，調(diào)試過程中可直接查看執(zhí)行的輸出結(jié)果和執(zhí)行日志。

網(wǎng)絡(luò)智能機(jī)器人是通過模擬一系列真人使用瀏覽器時(shí)所作出的各種動(dòng)作來完成的，由于每個(gè)網(wǎng)絡(luò)系統(tǒng)的界面設(shè)計(jì)不一樣，人做出的一個(gè)發(fā)帖動(dòng)作在每個(gè)系統(tǒng)上都是有不同的瀏覽器操作動(dòng)作組成，因此網(wǎng)絡(luò)智能機(jī)器人制作子系統(tǒng)采用組件化的方式設(shè)計(jì)實(shí)現(xiàn)了機(jī)器人在瀏覽器中可以模擬的各種基本動(dòng)作，總共10類60個(gè)動(dòng)作，是數(shù)據(jù)治理智能服務(wù)平臺(tái)不可或缺的重要組成部分。

整個(gè)項(xiàng)目完成后，全域數(shù)據(jù)治理智能服務(wù)平臺(tái)實(shí)現(xiàn)了元數(shù)據(jù)管理、數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)質(zhì)量管理、資產(chǎn)管理、數(shù)據(jù)安全管理、共享服務(wù)管理、主數(shù)據(jù)管理以及全生命周期管理等，為本項(xiàng)目銀行提供一套完整的數(shù)據(jù)治理解決方案。

全域數(shù)據(jù)治理智能服務(wù)平臺(tái)是高效的數(shù)據(jù)管理平臺(tái)。本平臺(tái)具備統(tǒng)一的連接性、元數(shù)據(jù)和操作管理功能，加快了大數(shù)據(jù)管理項(xiàng)目的開發(fā)和部署速度，同本平臺(tái)基于SOA整體架構(gòu)進(jìn)行開發(fā)。軟件采用層次化結(jié)構(gòu)，支持分布式系統(tǒng)部署。

數(shù)據(jù)治理平臺(tái)：提供數(shù)據(jù)治理的基礎(chǔ)能力，主要包括用戶管理、元數(shù)據(jù)智能管理、任務(wù)調(diào)度中心、數(shù)據(jù)源管理、建模設(shè)計(jì)、日志管理。

服務(wù)能力：主要涉及數(shù)據(jù)治理和共享門戶兩方面。數(shù)據(jù)治理服務(wù)能力包括數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)資產(chǎn)、數(shù)據(jù)服務(wù)、數(shù)據(jù)安全；共享門戶主要提供數(shù)據(jù)服務(wù)查詢、申請(qǐng)能力。

用戶群體：數(shù)據(jù)治理平臺(tái)面向的用戶群體主要包括數(shù)據(jù)開發(fā)人員、數(shù)據(jù)分析師、業(yè)務(wù)用戶、數(shù)據(jù)科學(xué)家、數(shù)據(jù)管理員、數(shù)據(jù)操作員。

商業(yè)改變

一、節(jié)省人力成本，自動(dòng)形成數(shù)據(jù)資產(chǎn)

梳理銀行方全域數(shù)據(jù)，根據(jù)流程和標(biāo)準(zhǔn)智能、自動(dòng)形成數(shù)據(jù)資產(chǎn)，節(jié)省人工成本和計(jì)算資源，提升60%以上的數(shù)據(jù)治理效率和40%以上的智能自動(dòng)化率，。

二、提升了數(shù)據(jù)應(yīng)用效率

查詢、維護(hù)處理響應(yīng)時(shí)間：單一條件查詢≤3秒；組合條件查詢≤5秒；關(guān)聯(lián)復(fù)雜查詢≤8 秒。

三、實(shí)現(xiàn)了全域數(shù)據(jù)治理能力

為銀行方提供數(shù)據(jù)治理環(huán)境，包括數(shù)據(jù)元管理、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、ETL開發(fā)系統(tǒng)、調(diào)度管理系統(tǒng)，實(shí)現(xiàn)對(duì)數(shù)據(jù)元的規(guī)范化管理，提升了元數(shù)據(jù)管理效率和服務(wù)水平，為金融數(shù)據(jù)質(zhì)量管控的落實(shí)提供技術(shù)平臺(tái)支撐，提供數(shù)據(jù)的采集、整合、調(diào)度環(huán)境。

四、構(gòu)建了全域數(shù)據(jù)的多方面服務(wù)能力

常規(guī)服務(wù)能力：主要涉及數(shù)據(jù)治理和共享門戶兩方面。數(shù)據(jù)治理服務(wù)能力包括數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)資產(chǎn)、數(shù)據(jù)服務(wù)、數(shù)據(jù)安全；共享門戶主要提供數(shù)據(jù)服務(wù)查詢、申請(qǐng)能力。

解決方案能力：基于數(shù)據(jù)治理能力，根據(jù)不同產(chǎn)品功能組合提供不同的解決方案，主要包括共享交換、數(shù)據(jù)倉庫、資源目錄、數(shù)據(jù)資產(chǎn)管理、主數(shù)據(jù)管理、數(shù)據(jù)治理。

智能化處理信息：平臺(tái)可通過網(wǎng)絡(luò)智能機(jī)器人自動(dòng)進(jìn)行數(shù)據(jù)分析，并根據(jù)分級(jí)分類進(jìn)行掃描，掃描后方可自動(dòng)化進(jìn)行數(shù)據(jù)處理，一次配置，多次定時(shí)處理。

全方位監(jiān)控審計(jì)：數(shù)據(jù)處理中做到“有據(jù)可循”原則，無論是人員操作處理，還是系統(tǒng)操作出現(xiàn)的情況，都能夠?qū)崟r(shí)記錄，并實(shí)時(shí)監(jiān)控機(jī)器配置情況。

相關(guān)企業(yè)介紹

●網(wǎng)智天元

網(wǎng)智天元科技集團(tuán)股份有限公司成立于2007年，是中關(guān)村高新技術(shù)企業(yè)、國家雙軟認(rèn)證企業(yè)和國家高新技術(shù)企業(yè)，中關(guān)村大數(shù)據(jù)產(chǎn)業(yè)聯(lián)盟和中國大數(shù)據(jù)產(chǎn)業(yè)生態(tài)聯(lián)盟理事單位。

發(fā)展至今，已成長為一家具有完全自主知識(shí)產(chǎn)權(quán)的網(wǎng)絡(luò)智能核心技術(shù)領(lǐng)軍企業(yè)，在政府輿情與企業(yè)聲譽(yù)風(fēng)險(xiǎn)、大數(shù)據(jù)風(fēng)控、文化大數(shù)據(jù)應(yīng)用領(lǐng)域處于細(xì)分領(lǐng)軍地位，致力于利用網(wǎng)絡(luò)智能技術(shù)為客戶提供大數(shù)據(jù)智能處理與價(jià)值變現(xiàn)的整體價(jià)值鏈解決方案，輔助決策，防控風(fēng)險(xiǎn)，優(yōu)化運(yùn)營，提升客戶核心競爭力。

●某新型商業(yè)銀行

某新型商業(yè)銀行是一家依靠數(shù)據(jù)和技術(shù)來驅(qū)動(dòng)業(yè)務(wù)運(yùn)營，實(shí)現(xiàn)金融和科技的融合的新一代銀行，致力于通過互聯(lián)網(wǎng)技術(shù)為廣大消費(fèi)者和小微企業(yè)提供定制化的金融服務(wù)。銀行秉持“用戶導(dǎo)向、技術(shù)驅(qū)動(dòng)”的理念，以及“單點(diǎn)突破、快速迭代”的打法，把金融科技和大數(shù)據(jù)風(fēng)控視為自身的核心能力來建設(shè)和創(chuàng)新，運(yùn)用云計(jì)算、大數(shù)據(jù)、人工智能等新一代互聯(lián)網(wǎng)技術(shù)，為“二八定律”中那80%沒有享受到完善金融服務(wù)的小微群體，提供更安全、更便捷和更高效的金融服務(wù)，用技術(shù)的力量做好普惠金融的補(bǔ)位者和探索者。

來源：數(shù)據(jù)猿