復(fù)雜網(wǎng)絡(luò)：是指具有自組織、自相似、吸引子、小世界、無標(biāo)度中部分或全部性質(zhì)的網(wǎng)絡(luò)。

元數(shù)據(jù)：為描述數(shù)據(jù)的數(shù)據(jù)，主要是描述數(shù)據(jù)屬性的信息，用來支持如指示存儲(chǔ)位置、歷史數(shù)據(jù)、資源查找、文件記錄等功能。

邏輯計(jì)劃：是對(duì)傳統(tǒng)數(shù)據(jù)庫中SQL解析的邏輯計(jì)劃的一次進(jìn)一步提煉，這里是對(duì)數(shù)據(jù)庫上層邏輯的一次抽象，如有SQL的邏輯計(jì)劃、圖的邏輯計(jì)劃、AI的邏輯計(jì)劃等。

Hubble數(shù)據(jù)庫支持多種邏輯計(jì)劃如圖邏輯計(jì)劃、SQL邏輯計(jì)劃、AI邏輯計(jì)劃等，其中圖的邏輯計(jì)劃可以提供標(biāo)準(zhǔn)的圖的訪問接口等。本次項(xiàng)目首先用到了Hubble數(shù)據(jù)庫的圖邏輯計(jì)劃；其次在元數(shù)據(jù)表達(dá)層，通過圖的方式來表達(dá)元數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，使元數(shù)據(jù)在更高的維度被表達(dá)出來。因?yàn)楦呔S的表達(dá)，帶來更多新的特性，數(shù)據(jù)的相似性、關(guān)聯(lián)關(guān)系、健壯性、中心性等可以很好的做分析。通過Hubble做為支撐，從SQL的反解析、應(yīng)用的逆向工程，自動(dòng)的構(gòu)建元數(shù)據(jù)網(wǎng)絡(luò)，符合Dama2.0的設(shè)計(jì)，為數(shù)據(jù)治理提供新的方法論的支持。

技術(shù)說明

元數(shù)據(jù)管理作為數(shù)據(jù)管理框架中一項(xiàng)重要的管理職能，被廣泛地應(yīng)用于企業(yè)的數(shù)據(jù)管理體系中。元數(shù)據(jù)是指描述數(shù)據(jù)的數(shù)據(jù)，是對(duì)數(shù)據(jù)進(jìn)行描述、解釋、定位使其更方便檢索、使用或管理的數(shù)據(jù)。元數(shù)據(jù)包括技術(shù)元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)。其中，技術(shù)元數(shù)據(jù)是從數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)處理細(xì)節(jié)方面對(duì)數(shù)據(jù)進(jìn)行技術(shù)化描述，業(yè)務(wù)元數(shù)據(jù)是從業(yè)務(wù)術(shù)語、業(yè)務(wù)描述、業(yè)務(wù)指標(biāo)和業(yè)務(wù)規(guī)則對(duì)數(shù)據(jù)進(jìn)行描述。

元數(shù)據(jù)管理系統(tǒng)包括：業(yè)務(wù)對(duì)象生成模塊、關(guān)聯(lián)節(jié)點(diǎn)獲取模塊、關(guān)聯(lián)關(guān)系解析模塊和元數(shù)據(jù)加工模塊，用于根據(jù)至少兩個(gè)原始節(jié)點(diǎn)生成業(yè)務(wù)對(duì)象，獲取業(yè)務(wù)對(duì)象的關(guān)聯(lián)節(jié)點(diǎn)，并獲取業(yè)務(wù)對(duì)象和關(guān)聯(lián)節(jié)點(diǎn)之間的關(guān)聯(lián)關(guān)系，根據(jù)業(yè)務(wù)對(duì)象、關(guān)聯(lián)節(jié)點(diǎn)和關(guān)聯(lián)關(guān)系形成復(fù)雜網(wǎng)。

Hubble數(shù)據(jù)庫創(chuàng)造性的提出邏輯計(jì)劃的概念，是對(duì)SQL解析中邏輯計(jì)劃的升級(jí)，把數(shù)據(jù)庫對(duì)不同邏輯的支撐定義為邏輯計(jì)劃，如SQL邏輯計(jì)劃、圖邏輯計(jì)劃、AI邏輯計(jì)劃、3D點(diǎn)云邏輯計(jì)劃等。所有的邏輯計(jì)劃共用存儲(chǔ)層、調(diào)度層、資源管理層，在對(duì)元數(shù)據(jù)的處理中采用了復(fù)雜網(wǎng)絡(luò)的方式來做高維表達(dá)，對(duì)元數(shù)據(jù)的相似性、關(guān)聯(lián)關(guān)系、健壯性、中心性等在復(fù)雜網(wǎng)絡(luò)層通過圖的算法快速實(shí)現(xiàn)。對(duì)于應(yīng)用，該方法通過對(duì)SQL的反解析，以及應(yīng)用逆向工程，實(shí)現(xiàn)元數(shù)據(jù)網(wǎng)絡(luò)的自動(dòng)構(gòu)建。在邏輯計(jì)劃層，Hubble通過對(duì)底層底層接口資源的進(jìn)一步抽象，對(duì)存儲(chǔ)、調(diào)度、資源等這在SQL邏輯重點(diǎn)對(duì)SQL的解析、SQL計(jì)劃轉(zhuǎn)化、SQL優(yōu)化做處理，在圖的邏輯計(jì)劃中對(duì)圖的點(diǎn)、邊、屬性等做對(duì)應(yīng)的映射，使圖的基礎(chǔ)元素可以方便的映射到底層存儲(chǔ)中。

在對(duì)應(yīng)用的SQL反解析中借助了Hubble數(shù)據(jù)庫的SQL解析可以對(duì)Mysql、Oracle、DB2、Hive等常用的數(shù)據(jù)庫的語法全部做到兼容并解析為抽象結(jié)構(gòu)樹，在對(duì)樹型結(jié)構(gòu)做關(guān)系抽取，映射到表與字段的關(guān)系、表與表的關(guān)系、字段與字段的關(guān)系，從形式真正的血緣關(guān)系圖譜，并通過算法對(duì)圖中的相似關(guān)系進(jìn)行計(jì)算，得相似性關(guān)系圖譜。每個(gè)圖譜中的基礎(chǔ)節(jié)點(diǎn)就是原始節(jié)點(diǎn)，由于原始節(jié)點(diǎn)代表了技術(shù)元數(shù)據(jù)，根據(jù)原始節(jié)點(diǎn)生成業(yè)務(wù)對(duì)象并形成以業(yè)務(wù)對(duì)象為中心節(jié)點(diǎn)的復(fù)雜網(wǎng)絡(luò)，實(shí)現(xiàn)了技術(shù)元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)的融合，從而，使得元數(shù)據(jù)管理系統(tǒng)能夠更好地適應(yīng)企業(yè)不斷發(fā)展的業(yè)務(wù)需求，提高了元數(shù)據(jù)管理的靈活性和有效性，提升了數(shù)據(jù)資產(chǎn)的價(jià)值。

通過對(duì)圖譜技術(shù)元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)進(jìn)行圖算如Pagerank、最短路徑、刪邊、介數(shù)等計(jì)算得圖元數(shù)據(jù)的活躍性、連通性、健壯性等圖的基礎(chǔ)特性，賦予元數(shù)據(jù)對(duì)應(yīng)的表與字段，形成對(duì)應(yīng)的血緣關(guān)系。在圖譜的輔助下方便做進(jìn)一步的主題構(gòu)建。在主題構(gòu)建中基于圖譜的血緣關(guān)系以及基于Hubble數(shù)據(jù)的計(jì)算能力、多源異構(gòu)的能力，可以實(shí)現(xiàn)虛擬主題的構(gòu)建，做虛擬視圖映射，減少數(shù)據(jù)的移動(dòng)，以及存儲(chǔ)空間的占用。

★專利申請(qǐng)?zhí)?公開號(hào)：CN112364096A

開發(fā)團(tuán)隊(duì)

·帶隊(duì)負(fù)責(zé)人姓名：喬旺龍

喬旺龍先生，金融科技產(chǎn)業(yè)聯(lián)盟分布式數(shù)據(jù)庫專委會(huì)委員、參加國家級(jí)相關(guān)發(fā)明專利編寫多項(xiàng)，曾主導(dǎo)編寫"智慧糧食系統(tǒng)內(nèi)部數(shù)據(jù)采集研究"發(fā)表與《中國科技縱橫》，2013年入職天云融創(chuàng)數(shù)據(jù)科技（北京）有限公司，現(xiàn)在我司擔(dān)任副總裁，負(fù)責(zé)我司分布式基礎(chǔ)組件的分布式產(chǎn)品線，包括分布式數(shù)據(jù)庫、圖計(jì)算等，其計(jì)算機(jī)相關(guān)知識(shí)扎實(shí)，在分布式、數(shù)據(jù)庫等多個(gè)領(lǐng)域都有突破。

·隸屬機(jī)構(gòu)：天云數(shù)據(jù)

天云數(shù)據(jù)，首批國家級(jí)專精特新小巨人企業(yè)，數(shù)據(jù)庫及人工智能基礎(chǔ)軟件獨(dú)角獸企業(yè)。

在數(shù)據(jù)供給側(cè)：天云數(shù)據(jù)榮膺全球領(lǐng)先的信息技術(shù)研究和顧問公司Gartner代表性中國數(shù)據(jù)庫廠商TOP5；數(shù)據(jù)庫產(chǎn)品Hubble同一產(chǎn)品同一軟著同時(shí)通過信通院的事務(wù)和分析能力評(píng)測(cè)；工信部開展的2022年大數(shù)據(jù)產(chǎn)業(yè)發(fā)展試點(diǎn)示范項(xiàng)目， Hubble數(shù)據(jù)庫作為唯一一款國產(chǎn)HTAP數(shù)據(jù)庫入選，獲得國家級(jí)重點(diǎn)項(xiàng)目推薦。

在數(shù)據(jù)消費(fèi)側(cè)：天云數(shù)據(jù)榮膺全球資訊機(jī)構(gòu)Forrester魔力象限圖“認(rèn)知層”第一象限公司；提供認(rèn)知層AI模型流水線生產(chǎn)平臺(tái)AI PaaS； 中國證監(jiān)會(huì)公布的“首批納入資本市場金融科技創(chuàng)新試點(diǎn)項(xiàng)目”，天云數(shù)據(jù)的“單賬戶配資異常交易監(jiān)測(cè)系統(tǒng)”從51個(gè)行業(yè)優(yōu)質(zhì)項(xiàng)目之中脫穎而出、位列三甲，成為“證監(jiān)會(huì)版”監(jiān)管沙盒項(xiàng)目之一。

天云數(shù)據(jù)已經(jīng)為50+家五百強(qiáng)及上市公司提供服務(wù)。

2021年底，天云數(shù)據(jù)完成數(shù)億元D輪融資，本輪由北京市國資基金、上海市國資基金、蘇州市政府等多家國家隊(duì)基金共同投資。

相關(guān)評(píng)價(jià)

在過去的數(shù)字化、智能化建設(shè)工作中積累了海量的數(shù)據(jù)，但各系統(tǒng)相對(duì)孤立。今天要做數(shù)字化轉(zhuǎn)型，需要面向整體業(yè)務(wù)板塊進(jìn)行全域數(shù)據(jù)管理。中石化公司在幾年前開始規(guī)劃"集團(tuán)——板塊——企業(yè)"三級(jí)數(shù)據(jù)湖架構(gòu)和邏輯一致、物理分級(jí)的數(shù)據(jù)治理和數(shù)據(jù)管理體系。規(guī)劃設(shè)計(jì)集團(tuán)統(tǒng)一的分布式數(shù)據(jù)資源目錄，并制定統(tǒng)一的數(shù)據(jù)管理權(quán)限，作為公司數(shù)據(jù)資產(chǎn)唯一的發(fā)布和共享平臺(tái)。天云數(shù)據(jù)的AI平臺(tái)，切合公司的需求，在智能油田、數(shù)據(jù)治理等項(xiàng)目中得到了很好的應(yīng)用。

——中石化數(shù)字與信息化管理部處長 肖波

數(shù)據(jù)質(zhì)量管理不單純是一個(gè)概念，也不單純是一項(xiàng)技術(shù)、也不單純是一個(gè)系統(tǒng)，更不單純是一套管理流程，數(shù)據(jù)質(zhì)量管理是一個(gè)集方法論、技術(shù)、業(yè)務(wù)和管理為一體的解決方案。通過有效的數(shù)據(jù)質(zhì)量控制手段，進(jìn)行數(shù)據(jù)的管理和控制，消除數(shù)據(jù)質(zhì)量問題進(jìn)而提升企業(yè)數(shù)據(jù)變現(xiàn)的能力。天云數(shù)據(jù)質(zhì)量智能分析工具設(shè)計(jì)理念---- （雙模） IT 架構(gòu)，模態(tài)1是可靠IT，持續(xù)穩(wěn)定現(xiàn)有業(yè)務(wù)的發(fā)展，像馬拉松運(yùn)動(dòng)員。模態(tài)2是敏捷（Agile）IT，推陳出新，布局新產(chǎn)品和模式，像短跑運(yùn)動(dòng)員。在企業(yè)向第三平臺(tái)轉(zhuǎn)型過程中，二者缺一不可、相輔相成。天云數(shù)據(jù)“數(shù)據(jù)質(zhì)量服務(wù)”服務(wù)就是可靠IT和敏捷IT之間的“變速齒輪” 。

——國網(wǎng)普華項(xiàng)目負(fù)責(zé)人 尹將伯

來源：數(shù)據(jù)猿