本篇案例為數(shù)據(jù)猿推出的大型“金融大數(shù)據(jù)主題策劃”活動（查看詳情）第一部分的系列案例/征文；感謝 天云大數(shù)據(jù) 的投遞

作為整體活動的第二部分，2017年6月29日，由數(shù)據(jù)猿主辦，上海金融行業(yè)信息協(xié)會、互聯(lián)網(wǎng)普惠金融研究院聯(lián)合主辦，中國信息通信研究院、大數(shù)據(jù)發(fā)展促進委員會、上海大數(shù)據(jù)聯(lián)盟、首席數(shù)據(jù)官聯(lián)盟、中國大數(shù)據(jù)技術(shù)與應(yīng)用聯(lián)盟協(xié)辦的《「數(shù)據(jù)猿·超聲波」之金融科技·商業(yè)價值探索高峰論壇》還將在上海隆重舉辦【論壇詳情丨上屆回顧】

在論壇現(xiàn)場，也將頒發(fā)“技術(shù)創(chuàng)新獎”、“應(yīng)用創(chuàng)新獎”、“最佳實踐獎”、“優(yōu)秀案例獎”四大類案例獎

來源：數(shù)據(jù)猿丨投遞：天云大數(shù)據(jù)

由于傳統(tǒng)的分析技術(shù)瓶頸問題凸顯，已無法滿足當(dāng)今日益復(fù)雜且變化迅速的社會環(huán)境，隨著大數(shù)據(jù)處理技術(shù)的逐步成熟和廣泛應(yīng)用，金融機構(gòu)根據(jù)業(yè)務(wù)發(fā)展需要，開始嘗試采用大數(shù)據(jù)和復(fù)雜網(wǎng)絡(luò)技術(shù)來建立便捷性、直觀性和快速反應(yīng)的企業(yè)關(guān)聯(lián)查詢生產(chǎn)系統(tǒng)的研究。

系統(tǒng)以機構(gòu)內(nèi)部數(shù)據(jù)為數(shù)據(jù)源，計算出企業(yè)與企業(yè)之間、個人與企業(yè)之間、個人與個人之間的投資、擔(dān)保、實際控制人、高管、家族的復(fù)雜關(guān)聯(lián)關(guān)系，以直觀的關(guān)系圖譜形式展示，并實現(xiàn)關(guān)聯(lián)群的授信機構(gòu)信息的加工整理以及查詢結(jié)果下載等服務(wù)。

如下是天云大數(shù)據(jù)使用公司產(chǎn)品BDCN（BeagleData Complex Platform）復(fù)雜網(wǎng)絡(luò)技術(shù)為銀行征信中心提供企業(yè)關(guān)聯(lián)關(guān)系計算及圖譜展示的成功案例。

周期

2015年10月—-2016年3月

客戶

某大型銀行征信中心

任務(wù)/目標

●大數(shù)據(jù)與復(fù)雜網(wǎng)絡(luò)技術(shù)應(yīng)用于關(guān)聯(lián)關(guān)系計算的可行性研究

綜合考察業(yè)務(wù)應(yīng)用的實際需求，模擬關(guān)聯(lián)關(guān)系計算情景，通過實驗和分析評選出一種最優(yōu)的大數(shù)據(jù)處理技術(shù)，擬定關(guān)聯(lián)關(guān)系計算的過程，實現(xiàn)企業(yè)和個人的投資、擔(dān)保、實際控制人、高管、家族信息的關(guān)聯(lián)關(guān)系的計算，從而評價關(guān)聯(lián)關(guān)系計算方法的建設(shè)性、合理性、可操作性。

●網(wǎng)絡(luò)關(guān)系圖譜展示技術(shù)與方法的可行性研究

采用國內(nèi)外在網(wǎng)絡(luò)關(guān)系圖譜的結(jié)構(gòu)、要素、關(guān)系及生成過程等主流的實現(xiàn)方法建立系統(tǒng)原型，通過實驗和分析綜合比較不同圖譜展示方法的效率，評選出一種最優(yōu)的展示方法，根據(jù)業(yè)務(wù)實際需求，實現(xiàn)在線并發(fā)關(guān)聯(lián)關(guān)系查詢?nèi)蝿?wù)和批量關(guān)聯(lián)關(guān)系查詢。

●圖譜展示效果的可行性研究

通過先進的展示技術(shù)手段，實現(xiàn)全面且有效的展示應(yīng)用場景，包括展示標出關(guān)系方向，能夠反映出企業(yè)與企業(yè)之間、企業(yè)與個人之間、個人與個人之間的關(guān)系形成路徑；靈活設(shè)置篩選條件，對圖譜進行切割，包括以圖譜中任一節(jié)點，展示下一層關(guān)聯(lián)企業(yè)；以圖譜中任一關(guān)聯(lián)企業(yè)為發(fā)起節(jié)點，再生成新的圖譜；當(dāng)鼠標移動到節(jié)點上時，可顯示出企業(yè)或個人的基本信息和信貸信息，并能夠以表格形式提供下載。

挑戰(zhàn)

1)基礎(chǔ)數(shù)據(jù)處理難點

機構(gòu)提供的企業(yè)和個人基本信息、擔(dān)保信息、信貸信息,這些源數(shù)據(jù)量非常龐大，但在做關(guān)聯(lián)關(guān)系計算前需要對這些基礎(chǔ)信息做有效數(shù)據(jù)處理，數(shù)據(jù)處理過程包括清洗、轉(zhuǎn)換以及整理，這些工作必須要在進行關(guān)聯(lián)關(guān)系計算前完成，從而為關(guān)聯(lián)關(guān)系計算的數(shù)據(jù)建模做好數(shù)據(jù)準備。

但該項工作需要在耗費一段時間完成，如果實際給出數(shù)據(jù)處理的時間窗口較短，又或者處理的數(shù)據(jù)量大并且處理邏輯復(fù)雜，那么就會無法在指定的時間窗口內(nèi)完成處理任務(wù)，則就會對后續(xù)的工作產(chǎn)生延遲影響。

因此，如何利用靈活的數(shù)據(jù)處理技術(shù)，并保證在指定的時間窗口內(nèi)完成數(shù)據(jù)處理任務(wù)是一關(guān)聯(lián)關(guān)系計算的一項技術(shù)難點。

2)數(shù)據(jù)建模難點

當(dāng)對源數(shù)據(jù)完成處理后，就需要針對適合關(guān)聯(lián)關(guān)系計算的應(yīng)用場景進行數(shù)據(jù)建模，目前常見的數(shù)據(jù)模型種類較多，但每種模型都適用于不同的數(shù)據(jù)應(yīng)用場景，如果選用恰當(dāng)?shù)臄?shù)據(jù)模型則會使關(guān)聯(lián)關(guān)系的計算的性能效率提高很多，否則會產(chǎn)生不利的負面效果，因此，在數(shù)據(jù)模型選用上也是關(guān)聯(lián)關(guān)系計算的一項技術(shù)難點。

3)關(guān)系計算難點

如果把企業(yè)和個人描繪成節(jié)點，而企業(yè)與企業(yè)、個人與企業(yè)、個人與個人之間的關(guān)系描繪成節(jié)點之間連成的邊，按全連通關(guān)系網(wǎng)的方式進行計算，兩個節(jié)點之間可以構(gòu)成1個1層關(guān)系，三個節(jié)點之間可以構(gòu)成3個1層關(guān)系，四個節(jié)點可以構(gòu)成6個1層關(guān)系，五個節(jié)點可以構(gòu)成10個1層關(guān)系，1000個節(jié)點最多可以構(gòu)成(1000(1000-1))/2共計499500個1層關(guān)系，依次類推隨著節(jié)點數(shù)的增加，其關(guān)系產(chǎn)生的數(shù)量會隨節(jié)點數(shù)量呈指數(shù)級增長。

即使不按全量通的關(guān)系網(wǎng)絡(luò)方式來計算，節(jié)點與節(jié)點之間的關(guān)系數(shù)也會隨節(jié)點數(shù)的增多呈更大規(guī)模的增長，如果對于大規(guī)模節(jié)點所組成的關(guān)系網(wǎng)絡(luò)來說，其關(guān)系的規(guī)模可想而知，那么采用什么樣的技術(shù)和什么樣的計算能夠快速的計算出節(jié)點與節(jié)點之間的1層或多層級關(guān)系是一個項主要的技術(shù)難點。

解決方案

1)分布式存儲技術(shù)

龐大的關(guān)系網(wǎng)絡(luò)數(shù)據(jù)存儲可以采用分布式存儲技術(shù)，根據(jù)關(guān)系網(wǎng)絡(luò)數(shù)據(jù)的分布式特點，將網(wǎng)絡(luò)數(shù)據(jù)進行切分，不但可以滿足當(dāng)前大體量數(shù)據(jù)的存放以及支撐未來數(shù)據(jù)快速膨脹，還可以支撐大批量離線數(shù)據(jù)處理的需求，以下是對關(guān)系網(wǎng)絡(luò)進行切分方法及特點的闡述。

為了提升數(shù)據(jù)訪問的性能，網(wǎng)絡(luò)數(shù)據(jù)會被按策略切分并分布存儲在集群中不同的存儲實例上，提供分布策略包括“隨機分布“、”邊切分分布“、”節(jié)點切分分布“，可根據(jù)不同場景的數(shù)據(jù)特征，采用不同的分布方式，在具體使用上用戶可以通過配置參數(shù)加以實現(xiàn)。

隨機分布，是將網(wǎng)絡(luò)數(shù)據(jù)中的節(jié)點隨機存放在集群的不同服務(wù)器節(jié)點上，主要適用于數(shù)據(jù)規(guī)模不大或數(shù)據(jù)分布特征不明顯的復(fù)雜網(wǎng)絡(luò)場景。

邊切分，是將網(wǎng)絡(luò)結(jié)構(gòu)數(shù)據(jù)的部分邊進行切分，從而將一個大網(wǎng)絡(luò)轉(zhuǎn)變成多個關(guān)系稠密的聚集子網(wǎng)絡(luò)，分別存儲在不同服務(wù)器節(jié)點上，主要適用于稱社區(qū)化分布的復(fù)雜網(wǎng)絡(luò)場景。

點切分，是將網(wǎng)絡(luò)結(jié)構(gòu)數(shù)據(jù)的一些特定的點進行切分，并分布存儲在不同的服務(wù)器節(jié)點上，主要適用于存在一定數(shù)量邊數(shù)較高節(jié)點的網(wǎng)絡(luò)中，避免在數(shù)據(jù)訪問中產(chǎn)生熱點。

2)分布式處理技術(shù)

該部分主要是對源數(shù)據(jù)的處理，包括數(shù)據(jù)的清洗、轉(zhuǎn)換以及整理任務(wù)，由于源數(shù)據(jù)的數(shù)據(jù)格式可能會是多樣且規(guī)模比較龐大，采用一臺主機可能無法在指定的時間窗口內(nèi)完成數(shù)據(jù)處理任務(wù)的要求，而采用分布式批量處理技術(shù)則會滿足要求，因為分布式批處理技術(shù)可以將處理任務(wù)分成多個子批處理任務(wù)并分配到多臺主機上并行進行處理，從而充分利用多臺主機的資源。

同時，分布式批處理技術(shù)具備伸縮性，因此可以保證根據(jù)不同的處理規(guī)模以及不同的時間窗口要求來靈活調(diào)整并行處理線程以保證按時完成大規(guī)模數(shù)據(jù)處理任務(wù)，目前國內(nèi)外主流、技術(shù)成熟且使用非常廣泛的分布式批處理計算框架則是Hadoop的MapReduce，其與HDFS分布式文件系統(tǒng)結(jié)合使用完全可以滿足任意大規(guī)模的數(shù)據(jù)批處理的處理需求。

3)關(guān)系建模技術(shù)

將關(guān)系網(wǎng)絡(luò)中所有的節(jié)點設(shè)計成矩陣的行和列，從而形成一張方形矩陣，方形矩陣中的“0”和“1”分別標識對應(yīng)的節(jié)點之間是否存在關(guān)系，通過矩陣可以迅速檢索到某節(jié)點與網(wǎng)絡(luò)中的其它節(jié)點有無關(guān)系。

4)關(guān)系網(wǎng)絡(luò)計算技術(shù)

基于創(chuàng)建好的關(guān)聯(lián)關(guān)系復(fù)雜網(wǎng)絡(luò)拓撲模型已經(jīng)完全能夠表達出節(jié)點之間的一層關(guān)系，因此不需要計算。第二層關(guān)聯(lián)關(guān)系計算就要基于已知的關(guān)聯(lián)個體第一層的關(guān)系數(shù)據(jù)，從存儲中讀取一層的關(guān)系數(shù)據(jù)，然后按照計算算法去計算第二層關(guān)聯(lián)關(guān)系數(shù)據(jù)，完成后再寫入存儲。

在對第三層關(guān)系進行計算時就需要基于第二層算好的數(shù)據(jù)，所以再每次往上層級進行關(guān)系計算時都得需要之前層級的關(guān)系的結(jié)果數(shù)據(jù)，然后依次類推。

5)關(guān)聯(lián)關(guān)系圖譜展示

●和弦圖展示方法

和弦圖（又稱Chord Diagram）是國內(nèi)外常用的研究展示元素之間關(guān)聯(lián)關(guān)系的主流展示方法，它的結(jié)構(gòu)為一個環(huán)狀圖形，所有的展示元素均為環(huán)形圖的不同部分的弧狀邊，邊與邊之間采用空白或者間隔類圖形來加以區(qū)分元素。

弧狀邊上或以外有對應(yīng)文字標題表示該展現(xiàn)元素的名稱、代碼等簡要信息，詳細信息可通過查看弧狀邊的注釋信息獲取，通過使用不同的顏色以及顏色的深淺等方式繪制弧狀邊來表達元素的不同類別。

通過弧狀邊之間的帶狀連線表達元素與元素之間的1層關(guān)系，帶狀線的寬度大小可以表達出關(guān)系的權(quán)重值，不同的連線顏色或顏色的深淺表示關(guān)系的不同類別，通過查看帶狀連線的注釋信息可以查看元素與元素之間的詳細關(guān)系信息。使用者可以任意選中其中一個展示元素查看到該元素與其它展示元素之間的關(guān)聯(lián)關(guān)系。

●網(wǎng)絡(luò)圖譜展示方法

復(fù)雜網(wǎng)絡(luò)圖（又稱Force- Directed Graph）是國內(nèi)外常用的主流的研究展示元素之間關(guān)聯(lián)關(guān)系的網(wǎng)絡(luò)展示方法，它的結(jié)構(gòu)為一個網(wǎng)絡(luò)圖形。

所有的展示元素均為網(wǎng)絡(luò)中不同的圓點，所有的圓點在展示空間的位置上獨立，不會出現(xiàn)圓點重疊的情況，每個展現(xiàn)元素的標題或簡要信息可以在圓點旁點或再圓點之上顯示，詳細信息可通過查看圓點的注釋信息獲取，通過使用不同的顏色以及顏色的深淺等方式繪制圓點來表達元素的不同類別。

通過圓點之間的直線或弧線表達元素與元素之間的1層或多層關(guān)系。可以通過增加連線的寬度表達出元素之間關(guān)系的權(quán)重值，不同的連線顏色或顏色的深淺表示關(guān)系的不同類別或不同的權(quán)重值，通過查看圓點之間連線的注釋信息可以查看元素與元素之間的詳細關(guān)系信息，圓點與圓點之間的連線可以是一條連線也可以是多條聯(lián)系，連線可以有箭頭表示關(guān)系的方向，也可以沒有箭頭表示無向關(guān)系。

●樹狀關(guān)系網(wǎng)絡(luò)圖展示方法

樹狀關(guān)系網(wǎng)絡(luò)圖（又稱Tree Layout Graph）是國內(nèi)外主流的研究展示元素之間關(guān)聯(lián)關(guān)系的網(wǎng)絡(luò)展示方法，它的結(jié)構(gòu)為一個樹形目錄圖形。

所有的展示元素均為圖中不同的節(jié)點，所有的節(jié)點在展示空間的呈現(xiàn)一種層次結(jié)構(gòu)，不會出現(xiàn)節(jié)點重疊的情況，每個展現(xiàn)元素的標題或簡要信息可以在節(jié)點的旁點或直接作為節(jié)點，詳細信息可通過查看節(jié)點的注釋信息獲取也可直接顯示在節(jié)點上，通過使用不同的顏色以及顏色的深淺等方式繪制節(jié)點來表達元素的不同類別。

通過節(jié)點之間的直線或弧線表達元素與元素之間上下級一層或多層關(guān)系。可以通過增加連線的寬度表達出元素之間關(guān)系的權(quán)重值，不同的連線顏色或顏色的深淺表示關(guān)系的不同類別或不同的權(quán)重值，通過查看節(jié)點之間連線的注釋信息可以查看元素與元素之間的詳細關(guān)系信息也可直接顯示在節(jié)點上，節(jié)點與節(jié)點之間的連線可以是一條連線也可以是多條連線，連線可以有箭頭表示關(guān)系的方向，通常都是從上一層級指向下一層級，不然展示的圖譜將會很難用于分析。

結(jié)果/效果總結(jié)

1)實現(xiàn)的成果

利用Hadoop大數(shù)據(jù)技術(shù),能夠?qū)⒍嗯_服務(wù)器組成一個大的數(shù)據(jù)處理集群來共同支撐大規(guī)模的數(shù)據(jù)處理任務(wù)和服務(wù),從而可以有效的滿足項目的龐大的數(shù)據(jù)處理量和服務(wù)需求。

企業(yè)關(guān)聯(lián)關(guān)系數(shù)據(jù)組合在一起會構(gòu)成一張復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)數(shù)據(jù)，對于該場景的分析與處理應(yīng)用，在科學(xué)研究領(lǐng)域采用的是圖計算理論，而表達圖的最佳計算模型為矩陣，因此，只有采用圖處理技術(shù)才可以有效的處理和解決企業(yè)關(guān)聯(lián)關(guān)系的查詢和計算問題。

企業(yè)關(guān)聯(lián)關(guān)系查詢是查詢企業(yè)之間一層或多層的關(guān)聯(lián)關(guān)系，而每多加一層的關(guān)聯(lián)關(guān)系的查詢就會增加一次的迭代計算，會涉及到對數(shù)據(jù)的頻繁讀寫，使用磁盤作為數(shù)據(jù)性能會非常低下，因此需采用內(nèi)存處理技術(shù)可以有效的滿足計算的性能要求。

如果要對企業(yè)歷史關(guān)聯(lián)關(guān)系查詢，就得將歷史的關(guān)系數(shù)據(jù)進行歸檔保存，然后根據(jù)歸檔數(shù)據(jù)對企業(yè)關(guān)系的歷史有效性進行判斷，會涉及到大量的歸檔數(shù)據(jù)遍歷檢索，因此這部分會成為性能關(guān)鍵點，Hadoop技術(shù)能夠提供具備分布式集群處理能力HBase，數(shù)據(jù)遍歷查詢可達毫秒級響應(yīng)，完全滿足性能要求。

綜合的分析了表達關(guān)聯(lián)關(guān)系圖譜的主流展示技術(shù)，分別為和弦圖譜、樹形圖譜以及復(fù)雜網(wǎng)絡(luò)圖譜，然后從直觀性、響應(yīng)速度、多層關(guān)系表達、業(yè)務(wù)貼合度、關(guān)系的方向性五個方面進行的評估和展示實驗，最后得出復(fù)雜網(wǎng)絡(luò)圖譜在五個評估角度表現(xiàn)最優(yōu)。

2)所解決的問題

●解決了傳統(tǒng)技術(shù)查詢響應(yīng)時間長以及無法響應(yīng)的問題，通過Hadoop的技術(shù)實現(xiàn)方案可以將查詢性能提升到秒級甚至毫秒級的響應(yīng)級別，更好滿足了用戶對響應(yīng)等待時間的要求。

●解決了傳統(tǒng)技術(shù)關(guān)聯(lián)查詢系統(tǒng)展現(xiàn)不友好的問題，通過復(fù)雜網(wǎng)絡(luò)圖譜技術(shù)能夠方便用戶直觀的查看企業(yè)與企業(yè)、企業(yè)與自然人之間的各種關(guān)聯(lián)關(guān)系并更好的進行分析。

●解決了傳統(tǒng)技術(shù)未能實現(xiàn)的歷史關(guān)聯(lián)關(guān)系查詢以及擔(dān)保圈閉環(huán)的計算和查詢的功能需求。

3)技術(shù)提升

●傳統(tǒng)技術(shù)采用的是關(guān)系表模型，在關(guān)聯(lián)關(guān)系查詢方面會產(chǎn)生大量的計算負荷，嚴重影響性能，而Hadoop大數(shù)據(jù)技術(shù)可支撐網(wǎng)絡(luò)結(jié)構(gòu)模型，大幅降低了計算量，從而高效的提升了處理性能。

●傳統(tǒng)技術(shù)采用的是單臺服務(wù)器的計算方案，由于無法進行擴展，導(dǎo)致計算能力不足，無法支撐大規(guī)模數(shù)據(jù)處理和大規(guī)模的計算任務(wù)，而Hadoop大數(shù)據(jù)技術(shù)采用分布式處理技術(shù)，一臺服務(wù)器無法滿足的工作，可并行使用多臺服務(wù)器，擴展能力強，完全能夠支撐大規(guī)模數(shù)據(jù)處理和大規(guī)模的計算任務(wù)。

●傳統(tǒng)技術(shù)采用的數(shù)據(jù)處理技術(shù)單一，無法有效滿足應(yīng)用場景的各個環(huán)節(jié)的對處理技術(shù)的要求，因此，在整體處理性能表現(xiàn)并不理想，而Hadoop富含有多樣的處理技術(shù)，因此，針對應(yīng)用場景，采用多種處理技術(shù)的組合，從而發(fā)揮每種技術(shù)的優(yōu)勢，達到最佳的效果體驗。

企業(yè)簡介：

天云大數(shù)據(jù)早期由國際一線科技教父楊致遠田溯寧孵化，國內(nèi)唯一能夠同時提供分布式計算平臺產(chǎn)品和AI平臺基礎(chǔ)設(shè)施的科技廠商，擁有博士后工作站和國家級高新企業(yè)稱號，并于2016首批進入中關(guān)村前沿科技企業(yè)重點計劃。

公司在分布式計算領(lǐng)域有自主產(chǎn)品，填補了聯(lián)機事務(wù)等領(lǐng)域空白，并在多個大型銀行核心交易系統(tǒng)部署驗證同時獲得千萬級以上軟件收入。在人工智能方向領(lǐng)先于BAT發(fā)布了分布式AI平臺，于2016年在大型股份制銀行落地，并獲得過百萬美金的AI平臺收入。該平臺與科大訊飛一起獲得了北美ZDnet評選的十大AI賦能平臺獎項。

憑借分布式AI能力，天云自2016開始為金融機構(gòu)提供數(shù)據(jù)模型深入信用風(fēng)險欺詐等金融業(yè)務(wù)領(lǐng)域，為人行光大興業(yè)銀聯(lián)等提供信用業(yè)務(wù)相關(guān)計算與數(shù)據(jù)科學(xué)模型，由此獲得國際一線機構(gòu)KPMG評定的中國Fintech50強，亞太Asset財經(jīng)評選的TrippleA金融科技領(lǐng)先獎，財視的Fintech30強金融科技介莆獎，與螞蟻金服京東金融等同列的先進金融科技企業(yè)。

歡迎更多大數(shù)據(jù)企業(yè)、大數(shù)據(jù)愛好者投稿數(shù)據(jù)猿，來稿請直接投遞至：tougao@datayuan.cn

來源：數(shù)據(jù)猿