大數(shù)據(jù)征信技術(shù)的形成 

隨著我國社會信用體系建設(shè)的步伐不斷加快以及計算機(jī)和網(wǎng)絡(luò)技術(shù)的不斷提高，征信業(yè)的發(fā)展也需要適應(yīng)大數(shù)據(jù)時代發(fā)展所帶來的技術(shù)變革。征信機(jī)構(gòu)在積累征信數(shù)據(jù)的同時，也需要提升自身的數(shù)據(jù)存儲能力，豐富所積累數(shù)據(jù)的維度，提升數(shù)據(jù)分析挖掘、處理速度等各方面能力，從而促進(jìn)征信業(yè)向一個嶄新的數(shù)字化時代邁進(jìn)——大數(shù)據(jù)征信時代。

因此，數(shù)據(jù)積累是征信機(jī)構(gòu)一項重要的商業(yè)資本，大數(shù)據(jù)征信是征信機(jī)構(gòu)的技術(shù)發(fā)展方向。征信機(jī)構(gòu)需要不斷地開拓數(shù)據(jù)渠道、發(fā)展數(shù)據(jù)挖掘技術(shù)、創(chuàng)新產(chǎn)品和服務(wù)，并不斷將大數(shù)據(jù)征信應(yīng)用到經(jīng)濟(jì)、金融、電子商務(wù)等各個領(lǐng)域。

征信大數(shù)據(jù)鏈數(shù)據(jù)流動過程分析 

（一）征信大數(shù)據(jù)鏈框架圖

征信大數(shù)據(jù)鏈的相關(guān)方包括上游的數(shù)據(jù)生產(chǎn)者、中游的征信機(jī)構(gòu)及下游的征信信息使用者。征信大數(shù)據(jù)框架如圖1所示。

（二）征信大數(shù)據(jù)的上游生產(chǎn)者

大數(shù)據(jù)征信并沒有顛覆傳統(tǒng)征信的基本職能，從數(shù)據(jù)的來源渠道看，大數(shù)據(jù)征信比傳統(tǒng)征信數(shù)據(jù)來源更加廣泛，除了來自金融機(jī)構(gòu)和政府部門，還有基于互聯(lián)網(wǎng)的交易和社交信息等。目前與征信相關(guān)的大數(shù)據(jù)來源可以分為四大類。 

1.信用交易數(shù)據(jù)生產(chǎn)者

信用交易數(shù)據(jù)是從事金融活動時所產(chǎn)生的數(shù)據(jù)，此類數(shù)據(jù)主要來源于金融服務(wù)機(jī)構(gòu)。我國金融服務(wù)機(jī)構(gòu)大體可以分為三類：金融機(jī)構(gòu)、類金融機(jī)構(gòu)和互聯(lián)網(wǎng)金融機(jī)構(gòu)，這三類機(jī)構(gòu)構(gòu)成了我國的金融服務(wù)體系。我國金融體系架構(gòu)圖如圖2所示。

金融機(jī)構(gòu)：是指從事與金融服務(wù)業(yè)有關(guān)的金融中介機(jī)構(gòu)，為金融體系架構(gòu)中的一部分體系框架。本文將納入“一行三會”日常監(jiān)管下的傳統(tǒng)金融機(jī)構(gòu)歸類為金融機(jī)構(gòu)，涵蓋了商業(yè)銀行、證券公司、保險公司、基金公司、信托公司、資產(chǎn)（管理）公司、金融租賃公司、信用合作社、政策性銀行等金融機(jī)構(gòu)（企業(yè)）。這些金融機(jī)構(gòu)在應(yīng)用征信大數(shù)據(jù)方面具有天然優(yōu)勢：數(shù)據(jù)量充足。金融服務(wù)機(jī)構(gòu)在業(yè)務(wù)開展的過程中積累了包括客戶身份、資產(chǎn)負(fù)債情況、資金收付交易等大量高價值的數(shù)據(jù)。在運(yùn)用專業(yè)技術(shù)挖掘和分析之后，這些數(shù)據(jù)蘊(yùn)藏著巨大的商業(yè)價值。

類金融機(jī)構(gòu)：目前對類金融企業(yè)沒有嚴(yán)格定義，根據(jù)21世紀(jì)經(jīng)濟(jì)報道采訪到專業(yè)人士認(rèn)為：類金融機(jī)構(gòu)廣義理解是除了銀行、保險、券商等傳統(tǒng)金融企業(yè)以外的投融資機(jī)構(gòu)或平臺，包括派生的、延伸的、創(chuàng)新的投融資平臺。本文將“一行三會”監(jiān)管范圍以外的投融資機(jī)構(gòu)稱為類金融機(jī)構(gòu)，主要包括了小額貸款公司、融資性擔(dān)保機(jī)構(gòu)、融資租賃公司、商業(yè)保理公司、典當(dāng)公司等。這些投融資機(jī)構(gòu)擁有客戶交易的歷史信息，這些數(shù)據(jù)對企業(yè)和個人客戶的信用分析、風(fēng)險識別等方面具有寶貴的價值，可以達(dá)到甄別客戶和防范風(fēng)險的作用。 

互聯(lián)網(wǎng)金融機(jī)構(gòu)：是指將傳統(tǒng)金融服務(wù)與互聯(lián)網(wǎng)技術(shù)結(jié)合，利用互聯(lián)網(wǎng)和信息通信技術(shù)實現(xiàn)資金融通、支付、投資和信息中介服務(wù)的新型金融業(yè)務(wù)模式?；ヂ?lián)網(wǎng)金融并不是互聯(lián)網(wǎng)和金融業(yè)的簡單結(jié)合，而是基于安全、移動等網(wǎng)絡(luò)技術(shù)，并被用戶熟悉并接受的新模式及新業(yè)務(wù)。互聯(lián)網(wǎng)金融的主要發(fā)展模式如下：

（1）眾籌：個人或團(tuán)隊將需要資金的項目策劃交給眾籌平臺，經(jīng)過相關(guān)審核后，便可以在平臺的網(wǎng)站上建立屬于自己的頁面，用來向公眾介紹項目情況，從而獲得資金。

（2）P2P平臺：即點對點信貸。P2P網(wǎng)貸是指通過第三方互聯(lián)網(wǎng)平臺進(jìn)行資金借、貸雙方的匹配，需要借貸的人群可以通過網(wǎng)站平臺尋找到有出借能力并且愿意基于一定條件出借的人群，幫助貸款人通過和其他貸款人一起分擔(dān)一筆借款額度來分散風(fēng)險，也幫助借款人在充分比較的信息中選擇有吸引力的利率條件。

（3）第三方支付：具備一定實力和信譽(yù)保障的非銀行機(jī)構(gòu)，借助通信、計算機(jī)和信息安全技術(shù)，采用與各大銀行簽約的方式，在用戶與銀行支付結(jié)算系統(tǒng)間建立連接的電子支付模式。

（4）數(shù)字貨幣：數(shù)字貨幣是對貨幣進(jìn)行數(shù)字化，是電子貨幣形式的替代貨幣。以比特幣等數(shù)字貨幣為代表的互聯(lián)網(wǎng)貨幣爆發(fā)，從某種意義上來說，比其他任何互聯(lián)網(wǎng)金融形式都更具顛覆性。

（5）大數(shù)據(jù)金融：是指集合海量非結(jié)構(gòu)化數(shù)據(jù)，通過對其進(jìn)行實時分析，可以為金融機(jī)構(gòu)提供客戶全方位信息，通過分析和挖掘客戶的交易和消費(fèi)信息掌握客戶的消費(fèi)習(xí)慣，并準(zhǔn)確預(yù)測客戶行為，使金融機(jī)構(gòu)和金融服務(wù)平臺在營銷和風(fēng)險控制方面有的放矢。

（6）信息化金融機(jī)構(gòu)：是指通過采用信息技術(shù)，對傳統(tǒng)運(yùn)營流程進(jìn)行改造或重構(gòu)，實現(xiàn)經(jīng)營、管理全面電子化的銀行、證券和保險等金融機(jī)構(gòu)。金融信息化是金融業(yè)發(fā)展趨勢之一，而信息化金融機(jī)構(gòu)則是金融創(chuàng)新的產(chǎn)物。

（7）金融門戶：是指利用互聯(lián)網(wǎng)進(jìn)行金融產(chǎn)品的銷售以及為金融產(chǎn)品銷售提供第三方服務(wù)的平臺。它的核心就是“搜索比價”的模式，采用金融產(chǎn)品垂直比價的方式，將各家金融機(jī)構(gòu)的產(chǎn)品放在平臺上，用戶通過對比挑選合適的金融產(chǎn)品。

2.商品和服務(wù)交易數(shù)據(jù)以及行為數(shù)據(jù)生產(chǎn)者

一些電商、金融、娛樂、旅游等企業(yè)，以及水、電、氣、話、教育、醫(yī)療等公用服務(wù)機(jī)構(gòu)，利用自有的工作機(jī)制和網(wǎng)絡(luò)平臺，收集本機(jī)構(gòu)留存的客戶買賣商品和享受服務(wù)中的身份信息、業(yè)務(wù)信息和社交行為信息，并對這些數(shù)據(jù)進(jìn)行有序加工整理，形成數(shù)據(jù)庫。由于不同企業(yè)和服務(wù)機(jī)構(gòu)處于競爭狀態(tài)，彼此力爭形成自己所謂的“閉環(huán)”，提供他人分享的內(nèi)在動力不足，所以這類信息也主要是企業(yè)和服務(wù)機(jī)構(gòu)自身的客戶信息。

3.政府公開信息和公共服務(wù)信息的數(shù)據(jù)生產(chǎn)者

政府公開信息里特別常用的就是企業(yè)工商注冊的信息，主要是行政司法機(jī)關(guān)掌握的企業(yè)和個人在接受行政管理、履行法定義務(wù)過程中形成的信息。公共服務(wù)信息最常見的有工會服務(wù)信息、社區(qū)服務(wù)信息，以及信用中國及地方的信用信息平臺的公開信息等。

4.通過技術(shù)手段爬取或非常渠道獲得的其他各種領(lǐng)域的數(shù)據(jù)

對于很多企業(yè)來說自身數(shù)據(jù)積累相對有限，因此通過技術(shù)手段從互聯(lián)網(wǎng)渠道爬取或者是以非常規(guī)渠道從黑市交易獲得機(jī)密數(shù)據(jù)，也成為了一種數(shù)據(jù)獲取之道。此類數(shù)據(jù)的種類多樣，可能有涉及各種行業(yè)的行業(yè)數(shù)據(jù)或者涉及企業(yè)和個人的信息。

通過以上對征信數(shù)據(jù)上游生產(chǎn)者的介紹，可以發(fā)現(xiàn)不僅征信數(shù)據(jù)的形成渠道多樣，并且數(shù)據(jù)種類和數(shù)據(jù)結(jié)構(gòu)也非常復(fù)雜。從征信數(shù)據(jù)的渠道來源來說，有來自政府的公開信息，也有從市場采集的信息；從征信數(shù)據(jù)的數(shù)據(jù)種類來說，有金融交易數(shù)據(jù)、市場交易數(shù)據(jù)，也有不少社交行為數(shù)據(jù)；從征信數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)來說，有結(jié)構(gòu)化的數(shù)據(jù)，如數(shù)據(jù)庫里的行數(shù)據(jù)，也有非結(jié)構(gòu)化的數(shù)據(jù)，如視頻、圖像、文本等。

（三）中游征信機(jī)構(gòu)的數(shù)據(jù)加工

1.征信大數(shù)據(jù)的數(shù)據(jù)加工過程

總體來說，征信行業(yè)大數(shù)據(jù)應(yīng)用實施的演變過程可以分為四個階段：第一個階段是征信數(shù)據(jù)的積累，即對通過各種采集渠道獲得的各類型的征信數(shù)據(jù)，進(jìn)行收集和存儲；第二個階段是信息檢索過濾，是將積累的數(shù)據(jù)進(jìn)行分類檢索和過濾篩選之后，變成有價值的信息的過程；第三個階段是信息深度挖掘，從信息中發(fā)現(xiàn)知識；最后一個階段是大數(shù)據(jù)的至高境界——智慧決策，即對未來的事件進(jìn)行風(fēng)險預(yù)測，從而采取相應(yīng)的決策來防范風(fēng)險。由此可見，征信大數(shù)據(jù)應(yīng)用實施的演變過程就是把沒有關(guān)聯(lián)關(guān)系的大量數(shù)據(jù)通過一些分析和處理的技術(shù)手段轉(zhuǎn)變成有用的信息最終形成決策，從而有效防范風(fēng)險。

2.征信大數(shù)據(jù)的挖掘分析技術(shù)

由以上對大量數(shù)據(jù)的來源分析可知，由于與征信相關(guān)信息的數(shù)據(jù)采集渠道復(fù)雜、數(shù)據(jù)來源不可追溯、數(shù)據(jù)結(jié)構(gòu)多樣，于是針對不同的數(shù)據(jù)群體的不同特點，也要選取不同的處理和解決辦法。征信大數(shù)據(jù)分析技術(shù)包括離線數(shù)據(jù)處理、實時數(shù)據(jù)處理和數(shù)據(jù)分析技術(shù)等。

（1）離線數(shù)據(jù)處理引擎——hadoop

Hadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。Hadoop的并行計算框架MapReduce，可以對離線數(shù)據(jù)提供簡單的并行計算處理。Hadoop適合處理幾百T這個級別的數(shù)據(jù)量，并且適用于一次寫入，多次讀取的場景，也就是數(shù)據(jù)復(fù)制進(jìn)去之后，長時間在這些數(shù)據(jù)上進(jìn)行分析，從而實現(xiàn)了對離線數(shù)據(jù)進(jìn)行長時間處理的功能。目前Hadoop主要可以用于用戶行為分析、廣告效果分析、產(chǎn)品設(shè)計分析、商業(yè)智能分析、報表統(tǒng)計等。

（2）實時數(shù)據(jù)處理引擎——Spark

Apache Spark 是專為大規(guī)模數(shù)據(jù)處理而設(shè)計的快速通用的計算引擎，雖然它有與 Hadoop 相似的開源集群計算環(huán)境，但是它在某些工作負(fù)載方面表現(xiàn)得更加優(yōu)越，不僅優(yōu)化了迭代工作負(fù)載，而且內(nèi)存計算速度 比 Hadoop 快100倍。構(gòu)建在Spark上處理實時數(shù)據(jù)的Stream的框架，基本的原理是將實時數(shù)據(jù)分成小的時間片斷（幾秒），以批量處理的方式來處理這小部分?jǐn)?shù)據(jù)，從而實現(xiàn)了實時計算與處理數(shù)據(jù)流的功能。

（3）數(shù)據(jù)分析技術(shù)——SPSS

SPSS（Statistical Product and Service Solutions），“統(tǒng)計產(chǎn)品與服務(wù)解決方案”軟件，是IBM公司推出的一系列用于統(tǒng)計學(xué)分析運(yùn)算、數(shù)據(jù)挖掘、預(yù)測分析和決策支持任務(wù)的軟件產(chǎn)品及相關(guān)服務(wù)的總稱。傳統(tǒng)的征信理念試圖通過已知的因果邏輯關(guān)系分析歷史數(shù)據(jù)，征信大數(shù)據(jù)應(yīng)用SPSS軟件強(qiáng)大的數(shù)據(jù)分析技術(shù)，除了可以揭示信息主體的歷史數(shù)據(jù)和行為之間的因果邏輯關(guān)系外，還努力發(fā)現(xiàn)事物之間的相關(guān)性、關(guān)聯(lián)性，并對其加以廣泛利用。

當(dāng)然，用于數(shù)據(jù)挖掘與分析的軟件還有很多，這里不在一一介紹，對于不同軟件的選取與使用原則：一是要遵照數(shù)據(jù)挖掘與分析項目需求與實現(xiàn)功能，二是要結(jié)合數(shù)據(jù)分析師的分析理念和日常習(xí)慣。

（四）下游信息使用者對數(shù)據(jù)征信產(chǎn)品的使用

在金融領(lǐng)域常用的數(shù)據(jù)征信產(chǎn)品有：銀行評級及其他評級報告、專項評價報告、信用咨詢類服務(wù)、企業(yè)征信、金融機(jī)構(gòu)服務(wù)等。該領(lǐng)域的產(chǎn)品主要為從事金融活動的相關(guān)方提供，例如擔(dān)保機(jī)構(gòu)、小貸公司、保理公司、融資租賃公司等。旨在幫助金融活動的相關(guān)方收集被調(diào)查對象的真實、有效數(shù)據(jù)信息，經(jīng)過征信機(jī)構(gòu)判斷、評價、分析后，甄別與防范在從事金融活動的過程中各種可能發(fā)生的風(fēng)險。

在政府領(lǐng)域常用的數(shù)據(jù)征信產(chǎn)品有：評級或評價報告、籌建咨詢報告、征信調(diào)查服務(wù)、信用體系建設(shè)咨詢等。該領(lǐng)域的產(chǎn)品主要服務(wù)于政府部門、行業(yè)協(xié)會等，不同產(chǎn)品對應(yīng)于政府相關(guān)部門的不同需求。例如社會信用體系建設(shè)咨詢產(chǎn)品，是征信機(jī)構(gòu)結(jié)合信息化的技術(shù)手段為地方或行業(yè)社會信用體系主管部門提供規(guī)劃編制、平臺建設(shè)、體系設(shè)計等服務(wù)。

在商業(yè)或商務(wù)領(lǐng)域常用的數(shù)據(jù)征信產(chǎn)品有：評級或評價報告、投融資咨詢報告、征信評價報告、供應(yīng)鏈管理服務(wù)、系統(tǒng)開發(fā)等。該類產(chǎn)品是針對商業(yè)發(fā)展或商務(wù)合作開展的大數(shù)據(jù)征信服務(wù)。

在公共領(lǐng)域常用的數(shù)據(jù)征信產(chǎn)品有：PPP咨詢、社會信用產(chǎn)品應(yīng)用咨詢、社會責(zé)任報告、大數(shù)據(jù)排名等。該類產(chǎn)品應(yīng)用于針對社會公眾所提供的大數(shù)據(jù)征信服務(wù)。

在個人領(lǐng)域常用的數(shù)據(jù)征信產(chǎn)品有：個人征信、個人貸款風(fēng)險預(yù)測等。該類產(chǎn)品應(yīng)用于針對個人所提供的大數(shù)據(jù)征信服務(wù)。

大數(shù)據(jù)征信未來的發(fā)展與應(yīng)用方向 

（一）互聯(lián)網(wǎng)行業(yè)發(fā)展催生征信需求發(fā)展旺盛

以互聯(lián)網(wǎng)金融為代表的新型互聯(lián)網(wǎng)服務(wù)行業(yè)的快速發(fā)展將帶來大量新的征信需求，包括P2P網(wǎng)絡(luò)借貸、電商金融等互聯(lián)網(wǎng)金融行業(yè)，以及以淘寶為代表的電子商務(wù)行業(yè)和以滴滴打車為代表的O2O服務(wù)行業(yè)等新型行業(yè)。對于P2P網(wǎng)絡(luò)借貸等互聯(lián)網(wǎng)金融行業(yè)來說，需要借助信用信息共享來防范信用風(fēng)險、降低交易成本，這就需要大數(shù)據(jù)征信的實時分析技術(shù)，來隨時甄別和防范可能發(fā)生的風(fēng)險。對于電子商務(wù)行業(yè)來說，電商消費(fèi)者的精細(xì)化營銷、個性化服務(wù)和批量化處理將成為主要的運(yùn)營模式，這對于大數(shù)據(jù)征信技術(shù)來說，要求更加準(zhǔn)確地把握消費(fèi)者的消費(fèi)習(xí)慣、風(fēng)險偏好和信用狀況。

（二）深層次的信息加工推動征信產(chǎn)品創(chuàng)新升級

隨著云計算、數(shù)據(jù)挖掘等信息技術(shù)的發(fā)展和應(yīng)用，為征信產(chǎn)品的創(chuàng)新和升級奠定了技術(shù)基礎(chǔ)。一方面，征信機(jī)構(gòu)能夠憑借互聯(lián)網(wǎng)的各種渠道拓展信息來源，降低信息采集的難度和成本，并且利用電子郵件等網(wǎng)絡(luò)通訊技術(shù)的新型交流方式，快速、便捷地提供實時、全面的征信服務(wù)。另一方面，數(shù)據(jù)處理能力的提升，使得征信機(jī)構(gòu)可以對其掌握的數(shù)據(jù)資源進(jìn)行更充分挖掘和分析，開發(fā)出具有更高技術(shù)含量的產(chǎn)品和服務(wù)，滿足社會多層次、全方位、專業(yè)化的征信需求。

（三）信息安全和信息主體權(quán)益保護(hù)技術(shù)全面加強(qiáng)

隨著征信機(jī)構(gòu)采集和存儲數(shù)據(jù)的不斷增多，信息安全問題也亟待加強(qiáng)，征信機(jī)構(gòu)通過數(shù)據(jù)庫存儲數(shù)據(jù)和互聯(lián)網(wǎng)傳輸信息等技術(shù)手段提供征信服務(wù)，容易受到黑客有意入侵和病毒攻擊的威脅，一旦數(shù)據(jù)遭到竊取、泄露、篡改，將對個人隱私和客戶權(quán)益造成侵害。另外，互聯(lián)網(wǎng)環(huán)境下，個人信用信息的采集、共享和使用與信息主體權(quán)益保護(hù)間也存在一定的沖突，如何落實《征信業(yè)管理條例》的相關(guān)規(guī)定，還需要進(jìn)一步斟酌和研究

來源：168大數(shù)據(jù)