本篇案例為數(shù)據(jù)猿推出的大型“金融大數(shù)據(jù)主題策劃”活動(dòng)（查看詳情）第一部分的系列案例/征文；感謝 明略數(shù)據(jù) 的投遞

作為整體活動(dòng)的第二部分，2017年6月29日，由數(shù)據(jù)猿主辦，上海金融行業(yè)信息協(xié)會(huì)、互聯(lián)網(wǎng)普惠金融研究院聯(lián)合主辦，中國(guó)信息通信研究院、大數(shù)據(jù)發(fā)展促進(jìn)委員會(huì)、上海大數(shù)據(jù)聯(lián)盟、首席數(shù)據(jù)官聯(lián)盟、中國(guó)大數(shù)據(jù)技術(shù)與應(yīng)用聯(lián)盟協(xié)辦的《「數(shù)據(jù)猿·超聲波」之金融科技·商業(yè)價(jià)值探索高峰論壇》還將在上海隆重舉辦【論壇詳情丨上屆回顧】

在論壇現(xiàn)場(chǎng)，也將頒發(fā)“技術(shù)創(chuàng)新獎(jiǎng)”、“應(yīng)用創(chuàng)新獎(jiǎng)”、“最佳實(shí)踐獎(jiǎng)”、“優(yōu)秀案例獎(jiǎng)”四大類(lèi)案例獎(jiǎng)

來(lái)源：數(shù)據(jù)猿丨投遞：明略數(shù)據(jù)

2017年，從兩會(huì)到銀監(jiān)會(huì)6號(hào)文件再到習(xí)主席在中共中央政治局第四十次集體學(xué)習(xí)的講話，金融安全、金融風(fēng)控都被高度關(guān)注。除了宏觀調(diào)控、政策監(jiān)管、治理改革等手段，維護(hù)金融安全與穩(wěn)定外，在互聯(lián)網(wǎng)快速發(fā)展和鼓勵(lì)金融科技創(chuàng)新的今天，確保“風(fēng)險(xiǎn)防控耳聰目明”也是每個(gè)金融機(jī)構(gòu)的當(dāng)務(wù)之急。

近幾年，網(wǎng)絡(luò)、移動(dòng)支付無(wú)比便捷，但同時(shí)，金融機(jī)構(gòu)和廣大消費(fèi)者也面臨著金融詐騙高發(fā)的威脅。無(wú)論是利用信用卡、網(wǎng)絡(luò)、移動(dòng)端進(jìn)行利用“新型手段”進(jìn)行金融欺詐的行為時(shí)刻危害著國(guó)家和民眾的財(cái)產(chǎn)安全，對(duì)于銀行也造成了無(wú)法挽回的損失。

近幾年，每年僅信用卡詐騙就發(fā)生了上萬(wàn)起，信用卡詐騙案件數(shù)量已經(jīng)占到了經(jīng)濟(jì)案件的四分之一，使得銀行損失數(shù)百億元，挽回?fù)p失非常困難。

面對(duì)猖獗的金融欺詐，如何借助人工智能、大數(shù)據(jù)技術(shù)，在新型模式下，高效、準(zhǔn)確地應(yīng)對(duì)金融行業(yè)中從線下到線上，從單點(diǎn)到海量并發(fā)，從人工到自動(dòng)化程序化各方面進(jìn)行的欺詐升級(jí)，提高整體反欺詐能力，對(duì)于每個(gè)金融機(jī)構(gòu)也勢(shì)在必行。

2016年，全國(guó)各大銀行信用卡業(yè)務(wù)增長(zhǎng)迅速，該大型國(guó)有商業(yè)銀行信用卡中心在2016年發(fā)卡量突破五千萬(wàn)張，全年累計(jì)消費(fèi)額達(dá)人民幣近兩萬(wàn)億元，同比增長(zhǎng)20%。面對(duì)如此龐大的信用卡數(shù)量，作為信用卡中心，每天需要面對(duì)數(shù)千萬(wàn)的用戶行為數(shù)據(jù)以及數(shù)億元成交金額,這樣的銀行業(yè)信用卡業(yè)務(wù)是個(gè)典型的大數(shù)據(jù)場(chǎng)景，每天產(chǎn)生的交易數(shù)據(jù)數(shù)量規(guī)模巨大，且具有數(shù)據(jù)類(lèi)型多樣、流動(dòng)速度快、價(jià)值密度低等特點(diǎn)。

如何利用大數(shù)據(jù)工具從海量的數(shù)據(jù)中準(zhǔn)確且高效地?cái)X取、挖掘和分析出欺詐等行為特征，在欺詐發(fā)生前及時(shí)預(yù)警，是目前信用卡業(yè)務(wù)風(fēng)險(xiǎn)行為實(shí)時(shí)監(jiān)測(cè)的難點(diǎn)之一。另一方面，目前的信用卡業(yè)務(wù)監(jiān)測(cè)系統(tǒng)一般基于傳統(tǒng)數(shù)據(jù)庫(kù)架構(gòu)，即先將交易數(shù)據(jù)存儲(chǔ)于數(shù)據(jù)庫(kù)中，然后建立索引對(duì)數(shù)據(jù)進(jìn)行分析查詢(xún)，這樣的架構(gòu)不能對(duì)可疑事件進(jìn)行及時(shí)響應(yīng)，不具有實(shí)時(shí)性。

如何以“流”的形式處理銀行交易產(chǎn)生的海量數(shù)據(jù)，并基于事件驅(qū)動(dòng)，實(shí)時(shí)地做出響應(yīng)，是目前信用卡監(jiān)測(cè)系統(tǒng)的另一難點(diǎn)。

面對(duì)兩大難點(diǎn)，明略數(shù)據(jù)為某大型國(guó)有商業(yè)銀行信用卡中心提供了電子渠道實(shí)時(shí)反欺詐交易監(jiān)控系統(tǒng)，在分布式架構(gòu)下引入流式處理技術(shù)，實(shí)時(shí)處理海量交易數(shù)據(jù)，分析欺詐行為特征，利用機(jī)器學(xué)習(xí)進(jìn)行自動(dòng)完善的欺詐規(guī)則體系實(shí)時(shí)為消費(fèi)者的檢測(cè)每一個(gè)異常行為，利用大數(shù)據(jù)實(shí)現(xiàn)信用卡交易的反欺詐升級(jí)。

周期/節(jié)奏

2016年5月開(kāi)始進(jìn)行需求分析，經(jīng)歷了軟件開(kāi)發(fā)、測(cè)試等準(zhǔn)備，于2016年10月底投產(chǎn)，并于年底正式上線。

客戶名稱(chēng)/所屬分類(lèi)

某大型國(guó)有商業(yè)銀行信用卡中心／風(fēng)控

任務(wù)/目標(biāo)

本項(xiàng)目實(shí)時(shí)接收電子渠道交易數(shù)據(jù)，整合系統(tǒng)其他業(yè)務(wù)數(shù)據(jù)，通過(guò)規(guī)則實(shí)現(xiàn)快速建模、實(shí)時(shí)告警與在線智能監(jiān)控報(bào)表等功能?？傮w要求能實(shí)時(shí)接收官網(wǎng)業(yè)務(wù)數(shù)據(jù)，整合客戶信息、設(shè)備畫(huà)像、位置信息、官網(wǎng)交易日志、瀏覽記錄等，通過(guò)規(guī)則實(shí)現(xiàn)快速建模、實(shí)時(shí)告警與在線智能監(jiān)控等功能。

●系統(tǒng)維度目標(biāo)，集成卡中心Hadoop大數(shù)據(jù)平臺(tái)，搭建適應(yīng)大數(shù)據(jù)流式處理分析場(chǎng)景的數(shù)據(jù)處理平臺(tái)，滿足卡中心用戶行為分析、風(fēng)控、反欺詐等急速增長(zhǎng)的各類(lèi)實(shí)時(shí)數(shù)據(jù)應(yīng)用需求；

●數(shù)據(jù)維度目標(biāo)，實(shí)時(shí)對(duì)接并處理現(xiàn)有的官網(wǎng)數(shù)據(jù)，以及其他整合客戶信息、設(shè)備畫(huà)像、位置信息、官網(wǎng)交易日志、瀏覽記錄等各類(lèi)生產(chǎn)數(shù)據(jù)源。完成在官網(wǎng)日志、非金寬表、消息隊(duì)列間實(shí)現(xiàn)數(shù)據(jù)的無(wú)縫流轉(zhuǎn)，實(shí)現(xiàn)多系統(tǒng)內(nèi)標(biāo)準(zhǔn)的批量或?qū)崟r(shí)數(shù)據(jù)同步接口；

●業(yè)務(wù)維度目標(biāo)，重點(diǎn)滿足卡中心通過(guò)規(guī)則實(shí)現(xiàn)快速建模、實(shí)時(shí)告警與在線智能監(jiān)控報(bào)表等大數(shù)據(jù)應(yīng)用需求，以更好地支撐異常行為分析、反欺詐等業(yè)務(wù)的開(kāi)展，從而有效的對(duì)愈趨復(fù)雜的非金融類(lèi)交易進(jìn)行更加高效和實(shí)時(shí)的監(jiān)控。

挑戰(zhàn)

隨著卡中心移動(dòng)互聯(lián)應(yīng)用的深入推廣，互聯(lián)網(wǎng)欺詐也愈趨嚴(yán)重。面對(duì)這樣的情況，為有效防范互聯(lián)網(wǎng)欺詐風(fēng)險(xiǎn)，卡中心迫切需要一個(gè)利用分布式實(shí)時(shí)數(shù)據(jù)處理技術(shù)，能容納TB級(jí)數(shù)據(jù)、高流量場(chǎng)景下具備低延遲時(shí)效性的實(shí)時(shí)監(jiān)控交易系統(tǒng)，從而有效的對(duì)愈趨復(fù)雜的網(wǎng)絡(luò)欺詐進(jìn)行高效和實(shí)時(shí)監(jiān)控。

對(duì)于這樣一個(gè)系統(tǒng)，需要非常強(qiáng)大的技術(shù)經(jīng)驗(yàn)與積累，作為剛剛成立兩年的大數(shù)據(jù)公司，在大數(shù)據(jù)技術(shù)尚在探索階段的技術(shù)發(fā)展時(shí)期，利用Hadoop+Spark的分布式技術(shù)，迅速熟悉紛繁復(fù)雜的金融業(yè)務(wù)及數(shù)據(jù)，并結(jié)合客戶現(xiàn)有的數(shù)據(jù)和平臺(tái)情況，進(jìn)行開(kāi)發(fā)。開(kāi)發(fā)時(shí)間短、任務(wù)重，但最后仍舊成功的圓滿完成了客戶的需求，并得到了客戶的高度認(rèn)可。

實(shí)施過(guò)程/解決方案

隨著國(guó)內(nèi)信用卡中心移動(dòng)互聯(lián)應(yīng)用的深入推廣，互聯(lián)網(wǎng)欺詐也愈趨嚴(yán)重。因此，采用一套利用分布式實(shí)時(shí)數(shù)據(jù)處理技術(shù)，能容納TB級(jí)數(shù)據(jù)、高流量場(chǎng)景下具備低延遲時(shí)效性的實(shí)時(shí)監(jiān)控交易系統(tǒng)，就成為了迫切的需求。

本次解決方案引入大數(shù)據(jù)流式處理相關(guān)技術(shù)，并充分結(jié)合卡中心當(dāng)前的數(shù)據(jù)處理架構(gòu)，提出了一套切實(shí)可行的技術(shù)服務(wù)方案。

一、引入流式處理技術(shù)的必要性

過(guò)去的幾年，信用卡行業(yè)發(fā)生著劇烈的變化?；ヂ?lián)網(wǎng)的普及、社交網(wǎng)絡(luò)化的深化以及移動(dòng)互聯(lián)網(wǎng)的快速發(fā)展，使得信用卡業(yè)務(wù)在大數(shù)據(jù)時(shí)代充滿挑戰(zhàn)的同時(shí)，也看到了蘊(yùn)含的信息價(jià)值。

大數(shù)據(jù)相關(guān)技術(shù)方面，具有代表性的是Apache開(kāi)發(fā)的Hadoop和谷歌2004年提出的MapReduce，兩者在處理非結(jié)構(gòu)化數(shù)據(jù)、大規(guī)模并行處理和簡(jiǎn)單應(yīng)用方面的優(yōu)勢(shì)，然而MapReduce無(wú)法滿足實(shí)時(shí)計(jì)算方面的要求，因?yàn)樗且环N離線計(jì)算框架。

流式大數(shù)據(jù)處理是一種新興的數(shù)據(jù)處理技術(shù)，其理論雛形起源90年代的主動(dòng)數(shù)據(jù)庫(kù)研究。由于金融系統(tǒng)數(shù)據(jù)的數(shù)量和速度方面的要求，以及金融交易的復(fù)雜性和實(shí)時(shí)性方面的要求，充分顯示了流式大數(shù)據(jù)處理在該行業(yè)應(yīng)用的機(jī)會(huì)，其在信用卡中主要應(yīng)用在以下幾個(gè)場(chǎng)景：欺詐發(fā)現(xiàn)，包括信用卡欺詐、套現(xiàn)、洗錢(qián)以及各種其他交易違規(guī)行為等。

Apache Spark是目前最為通用的流式大數(shù)據(jù)處理解決方案，它是一個(gè)開(kāi)源的，通用的分布式集群計(jì)算引擎，能夠幫助用戶簡(jiǎn)單的開(kāi)發(fā)快速，統(tǒng)一的大數(shù)據(jù)應(yīng)用，對(duì)數(shù)據(jù)進(jìn)行，協(xié)處理，流式處理，交互式分析等等。Spark提供了一個(gè)快速的計(jì)算以及近交互式查詢(xún)的框架。

相比于Hadoop，Spark擁有明顯的性能優(yōu)勢(shì)。除了數(shù)據(jù)分析，Spark還能夠支持?jǐn)?shù)據(jù)挖掘。無(wú)疑Hadoop+Spark是解決互聯(lián)網(wǎng)渠道海量并發(fā)行為數(shù)據(jù)的毫秒級(jí)實(shí)時(shí)響應(yīng)分析難題的最佳技術(shù)組合。

二、明略數(shù)據(jù)電子渠道實(shí)時(shí)反欺詐交易監(jiān)控系統(tǒng)技術(shù)實(shí)現(xiàn)

1．實(shí)時(shí)反欺詐交易監(jiān)控系統(tǒng)解決方案架構(gòu)

面臨每秒高并發(fā)的大量交易數(shù)據(jù)、網(wǎng)絡(luò)行為數(shù)據(jù)、非金決策數(shù)據(jù)，明略數(shù)據(jù)需要幫助客戶建議一套擁有迅速豐富反欺詐的數(shù)據(jù)來(lái)源和監(jiān)控模型，快速、高效對(duì)數(shù)據(jù)進(jìn)行多重處理分析，建立數(shù)百個(gè)實(shí)時(shí)反欺詐規(guī)則及模型，結(jié)合當(dāng)前用戶特征數(shù)據(jù)實(shí)時(shí)識(shí)別欺詐風(fēng)險(xiǎn)，完善風(fēng)控鏈條，將風(fēng)控前移。

本項(xiàng)目中利用采用Hadoop+Spark分布式的大數(shù)據(jù)存儲(chǔ)與計(jì)算框架，能方便的支持集群資源的橫向擴(kuò)展，即通過(guò)增加服務(wù)器數(shù)量的方式提升集群的數(shù)據(jù)存儲(chǔ)容量，同時(shí)近乎線性的提高計(jì)算性能。

圖1：明略數(shù)據(jù)電子渠道實(shí)時(shí)反欺詐解決方案框架

基于對(duì)客戶的數(shù)據(jù)進(jìn)行分析、研究，結(jié)合對(duì)業(yè)務(wù)的深入立即和對(duì)客戶的需求分析，明略數(shù)據(jù)為客戶提供整體反欺詐方案設(shè)計(jì)思路，整個(gè)系統(tǒng)邏輯上可分為四個(gè)層次，即：源數(shù)據(jù)層、數(shù)據(jù)接入層、實(shí)時(shí)計(jì)算引擎及決策層和數(shù)據(jù)服務(wù)層。

其中，數(shù)據(jù)接入層、實(shí)時(shí)計(jì)算及決策層和數(shù)據(jù)服務(wù)層構(gòu)建于Hadoop企業(yè)版的大數(shù)據(jù)基礎(chǔ)平臺(tái)，使用了包括Flume、Hbase、Kafka、Sentry、Spark Streaming、Sqoop、ZooKeeper等各類(lèi)常用的大數(shù)據(jù)開(kāi)發(fā)組件，為整個(gè)解決方案提供底層的大數(shù)據(jù)的接入、數(shù)據(jù)存儲(chǔ)、處理技術(shù)支持。

●在源數(shù)據(jù)層，有海量不同系統(tǒng)的數(shù)據(jù)，包括官網(wǎng)日志、CIM數(shù)據(jù)和非金決策數(shù)據(jù)需要數(shù)據(jù)需要同步介入大數(shù)據(jù)平臺(tái)，從而實(shí)現(xiàn)了卡中心非金交易數(shù)據(jù)實(shí)時(shí)監(jiān)控。由Flume將官網(wǎng)行為數(shù)據(jù)實(shí)時(shí)介入大數(shù)據(jù)平臺(tái)，完成所需數(shù)據(jù)快速、實(shí)時(shí)接入。

●在數(shù)據(jù)接入層，系統(tǒng)接收源數(shù)據(jù)層數(shù)據(jù)，并根據(jù)每種數(shù)據(jù)源的特性和實(shí)時(shí)監(jiān)控需求，采用不同的處理策略。同時(shí)，數(shù)據(jù)接入層還提供必需的數(shù)據(jù)質(zhì)量檢查、數(shù)據(jù)清洗等工作，保證后續(xù)實(shí)時(shí)計(jì)算的正確性。

●實(shí)時(shí)計(jì)算引擎及決策層該功能模塊包括實(shí)時(shí)衍生變量計(jì)算子系統(tǒng)、實(shí)時(shí)決策子系統(tǒng)。兩個(gè)系統(tǒng)分別對(duì)將實(shí)施衍生字段計(jì)算結(jié)果以及規(guī)則進(jìn)行管理。

●在數(shù)據(jù)服務(wù)層，該模塊主要提供外圍系統(tǒng)交互、報(bào)表、MIS系統(tǒng)數(shù)據(jù)導(dǎo)出、催反交易監(jiān)控及催反案調(diào)系統(tǒng)數(shù)據(jù)對(duì)接等功能。

●在管理層，通過(guò)對(duì)用戶管理和運(yùn)維管理保障集群運(yùn)維人員賬號(hào)間的安全、無(wú)干擾及權(quán)限分明，以及保證了數(shù)據(jù)平臺(tái)的易維護(hù)性，更加直觀、可視化的將整個(gè)集群狀況展現(xiàn)出來(lái)，在提供方便、快捷的針對(duì)集群運(yùn)維管理操作的同時(shí)，報(bào)警和日志功能有效幫助運(yùn)維人員及時(shí)發(fā)現(xiàn)和定位、解決問(wèn)題，保障數(shù)據(jù)平臺(tái)高可用。

2.技術(shù)實(shí)現(xiàn)：“在線實(shí)時(shí)決策+離線機(jī)器學(xué)習(xí)”實(shí)現(xiàn)高效實(shí)時(shí)反欺詐

區(qū)別于傳統(tǒng)渠道，信用卡線上渠道的特點(diǎn)是在使用、交易階段進(jìn)行用戶身份真實(shí)性核實(shí)變得非常困難，同時(shí)線上渠道會(huì)產(chǎn)生高并發(fā)、海量、非結(jié)構(gòu)化、多維度的數(shù)據(jù)，無(wú)論從業(yè)務(wù)角度還是技術(shù)角度對(duì)于銀行的反欺詐能力都提出了更高的要求。

如何有效使用線上渠道產(chǎn)生的海量數(shù)據(jù)，如何基于大數(shù)據(jù)方法防控線上渠道的欺詐風(fēng)險(xiǎn)，如何利用新型技術(shù)架構(gòu)解決海量、實(shí)時(shí)的問(wèn)題，如何通過(guò)機(jī)器學(xué)習(xí)手段縮短反欺詐模型升級(jí)周期，這些都是銀行迫切需要解決的問(wèn)題。

明略數(shù)據(jù)通過(guò)“在線實(shí)時(shí)決策+離線機(jī)器學(xué)習(xí)”結(jié)合的解決方案，可以實(shí)時(shí)監(jiān)測(cè)海量數(shù)據(jù)，有效避免線上業(yè)務(wù)中潛在的如信息泄露、冒名、盜刷等欺詐風(fēng)險(xiǎn)，最大限度的監(jiān)測(cè)和防范線上反欺詐行為的發(fā)生。

同時(shí)，利用機(jī)器學(xué)習(xí)，根據(jù)實(shí)時(shí)檢測(cè)的數(shù)據(jù)對(duì)欺詐規(guī)則庫(kù)進(jìn)行優(yōu)化，離線迭代規(guī)則，通過(guò)對(duì)歷史行為與實(shí)時(shí)行為對(duì)比，對(duì)規(guī)則進(jìn)行離線學(xué)習(xí)、管理，

在線實(shí)時(shí)決策

大數(shù)據(jù)流式處理是一種新興的數(shù)據(jù)處理技術(shù)，以“流”的形式處理交易產(chǎn)生的海量數(shù)據(jù)，并基于事件驅(qū)動(dòng)。利用Hadoop分布式架構(gòu)及Spark分布式集群計(jì)算引擎結(jié)合，可以快速、高效地對(duì)數(shù)據(jù)進(jìn)行協(xié)處理、流式處理、交互式分析等。

實(shí)時(shí)根據(jù)反欺詐規(guī)則庫(kù)的規(guī)則，以及當(dāng)前用戶的特征數(shù)據(jù)，判斷是否存在欺詐風(fēng)險(xiǎn)以及欺詐風(fēng)險(xiǎn)等級(jí)，向銀行交易監(jiān)控系統(tǒng)、處置系統(tǒng)輸出決策結(jié)果。

圖2：實(shí)時(shí)反欺詐技術(shù)框架

基于大數(shù)據(jù)平臺(tái)存儲(chǔ)的歷史數(shù)據(jù)和計(jì)算能力，批量處理數(shù)據(jù)并存入NoSQL數(shù)據(jù)庫(kù)，同時(shí)利用Kafka接入交易數(shù)據(jù)、行為數(shù)據(jù)等，通過(guò)流式處理技術(shù)，結(jié)合規(guī)則引擎，實(shí)時(shí)、統(tǒng)計(jì)和分析客戶特征，發(fā)生異常，及時(shí)進(jìn)行報(bào)警輸出。

基于Spark內(nèi)存計(jì)算引擎，在獲得流式的數(shù)據(jù)采集后，即能開(kāi)始按照需求進(jìn)行變量運(yùn)算并更新相應(yīng)的結(jié)果。

離線機(jī)器學(xué)習(xí)

明略數(shù)據(jù)同樣基于Spark架構(gòu)的數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)平臺(tái)，離線構(gòu)建規(guī)則自學(xué)習(xí)模型，在實(shí)時(shí)檢測(cè)異常行為的同時(shí)，記錄欺詐相關(guān)數(shù)據(jù)，并進(jìn)行數(shù)據(jù)清洗以及算法優(yōu)化建模，從而建立有監(jiān)督風(fēng)險(xiǎn)特征識(shí)別模型。

利用LPA/MRF半監(jiān)督機(jī)器學(xué)習(xí)模型等方式進(jìn)行特征抽取、變化，更新規(guī)則庫(kù)，幫助風(fēng)控人員及時(shí)發(fā)現(xiàn)新型欺詐行為并產(chǎn)生對(duì)應(yīng)的反欺詐規(guī)則，同時(shí)，提供整體反欺詐解決方案的資源管理和運(yùn)維保障。

圖3：明略數(shù)據(jù)離線分析建模流程

三、實(shí)時(shí)反欺詐交易監(jiān)控流程

明略數(shù)據(jù)通過(guò)Hadoop+Spark結(jié)合建立實(shí)時(shí)反欺詐系統(tǒng)，通過(guò)整合連接卡中心全量電子渠道用戶行為數(shù)據(jù)接入大數(shù)據(jù)平臺(tái)，并進(jìn)行實(shí)時(shí)反欺詐分析，迅速識(shí)別欺詐風(fēng)險(xiǎn)。通過(guò)系統(tǒng)API，連接銀行體系現(xiàn)有系統(tǒng)，及時(shí)維系民眾及銀行的財(cái)產(chǎn)安全，提前預(yù)見(jiàn)風(fēng)險(xiǎn)。

圖4：明略數(shù)據(jù)實(shí)時(shí)反欺詐流程

1.連接全量電子渠道用戶行為數(shù)據(jù)

對(duì)信用卡電子渠道全行為數(shù)據(jù)進(jìn)行整合，包括實(shí)時(shí)官網(wǎng)數(shù)據(jù)、非金寬表數(shù)據(jù)和日批數(shù)據(jù)，全方位覆蓋，登錄，查詢(xún)，密碼，轉(zhuǎn)賬，支付等行為，并采用分流技術(shù)架構(gòu)，利用旁路數(shù)據(jù)通道保障業(yè)務(wù)。

2.識(shí)別欺詐風(fēng)險(xiǎn)

利用分布式架構(gòu)及流式處理技術(shù)建立實(shí)時(shí)反欺詐引擎，通過(guò)實(shí)施變量衍生計(jì)算子系統(tǒng)，提供實(shí)時(shí)衍生字段模板管理、衍生字段計(jì)算函數(shù)庫(kù)管理、衍生字段配置、衍生字段計(jì)算引擎、衍生字段計(jì)算結(jié)果更新等功能，并通過(guò)實(shí)時(shí)決策子系統(tǒng)規(guī)則模板管理、規(guī)則庫(kù)管理、規(guī)則配置、規(guī)則決策引擎、規(guī)則匹配告警、黑白灰名單更新等功能。

進(jìn)行海量、高并發(fā)、實(shí)時(shí)的電子渠道交易行為的欺詐行為檢測(cè)。結(jié)合離線機(jī)器學(xué)習(xí)，迭代反欺詐規(guī)則，更及時(shí)、高效地發(fā)現(xiàn)欺詐行為。

圖5：明略數(shù)據(jù)實(shí)時(shí)反欺詐思路

3.對(duì)接銀行現(xiàn)有系統(tǒng)

友好的API設(shè)計(jì)完美對(duì)接銀行客戶現(xiàn)有反欺詐體系和業(yè)務(wù)系統(tǒng)，包括預(yù)警系統(tǒng)、客服系統(tǒng)、案件調(diào)查系統(tǒng)、交易監(jiān)控系統(tǒng)等。

四、明略數(shù)據(jù)實(shí)時(shí)反欺詐交易監(jiān)控系統(tǒng)實(shí)例

信用卡線上交易場(chǎng)景下的數(shù)據(jù)種類(lèi)多樣，類(lèi)別繁雜，明略數(shù)據(jù)通過(guò)實(shí)時(shí)和批量采集數(shù)據(jù)，整合多系統(tǒng)也如數(shù)據(jù)，并同步至反欺詐數(shù)據(jù)平臺(tái)，通過(guò)流式處理技術(shù)對(duì)數(shù)據(jù)進(jìn)行處理并通過(guò)反欺詐規(guī)則進(jìn)行實(shí)時(shí)的幫助信識(shí)別惡意用戶和欺詐行為，并實(shí)時(shí)預(yù)警和處置。

圖6：明略數(shù)據(jù)行為數(shù)據(jù)收集與規(guī)則展現(xiàn)

明略數(shù)據(jù)成功通過(guò)為該行卡中心構(gòu)建反作弊模型、實(shí)時(shí)計(jì)算、實(shí)時(shí)決策系統(tǒng)，幫助擁有數(shù)十TB歷史數(shù)據(jù)，日均增逾兩千萬(wàn)條日志流水的國(guó)有商業(yè)銀行卡中心建立電子渠道實(shí)時(shí)反欺詐交易監(jiān)控系統(tǒng)。

明略數(shù)據(jù)利用分布式實(shí)時(shí)數(shù)據(jù)采集技術(shù)和實(shí)時(shí)決策引擎，幫助信用卡中心高效整合多系統(tǒng)業(yè)務(wù)數(shù)據(jù)，處理海量高并發(fā)線上行為數(shù)據(jù)，識(shí)別惡意用戶和欺詐行為，并實(shí)時(shí)預(yù)警和處置，通過(guò)引入機(jī)器學(xué)習(xí)框架，對(duì)海量數(shù)據(jù)進(jìn)行分析、挖掘構(gòu)建并周期性更新反欺詐規(guī)則和反欺詐模型。

圖7：明略數(shù)據(jù)實(shí)時(shí)反欺詐交易監(jiān)控系統(tǒng)數(shù)據(jù)展現(xiàn)

結(jié)果/效果總結(jié)

作為國(guó)內(nèi)首家在成立之初即引入外部先進(jìn)技術(shù)及管理經(jīng)驗(yàn)的卡中心，該銀行信用卡中心目前已發(fā)展為領(lǐng)先的信用卡發(fā)行品牌，2016年累計(jì)發(fā)卡量逾五千萬(wàn)張，全年累計(jì)消費(fèi)額達(dá)人民幣近兩萬(wàn)億元，均居行業(yè)前茅。

在交易額與數(shù)據(jù)量如此巨大的情況下，明略數(shù)據(jù)反欺詐系統(tǒng)上線后，運(yùn)轉(zhuǎn)穩(wěn)定、高效，迅速監(jiān)控電子渠道產(chǎn)生的虛假賬號(hào)、偽裝賬號(hào)、異常登錄、頻繁登錄等新型風(fēng)險(xiǎn)和欺詐行為：系統(tǒng)7*24小時(shí)穩(wěn)定運(yùn)行，日均處理逾兩千萬(wàn)條日志流水、實(shí)時(shí)識(shí)別出近萬(wàn)筆風(fēng)險(xiǎn)行為并進(jìn)行預(yù)警下發(fā).

相較卡中心傳統(tǒng)的處理架構(gòu)，數(shù)據(jù)接入、計(jì)算報(bào)警、案件調(diào)查的整體處理時(shí)間從數(shù)小時(shí)降低至秒級(jí)，監(jiān)測(cè)時(shí)效提升近3000倍，上線3個(gè)月已幫助卡中心挽回?cái)?shù)百萬(wàn)元的風(fēng)險(xiǎn)損失。

明略數(shù)據(jù)為大型國(guó)有商業(yè)銀行信用卡中心提供了基于大數(shù)據(jù)分布式流處理技術(shù)的實(shí)時(shí)反欺詐解決方案，完全滿足卡中心各項(xiàng)功能要求與性能指標(biāo)，也充分證明了明略數(shù)據(jù)深入了解銀行業(yè)務(wù)并將技術(shù)與業(yè)務(wù)熟練結(jié)合，利用大數(shù)據(jù)技術(shù)助力銀行反欺詐升級(jí)的商業(yè)價(jià)值與技術(shù)價(jià)值。

1.方案引入先進(jìn)的Hadoop+Spark技術(shù)，解決了互聯(lián)網(wǎng)渠道海量并發(fā)行為數(shù)據(jù)的毫秒級(jí)實(shí)時(shí)響應(yīng)分析難題，幫助金融機(jī)構(gòu)IT平臺(tái)向更開(kāi)放的分布式處理架構(gòu)演進(jìn)，輕松應(yīng)對(duì)互聯(lián)網(wǎng)+時(shí)代的大數(shù)據(jù)處理場(chǎng)景；

2.方案融入了明略數(shù)據(jù)在互聯(lián)網(wǎng)風(fēng)控反欺詐領(lǐng)域的最佳實(shí)踐經(jīng)驗(yàn)，在金融交易流水?dāng)?shù)據(jù)的基礎(chǔ)上綜合利用網(wǎng)絡(luò)行為日志等新數(shù)據(jù)，通過(guò)構(gòu)建領(lǐng)先的風(fēng)險(xiǎn)決策引擎提升傳統(tǒng)風(fēng)控業(yè)務(wù)對(duì)風(fēng)險(xiǎn)全景分析和實(shí)時(shí)預(yù)警的能力，助力更安全地向互聯(lián)網(wǎng)金融業(yè)態(tài)轉(zhuǎn)型創(chuàng)新；

3.開(kāi)啟了國(guó)內(nèi)金融機(jī)構(gòu)大數(shù)據(jù)應(yīng)用領(lǐng)域的新階段，逐步從離線的存儲(chǔ)查詢(xún)向在線的實(shí)時(shí)分析處理升級(jí)，既順應(yīng)了金融業(yè)務(wù)互聯(lián)網(wǎng)化的發(fā)展趨勢(shì)，也為金融機(jī)構(gòu)發(fā)掘出了可靠且有效的大數(shù)據(jù)業(yè)務(wù)價(jià)值。

企業(yè)介紹：

明略數(shù)據(jù)是一家具有自主知識(shí)產(chǎn)權(quán)的中國(guó)大數(shù)據(jù)科技公司。深入大數(shù)據(jù)智能挖掘，致力于將領(lǐng)先的大數(shù)據(jù)技術(shù)商業(yè)化，通過(guò)不斷地實(shí)踐和積累，實(shí)現(xiàn)各行業(yè)的知識(shí)圖譜建設(shè)，促進(jìn)行業(yè)人工智能發(fā)展，成就客戶價(jià)值。

明略數(shù)據(jù)以自主研發(fā)的大數(shù)據(jù)及人工智能技術(shù)，幫助銀行、保險(xiǎn)、券商、基金等金融機(jī)構(gòu)規(guī)劃和建設(shè)智能大數(shù)據(jù)管理體系，已成功為金融客戶設(shè)計(jì)并實(shí)現(xiàn)了電子渠道實(shí)時(shí)反欺詐、信貸行業(yè)風(fēng)險(xiǎn)分析、客戶畫(huà)像和精準(zhǔn)營(yíng)銷(xiāo)等數(shù)據(jù)系統(tǒng)，并得到了行業(yè)標(biāo)桿客戶的高度認(rèn)可。

明略數(shù)據(jù)深入金融行業(yè)，憑借大數(shù)據(jù)科學(xué)家豐富的金融領(lǐng)域知識(shí)積累，以自主研發(fā)的安全大數(shù)據(jù)平臺(tái)MDP為基礎(chǔ)，圍繞關(guān)聯(lián)分析挖掘產(chǎn)品SCOPA和分布式數(shù)據(jù)挖掘系統(tǒng)DI，洞察數(shù)據(jù)背后的關(guān)聯(lián)關(guān)系、挖掘數(shù)據(jù)中的業(yè)務(wù)價(jià)值、構(gòu)建金融體系的知識(shí)工程，形成垂直領(lǐng)域的行業(yè)人工智能。

明略數(shù)據(jù)利用行業(yè)人工智能點(diǎn)亮金融科技，提高金融行業(yè)風(fēng)險(xiǎn)防范與精準(zhǔn)營(yíng)銷(xiāo)的業(yè)務(wù)效率，幫助金融從業(yè)人員成為更智慧的金融行業(yè)專(zhuān)家。

歡迎更多大數(shù)據(jù)企業(yè)、大數(shù)據(jù)愛(ài)好者投稿數(shù)據(jù)猿，來(lái)稿請(qǐng)直接投遞至：tougao@datayuan.cn

來(lái)源：數(shù)據(jù)猿