立足業(yè)務(wù)場(chǎng)景構(gòu)建更快更智能的大數(shù)據(jù)平臺(tái)(以民生銀行為例)
【數(shù)據(jù)猿導(dǎo)讀】 隨著信息化浪潮的推進(jìn),數(shù)據(jù)爆炸式增長(zhǎng),數(shù)據(jù)分析成為各行業(yè)競(jìng)爭(zhēng)的制高點(diǎn),更成為企業(yè)創(chuàng)新發(fā)展的重大戰(zhàn)略。銀行由于業(yè)務(wù)原因,手里也積累了海量的數(shù)據(jù),如何從海量數(shù)據(jù)中挖掘出具有價(jià)值的信息并將其應(yīng)用于業(yè)務(wù)經(jīng)營(yíng)、管理中成為企業(yè)的戰(zhàn)略重點(diǎn)

近年來(lái),大數(shù)據(jù)迅速升溫,成為社會(huì)關(guān)注的熱點(diǎn)。以長(zhǎng)尾理論為基礎(chǔ)的互聯(lián)網(wǎng)金融正是基于大數(shù)據(jù)分析技術(shù)實(shí)現(xiàn)了與傳統(tǒng)金融不一樣的產(chǎn)品研發(fā)、客群分析、營(yíng)銷推送、風(fēng)險(xiǎn)控制等新金融業(yè)態(tài),取得了顛覆性的成果。
隨著信息化浪潮的推進(jìn),數(shù)據(jù)爆炸式增長(zhǎng),數(shù)據(jù)分析成為各行業(yè)競(jìng)爭(zhēng)的制高點(diǎn),更成為企業(yè)創(chuàng)新發(fā)展的重大戰(zhàn)略。如何從海量數(shù)據(jù)中挖掘出具有價(jià)值的信息并將其應(yīng)用于業(yè)務(wù)經(jīng)營(yíng)、管理中成為企業(yè)的戰(zhàn)略重點(diǎn)。
銀行業(yè)在數(shù)據(jù)挖掘和使用上有著天然的優(yōu)勢(shì),近年來(lái)各家銀行均構(gòu)建了基于信息系統(tǒng)的業(yè)務(wù)場(chǎng)景,積累了大量高價(jià)值數(shù)據(jù),但是受限于多種因素,銀行業(yè)當(dāng)前數(shù)據(jù)的實(shí)際利用率并不高。在應(yīng)對(duì)利率市場(chǎng)化,提升管理精細(xì)化的背景下,大數(shù)據(jù)分析能力將越來(lái)越受到重視,成為銀行的重要核心競(jìng)爭(zhēng)力。
民生銀行為開(kāi)展全行轉(zhuǎn)型升級(jí)啟動(dòng)的鳳凰計(jì)劃項(xiàng)目中,將IT能力作為全行轉(zhuǎn)型發(fā)展的基礎(chǔ),并將大數(shù)據(jù)戰(zhàn)略作為研究專項(xiàng),致力于實(shí)現(xiàn)大數(shù)據(jù)分析對(duì)產(chǎn)品、營(yíng)銷、決策的強(qiáng)力支持。
大數(shù)據(jù)系統(tǒng):貼近場(chǎng)景更高效、智能
大數(shù)據(jù)變革反映的是新的分布式技術(shù)體系的日趨成熟,分布式體系在很多領(lǐng)域開(kāi)始全面超越傳統(tǒng)的技術(shù)體系。
銀行的交易系統(tǒng)構(gòu)建在關(guān)系型數(shù)據(jù)庫(kù)技術(shù)之上,對(duì)性能的擴(kuò)展通常采用垂直擴(kuò)張方式。當(dāng)用戶數(shù)量增加后,服務(wù)器對(duì)應(yīng)的CPU、內(nèi)存等的配置也相應(yīng)增加,通過(guò)資源擴(kuò)展?jié)M足業(yè)務(wù)性能需求。而非交易系統(tǒng)(在銀行整個(gè)體系中扮演著非常重要的角色,如營(yíng)銷體系、客戶管理體系、風(fēng)險(xiǎn)控制體系等)早期也大都基于關(guān)系型數(shù)據(jù)庫(kù)構(gòu)建數(shù)據(jù)分析體系。
近年來(lái),隨著開(kāi)源技術(shù)體系的快速發(fā)展和成熟,逐漸形成了處理效率更高、更智能且成本更低的新一代數(shù)據(jù)分析體系。
在探討銀行業(yè)大數(shù)據(jù)應(yīng)用時(shí),民生銀行認(rèn)為大數(shù)據(jù)在營(yíng)銷、運(yùn)營(yíng)和風(fēng)險(xiǎn)控制領(lǐng)域更有用武之地,尤其在風(fēng)險(xiǎn)控制領(lǐng)域可能會(huì)引發(fā)變革。這因?yàn)榇髷?shù)據(jù)分析的本質(zhì)是在可接受的成本下,解決數(shù)據(jù)使用效率和決策智能自動(dòng)化的問(wèn)題。
一是效率。移動(dòng)互聯(lián)和大數(shù)據(jù)的發(fā)展使得信息單元越來(lái)越小,傳遞越來(lái)越快,數(shù)據(jù)時(shí)效性越來(lái)越高。同樣的數(shù)據(jù)分析結(jié)果,用時(shí)一周和用時(shí)一小時(shí)對(duì)商業(yè)應(yīng)用產(chǎn)生的影響截然不同。對(duì)于銀行業(yè)而言,從業(yè)務(wù)需求角度,所有的非交易系統(tǒng)正經(jīng)歷著從批量到準(zhǔn)實(shí)時(shí)、從準(zhǔn)實(shí)時(shí)到實(shí)時(shí)的轉(zhuǎn)變。
二是智能自動(dòng)化。隨著手機(jī)銀行、網(wǎng)上銀行的推廣,用戶和銀行的接觸渠道從線下廳堂柜臺(tái)逐步向線上遷移,據(jù)統(tǒng)計(jì),當(dāng)前超過(guò)90%的銀行業(yè)務(wù)來(lái)自于線上渠道。業(yè)務(wù)流程自動(dòng)化和智能化的本質(zhì)是讓信息系統(tǒng)有能力像人一樣做出決策,而這需要一整套大數(shù)據(jù)技術(shù)體系支持模型計(jì)算。新一代數(shù)據(jù)分析體系能力如圖1所示。
大數(shù)據(jù)建設(shè):立足人才,整合平臺(tái)和數(shù)據(jù)為應(yīng)用服務(wù)
提到大數(shù)據(jù)自然會(huì)聯(lián)想到Hadoop,對(duì)民生銀行來(lái)說(shuō),Hadoop不僅是一個(gè)大數(shù)據(jù)基礎(chǔ)技術(shù)平臺(tái),更在于其盤活銀行內(nèi)外部數(shù)據(jù)資源的能力。民生銀行希望借助挖掘分析算法、機(jī)器學(xué)習(xí)算法等,發(fā)揮數(shù)據(jù)效用,創(chuàng)造商業(yè)價(jià)值。
民生銀行大數(shù)據(jù)發(fā)展規(guī)劃可概括為人才、平臺(tái)、數(shù)據(jù)和應(yīng)用四個(gè)方面。
1.人才儲(chǔ)備首先,做大數(shù)據(jù)最重要的是人才隊(duì)伍建設(shè)。Hadoop技術(shù)在互聯(lián)網(wǎng)環(huán)境中經(jīng)受了上萬(wàn)臺(tái)集群規(guī)模的驗(yàn)證,應(yīng)用較廣泛,技術(shù)體系也較成熟。但對(duì)商業(yè)銀行而言,新技術(shù)應(yīng)用需要新型的專業(yè)技術(shù)人才。為此,民生銀行早在2013年就從互聯(lián)網(wǎng)企業(yè)引入了經(jīng)驗(yàn)豐富的Hadoop技術(shù)團(tuán)隊(duì)。專業(yè)的人才隊(duì)伍為民生銀行大數(shù)據(jù)構(gòu)想落地實(shí)施奠定了基礎(chǔ)。
不僅如此,為將大數(shù)據(jù)新技術(shù)體系和數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)發(fā)展的思想傳遞給更多的員工,民生銀行信息科技部組織了大量有針對(duì)性的培訓(xùn)活動(dòng),邀請(qǐng)行內(nèi)外專家進(jìn)行專場(chǎng)講座,全面提升了團(tuán)隊(duì)分析能力,構(gòu)建了企業(yè)先進(jìn)的分析文化,為大數(shù)據(jù)項(xiàng)目接入做好充分準(zhǔn)備。
2.平臺(tái)建設(shè)
經(jīng)過(guò)論證,民生銀行認(rèn)為,Hadoop是構(gòu)建大數(shù)據(jù)平臺(tái)的不二之選。在平臺(tái)選型方面,民生銀行關(guān)注平臺(tái)的靈活性、兼容性和現(xiàn)場(chǎng)支持力度。當(dāng)前在Hadoop技術(shù)領(lǐng)域國(guó)內(nèi)外研究水平相當(dāng),考慮到Hadoop平臺(tái)自身的技術(shù)問(wèn)題以及響應(yīng)監(jiān)管部門支持國(guó)產(chǎn)廠商的號(hào)召,民生銀行傾向于選擇與國(guó)內(nèi)Hadoop廠商合作開(kāi)發(fā)。民生銀行大數(shù)據(jù)平臺(tái)架構(gòu)如圖2所示。
基于業(yè)務(wù)發(fā)展和機(jī)房現(xiàn)狀,民生銀行在生產(chǎn)環(huán)境構(gòu)建了三套Hadoop集群,對(duì)不同集群按照應(yīng)用特點(diǎn)進(jìn)行分工定位,包括:在線存儲(chǔ)集群(提供在線查詢?nèi)珉娮踊貑巍v史數(shù)據(jù)等查詢)、計(jì)算集群(提供批量加工計(jì)算)和災(zāi)備集群(兩地三中心,對(duì)重要數(shù)據(jù)進(jìn)行災(zāi)備)。
實(shí)施中,針對(duì)諸如基礎(chǔ)網(wǎng)絡(luò)環(huán)境的支撐狀況、計(jì)算與存儲(chǔ)集群機(jī)型的標(biāo)準(zhǔn)化、集群的管理應(yīng)用等問(wèn)題進(jìn)行了細(xì)致的研究和分析。同時(shí),基于大數(shù)據(jù)分析平臺(tái),引入可視化挖掘工具,提升平臺(tái)的易用性。
3.數(shù)據(jù)積累銀行在多年信息化歷程中積累了大量的歷史數(shù)據(jù),包括結(jié)構(gòu)化數(shù)據(jù),如客戶基本信息、資產(chǎn)信息、交易信息;非結(jié)構(gòu)化數(shù)據(jù),如語(yǔ)音、圖片、文檔等。以往這些種類繁多的數(shù)據(jù)存儲(chǔ)在不同的系統(tǒng)中。大數(shù)據(jù)平臺(tái)建設(shè)完成后,民生銀行實(shí)現(xiàn)了用戶數(shù)據(jù)的集中管理,并在此基礎(chǔ)上,將用戶行為數(shù)據(jù)、第三方數(shù)據(jù)等逐步集中。
未來(lái),民生大數(shù)據(jù)平臺(tái)的數(shù)據(jù)種類和數(shù)量還將不斷擴(kuò)展。
4.應(yīng)用場(chǎng)景實(shí)施對(duì)銀行而言,與營(yíng)銷、運(yùn)營(yíng)和風(fēng)險(xiǎn)控制等場(chǎng)景結(jié)合可以帶來(lái)新的應(yīng)用創(chuàng)新。大數(shù)據(jù)對(duì)應(yīng)用創(chuàng)新的支撐可以簡(jiǎn)單歸納為兩個(gè)方向:
一是解決當(dāng)前數(shù)據(jù)“存不下”和“算不了”的問(wèn)題。如民生銀行成立20年來(lái)積累了大量的用戶數(shù)據(jù)。這些數(shù)據(jù)存儲(chǔ)在磁帶庫(kù)上,查詢難度非常大,在處理部分監(jiān)管或者糾察事件時(shí),經(jīng)常需要追查歷史磁帶庫(kù)的數(shù)據(jù),在傳統(tǒng)存儲(chǔ)體系下,需耗費(fèi)很長(zhǎng)時(shí)間,而新的大數(shù)據(jù)技術(shù)體系使得上述問(wèn)題迎刃而解。
二是進(jìn)行新技術(shù)的引入和探索,推動(dòng)決策自動(dòng)化、智能化發(fā)展。未來(lái),大部分決策工作可交給計(jì)算機(jī)完成,就算法原理而言,目前的算法和十年前的并沒(méi)有太大變化,但大數(shù)據(jù)技術(shù)的出現(xiàn),加快了計(jì)算速度。
2016年,GoogleAlphaGo戰(zhàn)勝圍棋冠軍李世石的消息讓人工智能瞬間進(jìn)入了公眾視野。盡管當(dāng)前人工智能還達(dá)不到像人類一樣思考,但在某些固定場(chǎng)景下,人工智能可以通過(guò)對(duì)海量歷史數(shù)據(jù)的學(xué)習(xí)、分析,達(dá)到甚至超越專家的知識(shí)水平。如在銀行風(fēng)險(xiǎn)控制領(lǐng)域,依據(jù)專家知識(shí)對(duì)數(shù)據(jù)指標(biāo)做出加工規(guī)則和決策判斷,如果銀行積累了足夠多的歷史數(shù)據(jù),完全可以嘗試讓計(jì)算機(jī)進(jìn)行決策。
目前,民生銀行已經(jīng)在非交易型系統(tǒng)中大量使用了大數(shù)據(jù)技術(shù),投產(chǎn)上線的系統(tǒng)達(dá)到10套(如圖3所示)。
民生銀行大數(shù)據(jù)平臺(tái)項(xiàng)目主要分為兩類:簡(jiǎn)單計(jì)算查詢類和高級(jí)分析挖掘類。
簡(jiǎn)單計(jì)算查詢類項(xiàng)目解決從技術(shù)角度出發(fā)“存不下”和“算不了”的問(wèn)題,這類項(xiàng)目大部分是通用平臺(tái)系統(tǒng)。
高級(jí)分析挖掘類平臺(tái)主要實(shí)現(xiàn)數(shù)據(jù)分析。如移動(dòng)運(yùn)營(yíng)數(shù)據(jù)平臺(tái),該平臺(tái)對(duì)民生銀行所有的移動(dòng)端(手機(jī)銀行、直銷銀行等)的用戶行為數(shù)據(jù)、地理位置數(shù)據(jù)等進(jìn)行完整采集和分析,通過(guò)移動(dòng)運(yùn)營(yíng)數(shù)據(jù)平臺(tái),民生銀行可以及時(shí)了解移動(dòng)客戶端使用狀況,開(kāi)展用戶行為分析,進(jìn)行產(chǎn)品迭代更新和移動(dòng)端產(chǎn)品運(yùn)營(yíng)。
再如手機(jī)銀行資產(chǎn)匯集及查詢平臺(tái),該平臺(tái)是完全基于大數(shù)據(jù)強(qiáng)大計(jì)算和查詢能力而開(kāi)發(fā)的應(yīng)用模塊,用于實(shí)現(xiàn)手機(jī)銀行客戶畫像、風(fēng)險(xiǎn)評(píng)分、理財(cái)產(chǎn)品推薦等功能;又如外部數(shù)據(jù)平臺(tái),該平臺(tái)將所有第三方數(shù)據(jù)(結(jié)構(gòu)化、非結(jié)構(gòu)化)進(jìn)行統(tǒng)一管理,統(tǒng)一分析加工,為全行應(yīng)用系統(tǒng)提供集中統(tǒng)一的數(shù)據(jù)服務(wù)。
來(lái)源:中國(guó)金融電腦
刷新相關(guān)文章
我要評(píng)論
活動(dòng)推薦more >
- 2018 上海國(guó)際大數(shù)據(jù)產(chǎn)業(yè)高2018-12-03
- 2018上海國(guó)際計(jì)算機(jī)網(wǎng)絡(luò)及信2018-12-03
- 中國(guó)國(guó)際信息通信展覽會(huì)將于2018-09-26
- 第五屆FEA消費(fèi)金融國(guó)際峰會(huì)62018-06-21
- 第五屆FEA消費(fèi)金融國(guó)際峰會(huì)2018-06-21
- “無(wú)界區(qū)塊鏈技術(shù)峰會(huì)2018”2018-06-14
不容錯(cuò)過(guò)的資訊
-
1【金猿案例展】中國(guó)銀聯(lián):以內(nèi)外聯(lián)動(dòng)的數(shù)
-
2【報(bào)名倒計(jì)時(shí)1周】P4個(gè)體化醫(yī)學(xué)60+殿堂
-
3全棧云原生產(chǎn)品戰(zhàn)略升級(jí),時(shí)速云領(lǐng)跑云原
-
4新趨勢(shì)·新未來(lái) | 2019第六屆中國(guó)嬰幼
-
5【金猿產(chǎn)品展】中原銀行智能化BI:一站式
-
6【金猿產(chǎn)品展】易觀方舟:智能用戶數(shù)據(jù)中
-
7【金猿人物展】張涵誠(chéng): 2020年大數(shù)據(jù)產(chǎn)
-
8小飯桌2019全球青年創(chuàng)業(yè)者大會(huì)圓滿舉辦,
-
9繁華之下有隱憂,零售企業(yè)如何走出增長(zhǎng)困
-
10【金猿產(chǎn)品展】羽扇決策引擎平臺(tái):運(yùn)籌帷