本篇案例為數(shù)據(jù)猿推出的大型“金融大數(shù)據(jù)主題策劃”活動（查看詳情）第一部分的系列案例/征文；感謝 恒豐銀行 的投遞

作為整體活動的第二部分，2017年6月29日，由數(shù)據(jù)猿主辦，上海金融行業(yè)信息協(xié)會、互聯(lián)網(wǎng)普惠金融研究院聯(lián)合主辦，中國信息通信研究院、大數(shù)據(jù)發(fā)展促進委員會、上海大數(shù)據(jù)聯(lián)盟、首席數(shù)據(jù)官聯(lián)盟、中國大數(shù)據(jù)技術(shù)與應(yīng)用聯(lián)盟協(xié)辦的《「數(shù)據(jù)猿·超聲波」之金融科技·商業(yè)價值探索高峰論壇》還將在上海隆重舉辦【論壇詳情丨上屆回顧】

在論壇現(xiàn)場，也將頒發(fā)“技術(shù)創(chuàng)新獎”、“應(yīng)用創(chuàng)新獎”、“最佳實踐獎”、“優(yōu)秀案例獎”四大類案例獎

來源：數(shù)據(jù)猿丨投遞：恒豐銀行

恒豐銀行于2016年1月完成了傳統(tǒng)數(shù)據(jù)倉庫向大數(shù)據(jù)平臺數(shù)據(jù)倉庫的遷移，以新的數(shù)據(jù)倉庫平臺為基礎(chǔ)，結(jié)合行內(nèi)的通用文件傳輸平臺、統(tǒng)一調(diào)度平臺，規(guī)范了源數(shù)據(jù)系統(tǒng)的數(shù)據(jù)報送，梳理構(gòu)建了新的數(shù)據(jù)模型，大數(shù)據(jù)平臺解決了傳統(tǒng)數(shù)倉在批量數(shù)據(jù)處理能力的不足，在相關(guān)任務(wù)上體驗到了從數(shù)小時到十幾分鐘的提升。

大數(shù)據(jù)平臺解決了大數(shù)據(jù)特征中四個V的大數(shù)據(jù)量（Volume）的處理，我們還需要引入實時處理技術(shù)能覆蓋數(shù)據(jù)多樣性（Variety），高速處理數(shù)據(jù)（Velocity），從而挖掘更大的價值（Value）。數(shù)據(jù)的價值隨著時間的流逝而降低，如何在技術(shù)上提供支撐，發(fā)揮以日志為代表的行內(nèi)實時數(shù)據(jù)和付費購買或者免費爬取的海量互聯(lián)網(wǎng)數(shù)據(jù)在商業(yè)銀行業(yè)務(wù)中的價值是亟待解決的問題。變現(xiàn)，是硬道理！換句話說，我們需要將ETL、業(yè)務(wù)建模、機器學(xué)習(xí)、可視化擴展到實時數(shù)據(jù)，將與風(fēng)險管理、客戶營銷相關(guān)的數(shù)據(jù)和計算規(guī)則從銀行關(guān)鍵業(yè)務(wù)系統(tǒng)里面解耦，對相關(guān)業(yè)務(wù)應(yīng)用提供完整的支撐。

周期/節(jié)奏

2015年9月至11月，大數(shù)據(jù)實時流處理平臺可行性分析，技術(shù)組件選型。

2015年11月，項目啟動。

2015年12月，完成總體需求分析，確定平臺的主要業(yè)務(wù)目標(biāo)是在運營監(jiān)控、反欺詐、客戶行為分析、風(fēng)險預(yù)警方面提供實時數(shù)據(jù)支持。

2015年12月-2016年8月，完成平臺設(shè)計和基礎(chǔ)組件的實施、投產(chǎn)。

2016年8月-今，對基礎(chǔ)組件進行優(yōu)化和補充，對業(yè)務(wù)應(yīng)用開發(fā)提供支持，配合IT運營實時監(jiān)控、客戶點擊流、交易反欺詐、貸后預(yù)警等與實時數(shù)據(jù)相關(guān)的應(yīng)用建設(shè)。

客戶名稱/所屬分類

恒豐銀行/大數(shù)據(jù)技術(shù)服務(wù)

任務(wù)/目標(biāo)

同互聯(lián)網(wǎng)公司相比，傳統(tǒng)商業(yè)銀行在業(yè)務(wù)種類、交易模式、監(jiān)管要求方面都大大不同，我們針對行內(nèi)業(yè)務(wù)需求設(shè)計了以下功能架構(gòu)：流處理平臺提供基礎(chǔ)的數(shù)據(jù)采集、接收、過濾解析、實時規(guī)則計算、存儲和分析挖掘功能，以此為基礎(chǔ)構(gòu)建實時營銷平臺、實時風(fēng)險預(yù)警平臺進行業(yè)務(wù)邏輯加工，行內(nèi)的各個渠道系統(tǒng)、信貸系統(tǒng)、IT運營監(jiān)控系統(tǒng)、運營風(fēng)險監(jiān)測通過訂閱方式獲得實時處理后的數(shù)據(jù)，滿足IT運營實時監(jiān)控、客戶行為分析、交易反欺詐、授信評審與貸后預(yù)警、運營風(fēng)險監(jiān)測等方面的業(yè)務(wù)需求。

當(dāng)前的實時數(shù)據(jù)源主要包括業(yè)務(wù)系統(tǒng)的應(yīng)用日志，企業(yè)消息總線關(guān)聯(lián)交易日志，第三方數(shù)據(jù)公司實時推送數(shù)據(jù)，網(wǎng)絡(luò)設(shè)備、操作系統(tǒng)、中間件日志，數(shù)據(jù)庫日志，外部網(wǎng)站爬蟲信息，流處理平臺要負責(zé)實現(xiàn)以下目標(biāo)：

●各類基礎(chǔ)數(shù)據(jù)的實時采集，過濾解析；

●根據(jù)業(yè)務(wù)應(yīng)用需要提供基礎(chǔ)數(shù)據(jù)實時加工功能；

●同時支持簡單和復(fù)雜業(yè)務(wù)邏輯規(guī)則模型，支持基于流數(shù)據(jù)的實時分析；

●便于與異構(gòu)系統(tǒng)集成，實現(xiàn)數(shù)據(jù)共享，要包含與主流的流計算框架、各類數(shù)據(jù)庫、前端框架、消息中間件設(shè)施、主流接口協(xié)議；

●海量數(shù)據(jù)的持久化存儲和快速檢索；

●提供平臺級別的數(shù)據(jù)管理功能，包括數(shù)據(jù)脫敏、用戶權(quán)限、數(shù)據(jù)時效管理和分級存儲等方面功能。

挑戰(zhàn)

大數(shù)據(jù)實時流處理平臺在實際實施過程中主要面臨以下技術(shù)難點：

1.如何實現(xiàn)流處理系統(tǒng)在可伸縮性、系統(tǒng)容錯、高可用性、彈性部署、差異服務(wù)管理、吞吐性能方面的要求。

●平臺資源方面：使用物理機服務(wù)器和傳統(tǒng)的虛擬機技術(shù)無法根據(jù)數(shù)據(jù)流量和計算任務(wù)量實現(xiàn)資源層面快速擴容；對計算、存儲、網(wǎng)絡(luò)等資源管理不夠精細，資源申請周期長，資源的可用性低。

●應(yīng)用架構(gòu)方面：如果采用傳統(tǒng)的單體應(yīng)用架構(gòu)，由于Socket連接方式、線程服務(wù)模型、鎖沖突、同步IO阻塞等原因，在并發(fā)處理能力上先天不足；大數(shù)據(jù)微服務(wù)架構(gòu)又會面臨編程學(xué)習(xí)和開發(fā)成本高，并且框架對異步并行調(diào)度、服務(wù)質(zhì)量管理方面支持不足的問題。

●開發(fā)體系和工具方面：流處理平臺組件繁多，迭代頻率高，服務(wù)質(zhì)量管理更精細，現(xiàn)有的開發(fā)體系和工具無法在實施的各個階段實現(xiàn)有力支撐。

2.如何構(gòu)建高性能、高可用性，覆蓋所有業(yè)務(wù)需求數(shù)據(jù)源的實時采集、傳輸組件。

商業(yè)銀行內(nèi)部價值最大的流數(shù)據(jù)就是應(yīng)用系統(tǒng)及各類設(shè)備每天產(chǎn)生的日志數(shù)據(jù)，同互聯(lián)網(wǎng)公司比，銀行的系統(tǒng)種類多，來源廣，架構(gòu)平臺雜，主要交易系統(tǒng)的產(chǎn)品化程度高，改造風(fēng)險大，日志規(guī)范性差，不同應(yīng)用的日志路徑、文件個數(shù)、內(nèi)容、回滾規(guī)則各不相同，如某重要系統(tǒng)應(yīng)用，同時打印的交易日志文件達幾百個；除了應(yīng)用日志文件外，用于運維監(jiān)控的系統(tǒng)實時資源信息、需要從外部獲得的輿情、資訊信息都需要數(shù)據(jù)采集組件提供高性能、高可用性、高安全可靠性的實時采集、傳輸功能。

3.如何提供易于異構(gòu)系統(tǒng)集成的軟件服務(wù)能力。

流數(shù)據(jù)及其計算處理后的數(shù)據(jù)最終是要提供給其他應(yīng)用使用的，這就要求流處理平臺提供統(tǒng)一的消息服務(wù)能力，滿足異構(gòu)系統(tǒng)各種集成方式的需求，這些需求可能通過前端直接訪問、RPC遠程調(diào)用，也可能通過主流的消息中間件、內(nèi)存數(shù)據(jù)庫，傳統(tǒng)數(shù)據(jù)庫，也可能通過與其他流處理框架集成。

4.如何應(yīng)對靈活的業(yè)務(wù)邏輯變化，降低開發(fā)工作量。

基于流數(shù)據(jù)的業(yè)務(wù)應(yīng)用要求流處理平臺在數(shù)據(jù)處理和計算上具有較高的靈活性，在數(shù)據(jù)解析結(jié)構(gòu)化方面，如日志或者資訊信息中的某些字段在當(dāng)前的監(jiān)控業(yè)務(wù)模型中沒有具體用處，不做預(yù)處理，突然有一天，業(yè)務(wù)人員發(fā)現(xiàn)可以用于實時交易欺詐模型；在計算規(guī)則方面，如銀行新開通了信用卡業(yè)務(wù)，對于客戶全渠道行為的分析就要把信用卡的數(shù)據(jù)加入，業(yè)務(wù)人員都希望能夠基于提出的規(guī)則即時實施，并且能夠處理復(fù)雜規(guī)則邏輯，平臺要在這方面進行支撐，減少上層應(yīng)用開發(fā)工作量。

5.如何對龐大的平臺各組件及客戶端提供統(tǒng)一的配置和管理。

云平臺下對應(yīng)用的計算資源、存儲資源進行精細化管理，應(yīng)用的節(jié)點數(shù)增多，可用性提高，隨之大大提高了日志采集客戶端的數(shù)量，應(yīng)用日志相對于中間件、數(shù)據(jù)庫、syslog日志相比在采集任務(wù)配置也復(fù)雜得多，如何高效管理幾千個日志采集客戶端和爬蟲客戶端，對其運行狀態(tài)、采集任務(wù)進行實時配置和更新，大規(guī)模性的集中部署和升級，如何對其他流計算組件集群的狀態(tài)一致性進行配置管理，提供方便的流數(shù)據(jù)處理流程配置功能，也是流處理平臺需要解決的問題。

6.如何滿足海量數(shù)據(jù)的高速存儲、檢索和分析挖掘的需求。

流處理平臺要滿足原始數(shù)據(jù)和解析計算后的數(shù)據(jù)高速存儲和查詢檢索需求，并在使用時滿足銀行對客戶數(shù)據(jù)脫敏、用戶權(quán)限管理、數(shù)據(jù)分級存儲的要求，提供集成的數(shù)據(jù)分析和機器學(xué)習(xí)工具以便更好地挖掘的數(shù)據(jù)價值。

實施過程/解決方案

在實際實施過程中，行內(nèi)針對發(fā)布應(yīng)用日志和應(yīng)用監(jiān)控輸出的規(guī)范，將日志輸出的要求納入了從招標(biāo)到驗收的項目管理整個流程，對新建系統(tǒng)提出了明確的要求，這大大方便了日志采集，提高了流處理的效率，下面主要描述如何從技術(shù)上解決上一章提到的六個難點。

●平臺架構(gòu)

通過分析傳統(tǒng)單體應(yīng)用在并發(fā)服務(wù)能力、服務(wù)質(zhì)量、運行部署方面的不足，并最終選取技術(shù)成熟的akka微服務(wù)架構(gòu)+docker容器云技術(shù)作為平臺流計算和數(shù)據(jù)服務(wù)組件的基礎(chǔ)技術(shù)架構(gòu)。

響應(yīng)式微服務(wù)架構(gòu)通過消息機制避免共享資源的鎖沖突，降低線程資源需求。同時，將失敗也作為一種消息，實現(xiàn)服務(wù)自治，可以實現(xiàn)各個級別的失敗快速恢復(fù)，能夠?qū)崿F(xiàn)功能及服務(wù)的靈活打包部署，構(gòu)建位置透明的集群服務(wù)體系，實現(xiàn)彈性擴容和差異化的硬件資源配置；akka除了具備以上優(yōu)點外還內(nèi)嵌了基于netty技術(shù)的NIO框架，不需要額外配置Weblogic或者WebSphere等中間件服務(wù)器，降低使用成本，支持更多客戶端連接，單節(jié)點每秒5000萬消息處理；1GB內(nèi)存250萬Actor，消息傳遞機制實現(xiàn)分布式微服務(wù)協(xié)同、數(shù)據(jù)共享，消除資源鎖需求；Actor模型實現(xiàn)多層級自治監(jiān)管機制，構(gòu)建安全運行的防火墻和沙箱，微秒級的故障恢復(fù)，支持彈性部署多種集群部署模式，遠程服務(wù)透明訪問，多種可配置的負載均衡策略。

我們將akka微服務(wù)架構(gòu)的集群負載，服務(wù)監(jiān)控、故障恢復(fù)與彈性部署能力結(jié)合恒豐銀行PAAS云平臺采用的docker容器技術(shù)對應(yīng)用級負載、監(jiān)控、彈性資源分配以及快速部署能力相結(jié)合，滿足了本節(jié)開頭對流計算組件的要求。除了流計算組件，平臺使用的flume、kafka、zookeeper、redis等開源組件也實現(xiàn)docker容器化并借助DevOps工具服務(wù)，從開發(fā)、構(gòu)建、測試到版本發(fā)布的全流程自動化，中間提供包括計劃、任務(wù)分配跟蹤、問題跟蹤、文檔管理、版本發(fā)布全過程的項目協(xié)作支持。

我們使用自研微服務(wù)架構(gòu)平臺Skyline進行相關(guān)組件開發(fā)，Skyline以akka為基礎(chǔ)，通過提供zebra腳本語言降低并行編程開發(fā)難度，能夠?qū)Ξ惒讲⑿腥蝿?wù)進行監(jiān)控和調(diào)度，實現(xiàn)了對集群的分布式一致性和分布式事務(wù)的支持。

●數(shù)據(jù)采集

在比較了目前主流的開源日志采集組件flume、scribe、logstash之后，我們選取采用Java語言開發(fā)，在高可用、資源隔離、二次開發(fā)方面具有優(yōu)勢的flume作為我們的日志采集組件。

在日志收集流程方面，針對不同云環(huán)境設(shè)計了不同的采集流程，對于部署在openstack云環(huán)境和部分物理機上的應(yīng)用，通過在應(yīng)用服務(wù)器直接部署flume agent實時采集每個節(jié)點配置的日志文件、syslog、進程狀態(tài)信息，實時發(fā)送后端的flume 服務(wù)端，服務(wù)端完成原始數(shù)據(jù)入庫和初步的過濾解析并發(fā)送到kafka消息中間件；對于部署在docker容器環(huán)境下應(yīng)用，因為已經(jīng)做了日志規(guī)范化，宿主機上的flume直接利用宿主機提供的接口讀取對應(yīng)鏡像所屬路徑下的日志文件，直接發(fā)送到kafka消息中間件。

此外，根據(jù)實際需要，對flume的客戶端進行開發(fā)，增加了source種類，覆蓋目前所有應(yīng)用系統(tǒng)的日志打印類型，修改了客戶端軟件的一些缺陷，設(shè)計并實現(xiàn)了不同策略，控制異常情況下對系統(tǒng)資源的占用，修改了agent與zookeeper之間更新配置的方式，利用心跳機制實現(xiàn)對flume agent狀態(tài)的監(jiān)控，利用Jenkins、puppet等工具支持進行大規(guī)模客戶端推送、部署。

為了解決flume服務(wù)端收集數(shù)據(jù)的性能問題，我們對flume服務(wù)端進行微服務(wù)化拆分，將原來集中在服務(wù)端的接收、解析、入庫工作拆分出來，原有的flume服務(wù)端用其對loadbalance、failover以及與客戶端之間發(fā)送接收事務(wù)的支持進行數(shù)據(jù)接收，構(gòu)建skyline微服務(wù)組件集群實現(xiàn)解析和入庫的功能，并根據(jù)不同級別、不同類型的解析、入庫需求分配不同的組件。

除此之外，為了補充采集一些既有系統(tǒng)交易數(shù)據(jù)和爬取外部網(wǎng)站一些數(shù)據(jù)，平臺提供探針組件和爬蟲組件，并基于zookeeper實現(xiàn)了上述客戶端程序組件的注冊、注銷、實時任務(wù)分配，實現(xiàn)了高可用和水平擴展。

●異構(gòu)系統(tǒng)集成

流處理平臺通過建立自己的分布式實時消息總線與周邊系統(tǒng)集成，該消息總線以Akka的消息處理框架為核心樞紐。

如上，一方面，通過SockJs、WebSocket、HTTP協(xié)議將流數(shù)據(jù)包裝為各種服務(wù)，構(gòu)建與移動端應(yīng)用和其他外部系統(tǒng)前后端的消息通道，對應(yīng)用開發(fā)程序員屏蔽各種消息編碼解碼算法細節(jié)；另一方面，通過代理組件的編寫和統(tǒng)一的元消息語義，可以將異構(gòu)系統(tǒng)的kafka、MQ等消息中間件設(shè)施和主流的spark streaming流處理框架，當(dāng)成流處理平臺消息總線設(shè)施一部分，實現(xiàn)與上述設(shè)施和流計算框架的無縫集成；此外，用戶也可以針對特定的數(shù)據(jù)，定制自己的持久化方案，支持將數(shù)據(jù)實時寫入主流的數(shù)據(jù)庫。

●規(guī)則計算

為了應(yīng)對各方面業(yè)務(wù)對流處理規(guī)則的變動，減少使用硬編碼實現(xiàn)流計算組件的工作量，我們引入了開源的drools規(guī)則引擎。Drools規(guī)則引擎速度快、效率高，且具有強大的規(guī)則沖突處理能力，并且完全開源，使用Java編寫，方便基于其進行開發(fā)。

在實際使用時，我們將drools集成為skyline平臺的一個計算組件，與我們的kafka消息中間件和redis內(nèi)存數(shù)據(jù)庫完成適配，將drools的監(jiān)測數(shù)據(jù)源改為實時數(shù)據(jù)，并利用其處理由事件觸發(fā)的復(fù)雜業(yè)務(wù)邏輯。為了方便業(yè)務(wù)人員使用，編輯規(guī)則邏輯的方式由開發(fā)Java語言風(fēng)格.drl文件改為提供可視化話編輯頁面，用戶可以通過在頁面上編寫簡單邏輯組合條件和標(biāo)準(zhǔn)sql的方式配置復(fù)雜業(yè)務(wù)邏輯，并從各方面完善了規(guī)則引擎的功能，便于應(yīng)用使用。

對于時間觸發(fā)類型的流計算規(guī)則，如日常的實時交易量統(tǒng)計，并發(fā)訪問量，客戶當(dāng)日消費金額，我們使用spark streaming sql功能代替原本需要針對絕大多數(shù)數(shù)據(jù)源和規(guī)則邏輯開發(fā)的流計算組件，并將查詢結(jié)果實時導(dǎo)入內(nèi)存數(shù)據(jù)庫，提供給規(guī)則引擎進行復(fù)雜邏輯處理。目前，大部分實時規(guī)則的計算時間從數(shù)據(jù)觸發(fā)到計算結(jié)果輸出的時間都控制在100ms以內(nèi)。

流計算過程中需要的其他組件，如數(shù)據(jù)分發(fā)組件、持久化組件、告警推送組件，我們使用skyline平臺構(gòu)建對應(yīng)流處理集群，使用zebra腳本語言編寫業(yè)務(wù)邏輯，滿足相關(guān)業(yè)務(wù)需求。

●服務(wù)和任務(wù)配置、管理

流處理集群的服務(wù)和任務(wù)配置管理主要有三部分：

第一部分是日志采集、交易探針、爬蟲這些客戶端程序。恒豐銀行目前絕大多數(shù)應(yīng)用采用同城雙中心雙活，應(yīng)用在每個中心的部署單元也是集群多活形式，應(yīng)用從傳統(tǒng)物理機環(huán)境遷移到云環(huán)境后，節(jié)點數(shù)增多，與之對應(yīng)的是日志采集客戶端的增多。目前，恒豐銀行的生產(chǎn)環(huán)境已經(jīng)上線運行了三千多個虛擬機節(jié)點，各類測試環(huán)境和準(zhǔn)生產(chǎn)環(huán)境共有六千個節(jié)點，對每個虛擬機上的采集客戶端的服務(wù)狀態(tài)、資源占用情況進行監(jiān)控，對采集任務(wù)的一些參數(shù)進行批量或者單獨的更新，如增加/減少路徑，增加文件黑白名單。對于不能通過日志獲得流數(shù)據(jù)的既有系統(tǒng)和外部咨詢數(shù)據(jù)，我們分別開發(fā)了探針和爬蟲客戶端程序。這些客戶端程序的服務(wù)和任務(wù)管理都是利用zookeeper實現(xiàn)的。

第二部分是基于Skyline平臺開發(fā)的流計算組件，這一部分我們利用skyline平臺的一致性管理器進行管理，每個組件自帶基于raft協(xié)議一致性管理的接口，管理集群和各組件集群間通過消息廣播機制進行通信。

第三部分是流處理流程的配置，除了之前提到的Streaming Sql和規(guī)則引擎組件，我們使用skyline平臺開發(fā)了一些基礎(chǔ)組件，如分類，數(shù)據(jù)補全，持久化，脫敏、數(shù)據(jù)轉(zhuǎn)換組件，用戶可以使用拖拽方式可視化配置一個流處理過程。

●數(shù)據(jù)存儲、分析和挖掘

在有些業(yè)務(wù)場景下，流處理平臺需要將原始的非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)存儲起來并提供查詢檢索，如運維業(yè)務(wù)需要提供事件發(fā)生時的各類資源和日志快照信息；針對解析后的結(jié)構(gòu)化數(shù)據(jù)，也需要集中存儲，用于統(tǒng)計分析和報表。在這方面，我們使用繼續(xù)使用在數(shù)倉遷移時引入的企業(yè)級大數(shù)據(jù)平臺，引入企業(yè)級的大數(shù)據(jù)平臺免去了對大數(shù)據(jù)平臺的運維壓力。

流處理組件可以通過jdbc驅(qū)動直接使用標(biāo)準(zhǔn)sql在Hyperbase表上進行數(shù)據(jù)庫表的相關(guān)操作，并且支持上建立全局索引、局部索引，以滿足多種復(fù)雜場景的實時寫入、檢索需求，Hyperbase支持全文索引，方便用戶快速檢索自己關(guān)心的信息。流處理平臺使用平臺提供的Scala語言接口，開發(fā)數(shù)據(jù)挖掘和深度學(xué)習(xí)的相關(guān)模型，進行分布式挖掘和模型訓(xùn)練。

結(jié)果/效果總結(jié)

目前，市面上的商業(yè)流處理產(chǎn)品大多基于單一應(yīng)用目的開發(fā)，使用商業(yè)化產(chǎn)品在采集規(guī)模和功能覆蓋性、數(shù)據(jù)開發(fā)靈活性上受制約，同時，大部分產(chǎn)品的收費模式都基于節(jié)點數(shù)或者原始數(shù)據(jù)流量，而大多數(shù)流數(shù)據(jù)是低價值密度數(shù)據(jù)，在這類收費模式下很難全面挖掘數(shù)據(jù)價值。

從技術(shù)指標(biāo)方面來看，恒豐銀行大數(shù)據(jù)實時流處理平臺具有以下優(yōu)勢：

●數(shù)據(jù)采集：節(jié)點多，部署超過1500個服務(wù)器節(jié)點；網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，橫跨多中心所有網(wǎng)段；采集功能覆蓋性強，能夠滿足日志、進程資源信息、接口服務(wù)信息、庫表信息、外部爬蟲數(shù)據(jù)實時采集，在日志采集方面覆蓋所有日志打印方式，最大支持同時維護三百個日志文件；任務(wù)調(diào)度和監(jiān)控方便，所有任務(wù)統(tǒng)一配置，實時更新，支持客戶端自動批量發(fā)版，客戶端運行狀態(tài)監(jiān)控完善。

●數(shù)據(jù)接收和預(yù)處理：基于規(guī)則引擎和Streaming SQL實現(xiàn)，提供可視化規(guī)則配置頁面和拖拽式流程配置，業(yè)務(wù)人員可以直接配置，不需要編程開發(fā)，支持復(fù)雜規(guī)則邏輯，支持彈性擴容，絕大多數(shù)基于流數(shù)據(jù)的邏輯處理時間小于100ms。

●流計算：基于規(guī)則引擎和Streaming SQL實現(xiàn)，提供可視化規(guī)則配置頁面和拖拽式流程配置，業(yè)務(wù)人員可以直接配置，不需要編程開發(fā)，支持復(fù)雜規(guī)則邏輯，支持彈性擴容，絕大多數(shù)基于流數(shù)據(jù)的邏輯處理時間小于100ms。

●數(shù)據(jù)存儲和檢索：接收和存儲采取異步處理，在八個存儲節(jié)點條件下支持接近100M/S寫入速度，通過自動分表，當(dāng)月日志元數(shù)據(jù)結(jié)合全文檢索檢索皆在3秒以內(nèi)。

以上技術(shù)指標(biāo)完全滿足上層監(jiān)控、反欺詐、貸后預(yù)警、客戶行為分析、運營風(fēng)險監(jiān)控類業(yè)務(wù)需求對實時數(shù)據(jù)處理的要求。

從實際應(yīng)用效果看，恒豐銀行大數(shù)據(jù)實時流處理平臺針對一些典型業(yè)務(wù)的支撐已經(jīng)驗證了當(dāng)初“將實時數(shù)據(jù)集中采集、集中計算處理、集中發(fā)布訂閱”決策的優(yōu)勢和正確性，同一份渠道系統(tǒng)交易數(shù)據(jù)可以用于運維監(jiān)控，可以用于用戶行為分析，可以用于交易反欺詐核驗，可以放在此用戶的貸后預(yù)警模型里，將數(shù)據(jù)同源系統(tǒng)解耦，不同的業(yè)務(wù)只需要響應(yīng)增加邏輯規(guī)則配置即可，而不是像原有模式分別在源系統(tǒng)里面增加業(yè)務(wù)，增加開發(fā)和投產(chǎn)任務(wù)。家庭金融是恒豐銀行新開展的一項以家庭為單位財富管理業(yè)務(wù)，業(yè)務(wù)人員設(shè)計了較為復(fù)雜成員之間各類交易動賬提醒規(guī)則，按照以往的模式需要核心增加提醒業(yè)務(wù)，各渠道交易接口可能需要改造，相關(guān)系統(tǒng)要協(xié)同上線，如果新增渠道系統(tǒng)后原有模型還得重新開發(fā)、上線；基于流處理平臺的處理方案，在流處理組件或者規(guī)則引擎中配置規(guī)則，關(guān)聯(lián)各個渠道數(shù)據(jù)源，新增數(shù)據(jù)源和規(guī)則更新可以立即配置，即時生效，大大提高了業(yè)務(wù)靈活性，降低了開發(fā)成本。

企業(yè)介紹：

恒豐銀行股份有限公司是12家全國性股份制商業(yè)銀行之一，注冊地?zé)熍_。

近年來，恒豐銀行穩(wěn)健快速發(fā)展。截至2016年末，恒豐銀行資產(chǎn)規(guī)模已突破1.2萬億元，是2013年末的1.6倍；各項存款余額7682億元，各項貸款余額4252億元，均比2013年末翻了一番。2014年至2016年累計利潤總額312.17億元，這三年的累計利潤總額為以往26年的累計利潤總額；服務(wù)組織架構(gòu)不斷完善，分支機構(gòu)數(shù)306家，是2013年末的兩倍。

近年來，恒豐銀行屢獲榮譽。在英國《銀行家》雜志發(fā)布的“2016全球銀行1000強”榜單中排名第143位；在香港中文大學(xué)發(fā)布的《亞洲銀行競爭力研究報告》中位列亞洲銀行業(yè)第5位；在中國銀行業(yè)協(xié)會發(fā)布的“商業(yè)銀行穩(wěn)健發(fā)展能力‘陀螺（GYROSCOPE）評價體系’”中，綜合能力排名位列全國性商業(yè)銀行第7位，全國性股份制商業(yè)銀行前三；榮獲“2016老百姓最喜歡的股份制商業(yè)銀行”第二名、“2016年互聯(lián)網(wǎng)金融創(chuàng)新銀行獎”、“2016年最佳網(wǎng)上銀行安全獎”、“2016年度創(chuàng)新中國特別獎”等多項榮譽。

作為一家肇始于孔孟之鄉(xiāng)山東的全國性股份制商業(yè)銀行，恒豐銀行秉承“恒必成 德致豐”的核心價值觀，踐行“1112·5556”工程，即：一個愿景（打造“精品銀行、全能銀行、百年銀行”）、一個文化（打造“開放、創(chuàng)新、競爭、協(xié)同、守規(guī)、執(zhí)行”的“狼兔文化”）、一個目標(biāo)（五年目標(biāo)是以客戶為中心，以創(chuàng)新為驅(qū)動，高效協(xié)同，彎道超車，五年內(nèi)進入全國性股份制商業(yè)銀行第二方陣；十年目標(biāo)是要打造一個國際金融控股集團）、兩個策略（“植根魯蘇，深耕成渝，拓展中部六省和海西，進軍京滬廣深”的區(qū)域策略和“四輪驅(qū)動、兩翼齊飛”的經(jīng)營策略）、“五化”強行戰(zhàn)略（國際化、信息化、精細化、科技化、人才化）、“五力”工作方針（忠誠力、執(zhí)行力、目標(biāo)力、風(fēng)險經(jīng)營力、恒久發(fā)展力）、五個引領(lǐng)（人才引領(lǐng)、科技引領(lǐng)、創(chuàng)新引領(lǐng)、效率引領(lǐng)、效益引領(lǐng)）、六大綜合能力（價值分析能力、風(fēng)險鑒別能力、定價能力、創(chuàng)新能力、調(diào)研能力、學(xué)習(xí)能力）；大力實施“12345”行動綱領(lǐng)，即:“1”是做金融綜合解決方案的提供商，“2”是金融云平臺和大數(shù)據(jù)平臺，“3”是數(shù)字銀行、交易銀行、銀行的銀行，“4”是龍頭金融、平臺金融、家庭金融、O2O金融等四大金融創(chuàng)新業(yè)務(wù)模式，“5”是投行、資管、平臺、人才盤點和以“One Bank”為核心的績效評價體系等五大戰(zhàn)略落地工具，致力于做“知識和科技的傳播者、渠道和平臺的建設(shè)者、金融綜合解決方案的提供者”，力求打造令人矚目、受人尊敬的商業(yè)銀行，為客戶和社會提供效率最高、體驗最佳的綜合金融服務(wù)。

歡迎更多大數(shù)據(jù)企業(yè)、大數(shù)據(jù)愛好者投稿數(shù)據(jù)猿，來稿請直接投遞至：tougao@datayuan.cn

來源：數(shù)據(jù)猿