根據(jù)中國(guó)人民銀行，中國(guó)銀保監(jiān)會(huì)頒布的【關(guān)于金融行業(yè)貫徹<推進(jìn)互聯(lián)網(wǎng)協(xié)議第六版（IPv6）規(guī)模部署行動(dòng)計(jì)劃>的實(shí)施意見(jiàn)】要求，2019 年底金融服務(wù)機(jī)構(gòu)門戶網(wǎng)站需要支持 IPv6 連接訪問(wèn)。2020 年底，金融服務(wù)機(jī)構(gòu)面向公眾服務(wù)的互聯(lián)網(wǎng)應(yīng)用系統(tǒng)支持 IPv6 連接訪問(wèn)，并具備與 IPv6 改造前同等的業(yè)務(wù)連續(xù)性保障。2021 年起，在做好金融行業(yè)面向公眾服務(wù)的互聯(lián)網(wǎng)應(yīng)用系統(tǒng) IPv6 改造基礎(chǔ)上，持續(xù)推進(jìn) IPv6 規(guī)模部署，逐步構(gòu)建高速率，廣普及，全覆蓋，智能化的下一代互聯(lián)網(wǎng)。我行已根據(jù)規(guī)定，完成了 IPV6 的改造。目前我行撥測(cè)監(jiān)控已驗(yàn)證 IPV6 與 IPV4 線路連接上的性能差距，并實(shí)現(xiàn)從用戶端監(jiān)控 IPV6 與 IPV4 質(zhì)量的功能。

2022年博睿數(shù)據(jù)應(yīng)用性能監(jiān)控平臺(tái)建設(shè)覆蓋了后端服務(wù)監(jiān)控、手機(jī)APP監(jiān)控、WEB前端監(jiān)控。其中包括 24個(gè)業(yè)務(wù)系統(tǒng)后端監(jiān)控探針部署，4 個(gè) APP 前端監(jiān)控 SDK 部署（包括手機(jī)銀行、直銷銀行、統(tǒng)一移動(dòng)平臺(tái)、小昆在線，共抓取 90 萬(wàn)月活）、PAAS 云平臺(tái) 4 套業(yè)務(wù)系統(tǒng)（10 個(gè)探針），WEB 前端 H5 監(jiān)控 JS 引用庫(kù)部署（黨建系統(tǒng)，70 萬(wàn) PV/年）。應(yīng)用性能監(jiān)控還實(shí)現(xiàn)了性能監(jiān)控視圖、與 CMDB 接口對(duì)接、與一體化運(yùn)維平臺(tái)接口對(duì)接和業(yè)務(wù)撥測(cè)等功能。

實(shí)施時(shí)間：

項(xiàng)目開(kāi)始時(shí)間：2022年

項(xiàng)目完結(jié)時(shí)間：2023年

應(yīng)用場(chǎng)景

通過(guò)2019年應(yīng)用性能監(jiān)控平臺(tái)建設(shè)，昆侖銀行目前已完成對(duì)二十余套業(yè)務(wù)系統(tǒng)，兩個(gè)手機(jī)APP，一個(gè)Web頁(yè)面的性能監(jiān)控，以及16套系統(tǒng)、39個(gè)城市、3個(gè)運(yùn)營(yíng)商的撥測(cè)任務(wù)。主要應(yīng)用于以下場(chǎng)景：

1、生產(chǎn)環(huán)境監(jiān)控：幫助行內(nèi)開(kāi)發(fā)團(tuán)隊(duì)實(shí)時(shí)監(jiān)測(cè)生產(chǎn)環(huán)境中的應(yīng)用程序性能，包括響應(yīng)時(shí)間、吞吐量、錯(cuò)誤率等指標(biāo)。通過(guò)監(jiān)控，可以及時(shí)發(fā)現(xiàn)并解決潛在的性能問(wèn)題，確保應(yīng)用程序在高負(fù)載和高并發(fā)場(chǎng)景下的穩(wěn)定性和可靠性。

2、故障排查和問(wèn)題定位：當(dāng)應(yīng)用程序出現(xiàn)故障或性能問(wèn)題時(shí)，通過(guò)性能監(jiān)控提供詳細(xì)的指標(biāo)和報(bào)告，幫助開(kāi)發(fā)團(tuán)隊(duì)快速定位問(wèn)題的根本原因。通過(guò)分析監(jiān)控?cái)?shù)據(jù)，可以找到瓶頸所在，并采取相應(yīng)的措施來(lái)修復(fù)問(wèn)題，提高應(yīng)用程序的表現(xiàn)和可用性。

3、用戶體驗(yàn)改進(jìn)：應(yīng)用性能監(jiān)控可以跟蹤用戶在應(yīng)用程序中的操作和體驗(yàn)，分析用戶行為和反饋，了解用戶對(duì)應(yīng)用程序的滿意度和痛點(diǎn)。通過(guò)結(jié)合性能數(shù)據(jù)和用戶反饋，開(kāi)發(fā)團(tuán)隊(duì)可以優(yōu)化應(yīng)用界面和用戶交互，提升用戶體驗(yàn)，增強(qiáng)用戶對(duì)應(yīng)用程序的忠誠(chéng)度和滿意度。

綜上所述，本項(xiàng)目旨在幫助行內(nèi)開(kāi)發(fā)團(tuán)隊(duì)實(shí)時(shí)了解應(yīng)用程序的性能，及時(shí)發(fā)現(xiàn)和解決問(wèn)題，提高應(yīng)用程序的可用性、可維護(hù)性和用戶體驗(yàn)。

面臨挑戰(zhàn)

1、復(fù)雜的系統(tǒng)架構(gòu)：昆侖銀行擁有龐大而復(fù)雜的系統(tǒng)架構(gòu)，包括核心銀行系統(tǒng)、支付系統(tǒng)、風(fēng)險(xiǎn)管理系統(tǒng)等。這些系統(tǒng)之間存在著復(fù)雜的依賴關(guān)系和集成需求，使得運(yùn)維工作變得更加困難。

2、數(shù)據(jù)管理和一致性：昆侖銀行業(yè)務(wù)涉及大量的數(shù)據(jù)，包括客戶信息、交易記錄等。然而，這些數(shù)據(jù)可能分散在不同的系統(tǒng)和數(shù)據(jù)庫(kù)中，格式不統(tǒng)一，導(dǎo)致數(shù)據(jù)孤立和難以進(jìn)行全面的數(shù)據(jù)分析。

3、業(yè)務(wù)需求變化：銀行業(yè)務(wù)需求經(jīng)常發(fā)生變化，例如推出新產(chǎn)品、調(diào)整服務(wù)模式等。需要靈活應(yīng)對(duì)這些變化，并及時(shí)調(diào)整系統(tǒng)配置和功能以滿足業(yè)務(wù)需求。

4、系統(tǒng)的穩(wěn)定性：銀行系統(tǒng)的可靠性和穩(wěn)定性對(duì)業(yè)務(wù)連續(xù)性至關(guān)重要。昆侖銀行需要建立完善的技術(shù)架構(gòu)和運(yùn)維體系，確保系統(tǒng)的穩(wěn)定運(yùn)行，同時(shí)能夠快速應(yīng)對(duì)各種突發(fā)事件。

5、業(yè)務(wù)需求變化迅速：銀行業(yè)務(wù)需求變化迅速，昆侖銀行需要建立靈活的IT架構(gòu)和運(yùn)維流程，以支持業(yè)務(wù)的快速發(fā)展。

6、內(nèi)部協(xié)調(diào)與溝通：銀行內(nèi)部存在多個(gè)部門和團(tuán)隊(duì)，彼此之間需要密切協(xié)作和溝通。需要與其他部門合作，共同解決問(wèn)題并推動(dòng)項(xiàng)目的順利實(shí)施。

數(shù)據(jù)支持

截止目前為止，昆侖銀行應(yīng)用性能監(jiān)控項(xiàng)目生產(chǎn)環(huán)境探針采集的數(shù)據(jù)量達(dá)2T，日處理數(shù)據(jù)量達(dá)100G，數(shù)據(jù)來(lái)源為行內(nèi)受應(yīng)用性能系統(tǒng)監(jiān)控的應(yīng)用系統(tǒng)，手機(jī)APP，Web頁(yè)面，數(shù)據(jù)類型分為指標(biāo)性數(shù)據(jù)、會(huì)話、調(diào)用鏈、小文件、快照、拓?fù)潢P(guān)系、配置信息等等，針對(duì)不同的數(shù)據(jù)類型有不同的數(shù)據(jù)保存周期。

應(yīng)用技術(shù)與實(shí)施過(guò)程

昆侖銀行使用博睿數(shù)據(jù)的Bonree Server、Bonree SDK、Bonree Browser平臺(tái)分別實(shí)現(xiàn)對(duì)應(yīng)用系統(tǒng)，手機(jī)APP，Web頁(yè)面的監(jiān)控。三個(gè)平臺(tái)均由客戶端及服務(wù)端組成，在客戶端通過(guò)注入探針來(lái)獲取客戶端的數(shù)據(jù)，上報(bào)到服務(wù)端，由服務(wù)端對(duì)數(shù)據(jù)進(jìn)行分析處理，最終展示出來(lái)。

Bonree 產(chǎn)品總體設(shè)計(jì)采用分層架構(gòu)的方式，層與層之間實(shí)現(xiàn)的功能不同、設(shè)計(jì)原則與側(cè)重方向也不一樣：

? 數(shù)據(jù)采集層

數(shù)據(jù)采集層通過(guò)以探針的方式采集各項(xiàng)性能指標(biāo)數(shù)據(jù)，主要側(cè)重?cái)?shù)據(jù)采集的準(zhǔn)確性，在此基礎(chǔ)上不能影響客戶環(huán)境的穩(wěn)定運(yùn)行。

? 數(shù)據(jù)處理層

數(shù)據(jù)處理層對(duì)探針采集到的各項(xiàng)性能指標(biāo)數(shù)據(jù)進(jìn)行處理、分類規(guī)整和入庫(kù)，主要側(cè)重穩(wěn)定性、高性能和高可擴(kuò)展。

? 數(shù)據(jù)存儲(chǔ)層

數(shù)據(jù)存儲(chǔ)層主要集中在數(shù)據(jù)的存儲(chǔ)，通過(guò)引入不同的存儲(chǔ)結(jié)構(gòu)，分類存儲(chǔ)不同的信息，主要側(cè)重?cái)?shù)據(jù)存儲(chǔ)的可靠性，穩(wěn)定性和高性能。

? 數(shù)據(jù)展示層

數(shù)據(jù)展示層向客戶展示各個(gè)維度的性能指標(biāo)數(shù)據(jù)，架構(gòu)上主要側(cè)重可用性、實(shí)時(shí)性和UI友好性。

圖1 Bonree Server平臺(tái)架構(gòu)展示

圖2 Bonree SDK平臺(tái)架構(gòu)展示

圖3 Bonree Browser平臺(tái)架構(gòu)展示

Bonree產(chǎn)品主要有如下幾個(gè)核心模塊組成，分別是：

● 探針（Agent、SDK）

● 數(shù)據(jù)處理器（CONTROLLER）

● 數(shù)據(jù)處理存儲(chǔ)中心

● 平臺(tái)（Server、SDK、Browser）

● AIOps智能告警/事件分析

組件間數(shù)據(jù)流如下

圖4 組件間數(shù)據(jù)流向

探針模塊

探針主要是負(fù)責(zé)采集服務(wù)端，APP端以及Web端相關(guān)數(shù)據(jù)，包括訪問(wèn)次數(shù)、請(qǐng)求性能、異常訪問(wèn)、以及錯(cuò)誤詳情等等。

數(shù)據(jù)收集器（CONTROLLER）

Controller 作為探針接入和數(shù)據(jù)處理組件，接收探針端上報(bào)的各項(xiàng)指標(biāo)數(shù)據(jù)，完成對(duì)指標(biāo)數(shù)據(jù)的分類處理與入庫(kù)、探針配置的下發(fā)。探針與 Controller 交互主要包括配置流 Config 和數(shù)據(jù)流 Upload 兩類協(xié)議。Config 協(xié)議為探針數(shù)據(jù)采集策略控制協(xié)議，由 Controller 根據(jù)用戶配置的數(shù)據(jù)采集策略下發(fā)給探針。Upload 協(xié)議為探針原始數(shù)據(jù)上傳協(xié)議，負(fù)責(zé)處理探針上傳的原始樣本數(shù)據(jù)，Controller 在接收到原始數(shù)據(jù)之后，進(jìn)行基本的有效性判斷后立即響應(yīng)探針，同時(shí)對(duì)該協(xié)議數(shù)據(jù)進(jìn)行異步處理，包括協(xié)議分類、規(guī)整和入庫(kù)等。

數(shù)據(jù)處理存儲(chǔ)中心

此模塊核心組件為 Druid 以及 Zeus，Druid 主要負(fù)責(zé)元數(shù)據(jù)管理，離線Job 管理和 API 支持。系統(tǒng)結(jié)構(gòu)化業(yè)務(wù)數(shù)據(jù)由 Druid 負(fù)責(zé)存儲(chǔ)（默認(rèn)數(shù)據(jù)保留 3 個(gè)月），配置數(shù)據(jù)由 Mysql 集群進(jìn)行永久存儲(chǔ)。元數(shù)據(jù)管理主要指業(yè)務(wù)數(shù)據(jù)源、業(yè)務(wù)規(guī)則信息、業(yè)務(wù)離線 Job 等信息的管理，用戶可以通過(guò) zeus 服務(wù)進(jìn)行數(shù)據(jù)元信息的增刪改查、計(jì)算規(guī)則設(shè)置和離線 JOB 合并規(guī)則設(shè)置，所有元數(shù)據(jù)均持久化在 Mysql 中。zeus 服務(wù)提供的 API 主要包括元數(shù)據(jù)操作 API和報(bào)表查詢 API 兩類。元數(shù)據(jù)操作 API 提供對(duì)元數(shù)據(jù)的操作相關(guān)服務(wù)，報(bào)表查詢 API 提供業(yè)務(wù)結(jié)構(gòu)化數(shù)據(jù)在線查詢服務(wù)。

展示平臺(tái)

報(bào)表平臺(tái)前端屬 Web 工程，用戶可在報(bào)表平臺(tái)創(chuàng)建修改 APP 數(shù)據(jù)采集配置、查看數(shù)據(jù)報(bào)表、創(chuàng)建修改自動(dòng)報(bào)告、創(chuàng)建修改智能告警規(guī)則等，所有相關(guān)配置配置數(shù)據(jù)都會(huì)持久化存儲(chǔ)到 Mysql 數(shù)據(jù)庫(kù)中。

AIOps智能告警

AlOps整體是通過(guò)spark+springboot的基礎(chǔ)架構(gòu)，裝載數(shù)據(jù)庫(kù)配置到redis，zookeeper，本地緩存，訂閱上游傳遞過(guò)來(lái)的 kafka 事件消息經(jīng)多個(gè)分布式流處理程序使用規(guī)則引擎實(shí)現(xiàn)對(duì)告警規(guī)則（范圍規(guī)則，策略規(guī)則，告警條件規(guī)則，告警窗口規(guī)則）再通過(guò)告警渲染引擎渲染告警信心，最后使用告警工具調(diào)用實(shí)現(xiàn)告警，同時(shí)將整個(gè)流程的數(shù)據(jù)進(jìn)行持久化處理到 zeus 數(shù)據(jù)庫(kù)，實(shí)現(xiàn)對(duì)事件的告警過(guò)濾，規(guī)則匹配，壓縮，發(fā)送告警的整體告警流程。

商業(yè)變化

故障應(yīng)急排查，快速響應(yīng)各方面要求

在某年度黨費(fèi)繳納活動(dòng)期間，昆侖銀行系統(tǒng)突發(fā)故障，面對(duì)大量的告警數(shù)據(jù)，系統(tǒng)陷入無(wú)法有效聚合、關(guān)聯(lián)分析、根因分析和故障診斷的困境。通過(guò)博睿數(shù)據(jù)應(yīng)用性能監(jiān)控系統(tǒng)快速定位故障節(jié)點(diǎn)，逐層問(wèn)題剝離分析，有效提升排障效率，最終將問(wèn)題發(fā)現(xiàn)和解決的時(shí)間從小時(shí)級(jí)壓縮到分鐘級(jí)，運(yùn)維效率提升至80%。

代碼級(jí)調(diào)用跟蹤，實(shí)現(xiàn)業(yè)務(wù)全鏈路可觀測(cè)

昆侖銀行的網(wǎng)貸平臺(tái)系統(tǒng)有著很高的性能要求，在接入博睿數(shù)據(jù)的產(chǎn)品前，無(wú)法準(zhǔn)確判斷與網(wǎng)貸相關(guān)的系統(tǒng)運(yùn)行是否緩慢，部署了博睿數(shù)據(jù)的應(yīng)用性能監(jiān)控系統(tǒng)后，幫助昆侖銀行網(wǎng)貸平臺(tái)實(shí)現(xiàn)對(duì)應(yīng)用從程序入口到執(zhí)行全鏈路的監(jiān)控與追蹤，迅速識(shí)別出下游系統(tǒng)存在一定的延遲問(wèn)題，及時(shí)采取相應(yīng)措施，確保了昆侖銀行網(wǎng)貸平臺(tái)穩(wěn)定、安全地運(yùn)行，給用戶提供了優(yōu)質(zhì)的服務(wù)體驗(yàn)。

相關(guān)企業(yè)介紹

·博睿數(shù)據(jù)

北京博睿宏遠(yuǎn)數(shù)據(jù)科技股份有限公司（簡(jiǎn)稱博睿數(shù)據(jù)）(股票號(hào)688229）是中國(guó)IT運(yùn)維監(jiān)控和可觀測(cè)性領(lǐng)域領(lǐng)導(dǎo)者，中國(guó)應(yīng)用性能監(jiān)控及可觀測(cè)性領(lǐng)域唯一上市公司，同時(shí)蟬聯(lián)市場(chǎng)份額排名第一。專注于構(gòu)建以用戶為中心的簡(jiǎn)捷，高效，智能的新型IT運(yùn)維，有效提升云資源利用效率，驅(qū)動(dòng)業(yè)務(wù)創(chuàng)新增長(zhǎng)，助力企業(yè)提升核心競(jìng)爭(zhēng)力，搶占數(shù)字經(jīng)濟(jì)先機(jī)。

15年以來(lái)，博睿數(shù)據(jù)以深厚的技術(shù)積累不斷打磨產(chǎn)品和服務(wù)能力，已在IT運(yùn)維領(lǐng)域形成了自身的獨(dú)特優(yōu)勢(shì)，并將一體化運(yùn)維監(jiān)控和AIOps等解決方案落地到各種客戶生產(chǎn)環(huán)境之中，為銀行，證券，保險(xiǎn)，高端制造等行業(yè)的數(shù)字化、智能化轉(zhuǎn)型持續(xù)賦能，已經(jīng)獲得中國(guó)銀行、工商銀行、中國(guó)建設(shè)銀行、農(nóng)業(yè)銀行、光大銀行、華夏銀行、平安銀行、招商銀行、中信銀行等多家銀行及1000+頭部客戶的選擇和信賴。

·昆侖銀行

昆侖銀行是一家總部位于北京、分支機(jī)構(gòu)遍布全國(guó)性的城商行，提供廣泛的金融產(chǎn)品和服務(wù)，主要包括個(gè)人銀行業(yè)務(wù)、企業(yè)金融服務(wù)、資產(chǎn)管理、投資銀行等領(lǐng)域。作為一家創(chuàng)新型金融機(jī)構(gòu)，昆侖銀行致力于建立特色鮮明、富有活力的優(yōu)秀商業(yè)銀行，同時(shí)注重科技創(chuàng)新，以穩(wěn)健經(jīng)營(yíng)為基礎(chǔ)，堅(jiān)持合規(guī)經(jīng)營(yíng)和風(fēng)險(xiǎn)控制，為客戶提供安全、高效、便捷的金融服務(wù)。

來(lái)源：數(shù)據(jù)猿