本案例由諸葛io投遞并參與評選，數(shù)據(jù)猿獨家全網(wǎng)首發(fā)。

陽光財險線上平臺數(shù)字化運營項目通過管理制度建設(shè)、基礎(chǔ)平臺功能完善、運營分析優(yōu)化，打造產(chǎn)險線上平臺數(shù)字化運營能力，協(xié)助提升其他項目組數(shù)字化運營能力。為了更好的協(xié)助其他前端工具提升運營監(jiān)測能力，需根據(jù)各移動工具運營需求，進行私有指標(biāo)的系統(tǒng)提取、加工與分析，滿足移動工具項目組個性化的監(jiān)控需求。私有指標(biāo)建設(shè)對數(shù)據(jù)平臺的需求會進一步提升。新情況下，陽光財險的各業(yè)務(wù)環(huán)節(jié)對諸葛io提供的產(chǎn)品服務(wù)也就有了新的要求，其中以下3類問題亟待解決：

-用戶運營的核心數(shù)據(jù)需要實現(xiàn)精確采集、整合；

-平臺內(nèi)的指標(biāo)需要能夠靈活擴展；

-需要構(gòu)建一套完善的用戶及用戶行為數(shù)據(jù)指標(biāo)體系。

實施時間：2019年5月——2019年11月

應(yīng)用場景

后臺數(shù)據(jù)采集需求

目前陽光財險主要使用諸葛io提供的SDK，在App、網(wǎng)站的前端完成用戶及行為數(shù)據(jù)的采集，但部分關(guān)鍵指標(biāo)需由業(yè)務(wù)系統(tǒng)后臺提供。為了支持此類指標(biāo)的分析與計算，注冊用戶數(shù)、有效用戶數(shù)等與業(yè)務(wù)指標(biāo)密切相關(guān)的核心用戶指標(biāo)數(shù)據(jù)，將采集用服務(wù)器后臺方式進行采集。因此需要諸葛io提供后端數(shù)據(jù)采集上傳的API接口，并提供相應(yīng)的采集方案設(shè)計、技術(shù)支持等服務(wù)。

自定義指標(biāo)和可視化需求

目前諸葛io的服務(wù)范圍涵蓋了陽光財險各項業(yè)務(wù)，管理層及不同業(yè)務(wù)團隊的數(shù)據(jù)需求除了通用的用戶行為指標(biāo)外，還有很多業(yè)務(wù)特有的指標(biāo)管理、分析需求需要實現(xiàn)滿足。這些業(yè)務(wù)特有指標(biāo)的需求具備如下幾個特點：

-數(shù)量多：為了滿足管理需要、運營需要，所需要的數(shù)據(jù)指標(biāo)整體數(shù)量較多；

-變化快：隨著業(yè)務(wù)的不斷調(diào)整優(yōu)化以及相關(guān)團隊對業(yè)務(wù)和數(shù)據(jù)的理解變化，所需的指標(biāo)往往也需要不斷的進行調(diào)整和增減，以真實反映業(yè)務(wù)的進展；

-要求高：數(shù)據(jù)指標(biāo)的變化調(diào)整，需要盡可能的與業(yè)務(wù)優(yōu)化保持同步狀態(tài)，這就要求我們能夠在第一時間盡快完成指標(biāo)的調(diào)整優(yōu)化。

因此，需要諸葛io平臺中提供基礎(chǔ)指標(biāo)的靈活定義的功能，并能夠支持自定義指標(biāo)的可視化分析，以及將指標(biāo)添加到數(shù)據(jù)看板中進行持續(xù)的跟蹤監(jiān)測的功能。

提供復(fù)雜可視化頁面的二次開發(fā)能力與支持

對于無法通過簡單的自定義指標(biāo)滿足的數(shù)據(jù)分析需求，需要諸葛io基于平臺提供二次開發(fā)的能力，以便陽光財險團隊能夠基于諸葛io平臺中的數(shù)據(jù)、接口和頁面框架進行復(fù)雜指標(biāo)可視化分析的二次開發(fā)。諸葛io平臺需提供自定義頁面嵌入功能，以及數(shù)據(jù)字典、系統(tǒng)架構(gòu)詳細說明等二次開發(fā)所需文檔，并提供相應(yīng)知識轉(zhuǎn)移培訓(xùn)。

提供精細化業(yè)務(wù)指標(biāo)體系設(shè)計與分析服務(wù)

結(jié)合陽光財險各移動工具的實際運營特點和行業(yè)最佳實踐經(jīng)驗，諸葛io團隊將安排資深業(yè)務(wù)顧問參加項目組，與陽光財險項目團隊共同設(shè)計各移動工具的運營指標(biāo)分析體系，包括指標(biāo)定義、分析緯度、統(tǒng)計口徑、診斷辦法等。此外，目前陽光財險在使用諸葛io系統(tǒng)過程中發(fā)現(xiàn)采集的用戶數(shù)據(jù)和用戶行為數(shù)據(jù)信息比較混亂，很難將諸葛io系統(tǒng)的作用最大化。本期項目中，將對先行埋點設(shè)計方案梳理和完善優(yōu)化，以便于陽光財險確實提升數(shù)字化平臺的運營分析監(jiān)控能力。

本項目旨在實現(xiàn)陽光財險集團后臺數(shù)據(jù)和諸葛io系統(tǒng)的對接，綜合陽光財集團后臺數(shù)據(jù)和諸葛io采集的用戶行為數(shù)據(jù)，更加完整的實現(xiàn)對用戶行為活動的記錄、追蹤、分析等。
應(yīng)面臨挑戰(zhàn)

數(shù)據(jù)支持

陽光財產(chǎn)保險集團于2017年采購諸葛io分析平臺，已經(jīng)使用近2年時間，期間共接入應(yīng)用45個。陽光財產(chǎn)集團私有部署的諸葛io系統(tǒng)中最具有代表性的應(yīng)用：車生活，車生活應(yīng)用每日數(shù)據(jù)量約40萬，倉庫總數(shù)據(jù)量約2億。

應(yīng)用技術(shù)／實施過程

技術(shù)架構(gòu)

技術(shù)架構(gòu)圖

技術(shù)架構(gòu)描述

整個系統(tǒng)包括數(shù)據(jù)采集、數(shù)據(jù)收集服務(wù)、消息處理、實時計算和加載、數(shù)據(jù)存儲及查詢、數(shù)據(jù)分析平臺網(wǎng)站幾個部分，諸葛io采用大數(shù)據(jù)主流分布式技術(shù)架構(gòu)，可靈活針對網(wǎng)關(guān)、kafka、cdh集群等配置高可用性，后期隨著客戶數(shù)據(jù)量增多更加方便用戶進行集群擴容。

通過Android SDK、iOS SDK、JS SDK等客戶端或者服務(wù)端數(shù)據(jù)上傳等方式將數(shù)據(jù)通過Nginx加Lua服務(wù)器寫入消息中心Kafka集群，Spark集群通過Spark streaming實時讀取Kafka中原始數(shù)據(jù)，進行轉(zhuǎn)換（添加附加信息、生成ID等），然后將轉(zhuǎn)換后的數(shù)據(jù)寫入Kafka中另一個Topic，同時將中間實時計算的一些結(jié)果寫入SSDB和Redis中。Spark Streaming讀取Kafka中轉(zhuǎn)換后的數(shù)據(jù)，加載到數(shù)據(jù)倉庫中。數(shù)據(jù)分析平臺網(wǎng)站通過數(shù)據(jù)訪問層進行查詢操作，查詢采用impala的視圖，把HDFS表和kudu表數(shù)據(jù)用union合成一個視圖，這樣就可以查詢到實時數(shù)據(jù)了。

數(shù)據(jù)采集

數(shù)據(jù)采集方式

數(shù)據(jù)采集包括客戶端采集、服務(wù)端采集、工具導(dǎo)入三種方式：

客戶端采集：支持Android 、iOS 、JavaScript（web）、微信小程序等，采集方式包括代碼埋點、可視化埋點、全埋點。

服務(wù)端采集：對于無法通過客戶端采集的情況，也可以通過在應(yīng)用服務(wù)器端或合適的時機上傳用戶及事件等數(shù)據(jù)。

工具導(dǎo)入：如果有結(jié)構(gòu)化的數(shù)據(jù)，也可以通過諸葛io提供的工具，把數(shù)據(jù)一次性導(dǎo)入諸葛io數(shù)據(jù)分析平臺

SDK采集數(shù)據(jù)格式

數(shù)據(jù)格式示例如下：

{

"dt": "evt", //數(shù)據(jù)類型，evt，自定義事件，必填

"pr":

{ //數(shù)據(jù)屬性，$為默認屬性標(biāo)識

"$an": "QQ", //應(yīng)用名稱 必填

"$cn": "360", //應(yīng)用渠道 必填

"$cr":"(null)(null)", //運營商代號 必填

"$ct": 1471941345321, //時間戳，毫秒，必填

"$cuid":"1234523", //用戶ID(可選)

"$dru":45000, //事件持續(xù)時長（可選）

"$eid":"購買", //事件名稱，必填

"$mnet": "0", //移動網(wǎng)絡(luò)類型 0:未知; 1,2:2G; 3-12:3G; 13+:4G

"$net": "4", //當(dāng)前網(wǎng)絡(luò)類型，0：移動網(wǎng)絡(luò); 4:wifi

"$ov": "5.0", //Android 系統(tǒng)版本 必填

"$os": "Android", //Android 系統(tǒng) 必填

"$sid":1471941345321, //會話ID 必填

"$tz":28800000, //相對UTC偏移量，必填

"$vn": "2.3.1", //應(yīng)用版本 必填

"_$vn":"天貓", //自定義事件屬性

"_數(shù)量":2,

"_價格":3999

}

}

SDK采集到的數(shù)據(jù)為json格式，主要的數(shù)據(jù)類型包括事件、用戶信息、平臺信息、會話開始、會話結(jié)束等。Android SDK、iOS SDK、JS SDK采集到的數(shù)據(jù)由于平臺差異會有不同。

定制開發(fā)類功能需求解決方案

針對項目需求和目標(biāo)，結(jié)合諸葛io系統(tǒng)架構(gòu)，經(jīng)過雙方共同分析與討論溝通，定制開發(fā)類需求解決方案如下：

諸葛io團隊基于現(xiàn)有平臺進行定制開發(fā)，增加以下功能：

-自定義指標(biāo)管理與可視化分析

-自定義可視化頁面管理

-諸葛io團隊為陽光財險團隊提供如下技術(shù)支持服務(wù)：

-后端數(shù)據(jù)上傳接口與技術(shù)支持；

-自定義指標(biāo)過程所需的培訓(xùn)與技術(shù)支持服務(wù)；

-自定義可視化頁面二次開發(fā)所需的培訓(xùn)與技術(shù)支持服務(wù)。

-陽光財險基于諸葛io平臺的功能、接口和開放能力，實現(xiàn)：

-核心數(shù)據(jù)的后端采集與測試；

-基礎(chǔ)自定義指標(biāo)的定義與管理；

-復(fù)雜可視化界面的二次開發(fā)。

以下對本項目中涉及的功能和技術(shù)支持服務(wù)進行詳細的定義與設(shè)計。

平臺功能定制開發(fā)服務(wù)

諸葛io團隊將基于現(xiàn)有平臺進行定制開發(fā)，新增以下功能的實現(xiàn)（下圖中橙色部分功能）

自定義指標(biāo)的管理與可視化分析

指標(biāo)的創(chuàng)建、管理與刪除：

-應(yīng)用管理員可以按如下定義創(chuàng)建和修改指標(biāo)：

-指標(biāo)名稱：最長30個漢字；

-指標(biāo)查詢邏輯：基于諸葛io數(shù)據(jù)倉庫模型，采用sql語句定義指標(biāo)的查詢邏輯，查詢語句輸出應(yīng)包含時間維度、指標(biāo)結(jié)果維度，也可以包含1個細分維度（細分維度可不定義）；

-指標(biāo)的篩選條件：直接在sql語句中通過where字句定義（該項可不定義）；

-用戶洞察：表格中的指標(biāo)需點擊進行用戶洞察的條件，通過sql語句定義（該項可不定義）；

-管理員可刪除不需要的指標(biāo)。

指標(biāo)的可視化分析：

-完成創(chuàng)建/修改的指標(biāo)，將自動出現(xiàn)在「諸葛io→分析→自定義」頁面中的指標(biāo)下拉列表中；

-用戶可以從下拉列表中選擇需要分析的指標(biāo)，進行查看和分析；

-用戶可以將指標(biāo)添加到看板中進行長期的監(jiān)測分析。

不含細分維度的指標(biāo)可視化：

含有細分維度的指標(biāo)可視化：

自定義可視化頁面的管理

在完成了自定義可視化頁面的開發(fā)后，管理員可以將頁面添加到平臺中。

添加過程中需要管理員：

-定義頁面名稱和頁面的跳轉(zhuǎn)鏈接；

-定義好的頁面將自動出現(xiàn)在自定義頁面的列表中；

-用戶可以點擊跳轉(zhuǎn)到頁面中進行分析。

管理員可以刪除不需要的頁面。

技術(shù)支持服務(wù)

諸葛io團隊將為陽光團隊提供如下支持與服務(wù)：

-服務(wù)器后端數(shù)據(jù)采集支持：

-服務(wù)器端后臺明細數(shù)據(jù)上傳的接口及文檔；

-并提供上傳過程的技術(shù)支持；

-自定義指標(biāo)支持：

-自定義指標(biāo)功能的使用培訓(xùn)；

-自定義指標(biāo)的技術(shù)支持；

-自定義頁面支持：

-自定義頁面功能及開發(fā)的培訓(xùn)；

-諸葛io數(shù)據(jù)倉庫數(shù)據(jù)字典說明；

-諸葛io數(shù)據(jù)倉庫查詢接口說明；

-諸葛io系統(tǒng)架構(gòu)說明；

自定義頁面的技術(shù)支持。

咨詢服務(wù)

針對各業(yè)務(wù)線對精細化業(yè)務(wù)指標(biāo)設(shè)計、搭建的需求，諸葛io團隊為陽光財險集團提供包括但不限于以下咨詢服務(wù)：

針對陽光“車生活”、“全能保”、官網(wǎng)、官微等應(yīng)用提供精細化業(yè)務(wù)指標(biāo)體系設(shè)計、協(xié)助陽光搭建業(yè)務(wù)指標(biāo)體系，服務(wù)內(nèi)容主要包含：

-針對車生活、全能保的運營指標(biāo)體系設(shè)計，產(chǎn)出《用戶行為數(shù)據(jù)指標(biāo)體系設(shè)計方案》；

-針對車生活、全能保的數(shù)據(jù)采集方案設(shè)計，產(chǎn)出《用戶行為數(shù)據(jù)采集方案》；

-針對車生活、全能保的運營指標(biāo)看板搭建；

-針對車生活的精細化運營分析，提供客戶運營、平臺運營、活動運營3個主題的分析報告。產(chǎn)出《行為分析報告》

系統(tǒng)升級和集群擴容服務(wù)

諸葛io集群擴容前架構(gòu)情況如下圖所示：

目前諸葛io集群共3臺服務(wù)器，每臺服務(wù)器配置如下：

涉及企業(yè)隱私部分信息已經(jīng)脫敏

隨著陽光財險業(yè)務(wù)的發(fā)展，需對現(xiàn)有產(chǎn)品各渠道數(shù)據(jù)進行采集，現(xiàn)需要諸葛io系統(tǒng)接入小程序數(shù)據(jù)，由于陽光財險現(xiàn)有集群部署的諸葛io系統(tǒng)版本不支持小程序，需要更新諸葛io系統(tǒng)版本，同時更新完系統(tǒng)版本后，由于小程序數(shù)據(jù)的接入可能會增加目前集群的負載，影響整個系統(tǒng)運行速度，故本次在做系統(tǒng)升級的時候同時進行系統(tǒng)擴容，增加一個服務(wù)器節(jié)點。

諸葛io集群擴容后架構(gòu)情況如下圖所示：

擴容后集群信息：

擴容后集群節(jié)點增加一個，可在原有基礎(chǔ)上支持再新創(chuàng)建8個應(yīng)用，在數(shù)據(jù)總量保持不變的情況下各應(yīng)用查詢速度、系統(tǒng)架構(gòu)穩(wěn)定性會有明顯提升。

新增節(jié)點上會在新部署查詢節(jié)點、cdh節(jié)點、ETL數(shù)據(jù)處理程序等。

新增加一個查詢節(jié)點會提升集群的數(shù)據(jù)查詢能力，減輕其他節(jié)點的壓力，使系統(tǒng)整體更健壯，能夠應(yīng)對和查詢更大規(guī)模的數(shù)據(jù)，提高系統(tǒng)抵御更大數(shù)量數(shù)據(jù)查詢風(fēng)險的能力。

增加cdh節(jié)點會減輕其他階段目前的數(shù)據(jù)壓力，有助于提升系統(tǒng)的查詢速度，節(jié)點之間互相備份，增強系統(tǒng)的高可用性，即使一個節(jié)點出問題，也不影響系統(tǒng)中的數(shù)據(jù)。

諸葛io系統(tǒng)升級完成后將支持小程序數(shù)據(jù)采集、可視化埋點等諸葛新功能。屆時陽光財險將可以接入更多渠道的數(shù)據(jù)以及更靈活的埋點數(shù)據(jù)采集方式。諸葛也會為陽光財險數(shù)據(jù)接入全力提供技術(shù)支持服務(wù)。

為保障本次系統(tǒng)升級和集群擴展能夠順利進行，需要陽光財險提前準備好以下信息：

1.新增機器保持和原集群網(wǎng)絡(luò)互通，互相訪問無限制，機器配置和其他集群機器相同；

2.確保每臺機器的目錄結(jié)構(gòu)一致；

3.升級過程需要root權(quán)限，需要陽光財險提前準備好登錄服務(wù)器的賬號信息；

4.能夠訪問外網(wǎng)的環(huán)境。

諸葛進行系統(tǒng)升級、擴容操作流程：

1.安裝諸葛服務(wù)，本過程主要將諸葛io系統(tǒng)涉及的查詢節(jié)點、cdh、etl等相關(guān)服務(wù)部署到新增的服務(wù)器節(jié)點上；

2.創(chuàng)建相關(guān)目錄，根據(jù)其他節(jié)點的目錄為新增節(jié)點創(chuàng)建目錄文件；

3.拷貝、修改配置文件，將其他節(jié)點的配置文件拷貝到新增節(jié)點上，并將配置文件相關(guān)信息修改新增節(jié)點的信息；

4.啟動新增節(jié)點CDH集群服務(wù)；

5.增加main-cdh；

6.增加查詢服務(wù)監(jiān)控，將新增節(jié)點的查詢服務(wù)添加到監(jiān)控項中，實時監(jiān)控新節(jié)點中的查詢相關(guān)服務(wù)情況；

7.增加cdh監(jiān)控，將新增節(jié)點的cdh添加到監(jiān)控項中，實時監(jiān)控新節(jié)點中的cdh相關(guān)服務(wù)情況；

8.增加其他監(jiān)控，將新增節(jié)點的etl等服務(wù)添加到監(jiān)控項中，實時監(jiān)控新節(jié)點中的etl等服務(wù)相關(guān)服務(wù)情況；

9.修改查詢節(jié)點連接信息，使提交的查詢請求能夠分配到新增節(jié)點中，并進行后續(xù)數(shù)據(jù)查詢處理；

10.系統(tǒng)擴容完成；

11.停止web相關(guān)服務(wù)、kafka、etl數(shù)據(jù)處理程序，數(shù)據(jù)暫時積壓在kafka中；

12.將諸葛io行為路徑相關(guān)服務(wù)、sdkv、load等系統(tǒng)服務(wù)更新為最新版本；

13.啟動web相關(guān)服務(wù)、kafka、etl數(shù)據(jù)處理程序；

14.系統(tǒng)升級完成。

諸葛io系統(tǒng)本次升級和擴容過程涉及更新部署web和集群部分服務(wù)，因此諸葛io系統(tǒng)升級和擴容期間暫時不能夠訪問，持續(xù)時間大約兩天左右。

本次諸葛io系統(tǒng)升級和擴容不會對數(shù)據(jù)采集產(chǎn)生影響，數(shù)據(jù)會暫時積壓在kafka中，待系統(tǒng)升級、擴容完成之后，積壓在kafka中的數(shù)據(jù)會進行消費，消費完成后就可以看到數(shù)據(jù)了。

本次系統(tǒng)升級和擴容主要存在的風(fēng)險有：

1.由于諸葛io系統(tǒng)在陽光財險集團中是純內(nèi)網(wǎng)環(huán)境部署，系統(tǒng)運行時間較長，期間可能進行過系統(tǒng)服務(wù)調(diào)整，目前集群服務(wù)分布環(huán)境比較復(fù)雜，可能存在一定風(fēng)險；

2.由于是純內(nèi)網(wǎng)環(huán)境，系統(tǒng)升級或擴容過程中相關(guān)服務(wù)依賴的環(huán)境無法直接從外網(wǎng)直接下載，導(dǎo)致系統(tǒng)升級和擴容的時間持續(xù)較長，容易出現(xiàn)服務(wù)不兼容情況。

針對上述風(fēng)險，諸葛io在進行升級、部署之前需要做到：

1.先確認下集群目前的服務(wù)分布情況，確認后再開始進行升級、擴容操作，同時做好應(yīng)對服務(wù)異常的解決措施；

2.提前準備好升級需要的相關(guān)文件，升級之前將文件傳到服務(wù)器上，然后進行操作。為防止提前準備的文件不能滿足升級、擴容需要，請陽光財險提前準備好能夠連接外網(wǎng)的網(wǎng)絡(luò)環(huán)境，以備不時之需。

商業(yè)變化

•構(gòu)建了滿足精細化運營的指標(biāo)體系

基于公司戰(zhàn)略目標(biāo)制定北極星指標(biāo)，并建立用戶運營分析、平臺運營分析、服務(wù)產(chǎn)品運營分析3個維度、共計近100個細分指標(biāo)的運營指標(biāo)體系。

•落實了具體的數(shù)據(jù)管理和應(yīng)用規(guī)范

•制定并落實了一套固定的數(shù)據(jù)采集流程，規(guī)范了從數(shù)據(jù)需求、埋點實施、維護管理等各階段的工作要求和規(guī)范，讓各部門了解各自在數(shù)據(jù)工作中的職責(zé)和工作內(nèi)容

•支持數(shù)十種豐富的數(shù)據(jù)展示圖，并能自行計算復(fù)合指標(biāo)進行展示

支持柱狀圖、趨勢圖、餅圖、地形圖等多種圖表展示，并通過自定義頁面模塊支持前端使用可視化開發(fā)包進行更多樣的圖形展示。同時支持單個復(fù)合指標(biāo)的展示和對比。

•埋點事件從3000多減少到300

按照新的規(guī)范對原有流程重新梳理后，合并精簡了重復(fù)的埋點，以及廢棄了長期不用的埋點，大大減少了埋點事件量，也減輕了埋點維護負擔(dān)，提高了工作效率

案例提交企業(yè)·諸葛io：

諸葛io于2015年3月上線，是一個聚焦用戶全生命周期數(shù)據(jù)采集、分析和決策的平臺?；赨TSE用戶模型和開放靈活的技術(shù)平臺，賦能企業(yè)的數(shù)字化戰(zhàn)略發(fā)展，提升企業(yè)的運營和營銷效率。

諸葛io團隊核心成員來自好耶、西班牙電信、Oracle、SAP、Microsoft、萬方數(shù)據(jù)等國內(nèi)外知名企業(yè)專家，服務(wù)過多家500強企業(yè)。產(chǎn)品一上線便獲得李開復(fù)博士創(chuàng)新工場的關(guān)注，陸續(xù)獲得創(chuàng)新工場、藍馳創(chuàng)投、阿爾法公社等多家知名機構(gòu)的投資。

公司立足于北京，布局全國，現(xiàn)已在上海、深圳設(shè)立分公司，并在武漢成立研發(fā)中心，憑借過硬的產(chǎn)品和優(yōu)質(zhì)的服務(wù)，為越來越多的現(xiàn)代企業(yè)注入數(shù)據(jù)基因，實現(xiàn)業(yè)務(wù)增長。

截至目前，安利、光明、戴森、松下電器、蘇寧消費金融、陽光財險、中國人壽、中國移動、融信銀行、民泰銀行、中國移動、萬科地產(chǎn)、碧桂園、龍湖地產(chǎn)、悅跑圈、優(yōu)信二手車、寶馬、大眾、東易日盛集團、好未來、智聯(lián)招聘、餓了么、墨跡天氣等50,000+優(yōu)秀企業(yè)已啟用諸葛io的數(shù)據(jù)分析平臺。

來源：數(shù)據(jù)猿