“本項(xiàng)目案例由 火山引擎 投遞并參與由數(shù)據(jù)猿&上海大數(shù)據(jù)聯(lián)盟聯(lián)合推出的“行業(yè)盤點(diǎn)季之?dāng)?shù)智化轉(zhuǎn)型升級(jí)”大型主題策劃活動(dòng)之《2021中國(guó)企業(yè)數(shù)智化轉(zhuǎn)型升級(jí)創(chuàng)新服務(wù)企業(yè)》榜單/獎(jiǎng)項(xiàng)的評(píng)選。

泰康保險(xiǎn)集團(tuán)是包含保險(xiǎn)、資管等核心產(chǎn)業(yè)的世界500強(qiáng)企業(yè)，同時(shí)是以移動(dòng)互聯(lián)網(wǎng)戰(zhàn)略和數(shù)字化經(jīng)營(yíng)先進(jìn)理念為發(fā)展路線的頭部大型綜合保險(xiǎn)集團(tuán)公司。

2019年，泰康集團(tuán)牽頭打造超級(jí)客戶端-泰生活A(yù)PP。作為泰康集團(tuán)在互聯(lián)網(wǎng)戰(zhàn)略下的超級(jí)APP，承載著泰康數(shù)字化轉(zhuǎn)型重任，泰生活致力于為全業(yè)務(wù)場(chǎng)景用戶，提供統(tǒng)一的服務(wù)入口與高效的用戶體驗(yàn)。

對(duì)此，泰康集團(tuán)科技中心攜手火山引擎共建A/B測(cè)試平臺(tái)，不僅為泰生活A(yù)PP解決了運(yùn)營(yíng)難題，同時(shí)也為泰康全集團(tuán)及其子公司提供了智能、科學(xué)的運(yùn)營(yíng)工具。A/B測(cè)試平臺(tái)作為精細(xì)化運(yùn)營(yíng)開端，能從數(shù)據(jù)決策入手，逐步實(shí)現(xiàn)“數(shù)據(jù)決策-數(shù)據(jù)分析-數(shù)據(jù)策略設(shè)置-持續(xù)優(yōu)化”閉環(huán)，達(dá)到用戶體驗(yàn)與營(yíng)銷效率雙提升！

●實(shí)施時(shí)間

開始時(shí)間：2020年9月展開合作

截止時(shí)間：目前仍在繼續(xù)

應(yīng)用場(chǎng)景

泰生活的A/B測(cè)試平臺(tái)應(yīng)用于業(yè)務(wù)2A3R互聯(lián)網(wǎng)客戶增長(zhǎng)運(yùn)營(yíng)的各個(gè)階段，如頁面UI改版、各類活動(dòng)的運(yùn)營(yíng)、APP推送運(yùn)營(yíng)、APP功能流程更新等：

場(chǎng)景一：首頁UI設(shè)計(jì)的A/B實(shí)驗(yàn)

頁面UI改版實(shí)驗(yàn)、各類運(yùn)營(yíng)頁面優(yōu)化，運(yùn)用上，泰生活A(yù)PP的A/B測(cè)試平臺(tái)通過可視化實(shí)驗(yàn)的方法，產(chǎn)品、運(yùn)營(yíng)和設(shè)計(jì)人員都可以自主的進(jìn)行小流量A/B測(cè)試，先驗(yàn)證UI新版的有效性，再進(jìn)行完整上線的流程，極大地降低了技術(shù)投入成本同時(shí)，提升了UI迭代速度和質(zhì)量。

泰康使用AB測(cè)試，對(duì)目前最為重要的泰生活app首頁大改版進(jìn)行了實(shí)驗(yàn)。針對(duì)目前的泰生活A(yù)PP首頁，產(chǎn)品團(tuán)隊(duì)也進(jìn)行改版，主要基于以下考量：

1. 客戶定性反饋首頁不夠清晰，很多模塊無法快速找到；

2. 集團(tuán)品牌升級(jí)的需求，需要進(jìn)行業(yè)務(wù)替換和聚焦；

3. 目前市場(chǎng)上主流的UI設(shè)計(jì)，能夠讓用戶無縫切換到新版本；

4. 規(guī)避風(fēng)險(xiǎn)，雖然前期調(diào)研工作充足，但上線仍然面臨著不確定性風(fēng)險(xiǎn)。

基于以上考量，產(chǎn)品團(tuán)隊(duì)希望既可以監(jiān)控新首頁的重點(diǎn)指標(biāo)變化是否符合預(yù)期，同時(shí)監(jiān)控是否存在指標(biāo)大幅下降的風(fēng)向情況，一旦出現(xiàn)，可以及時(shí)回滾。此時(shí)，A/B測(cè)試就是最為符合需求的產(chǎn)品迭代方式。

產(chǎn)品團(tuán)隊(duì)通過A/B測(cè)試，小流量的進(jìn)行了首頁新版本的測(cè)試。決出優(yōu)勝版本后通過feature flag智能發(fā)布逐步從1%，到5%，到10%，再到30%，直至全量發(fā)布，很好的規(guī)避了新版本的發(fā)布風(fēng)險(xiǎn)。同時(shí)驗(yàn)證了新版本的以下一些優(yōu)異表現(xiàn)：

·頭部icon的誤觸率降低了30%，這是新版本入口清晰的一個(gè)顯著特征；

·直播板塊用戶轉(zhuǎn)化提升了4倍，符合集團(tuán)品牌升級(jí)的需要；

·首頁整體點(diǎn)擊率平穩(wěn)過渡，用戶整體轉(zhuǎn)化提升了1.5%，用戶可以無縫切換到新版本；

·測(cè)試期間，用戶定性反饋良好，再次證明新首頁改版的可持續(xù)性表現(xiàn)。

通過A/B測(cè)試，泰生活團(tuán)隊(duì)驗(yàn)證了此前的考量，平穩(wěn)地上線了新首頁，規(guī)避了潛在的發(fā)布風(fēng)險(xiǎn)，可謂一舉多得。

場(chǎng)景二：PUSH A/B

推送作為泰生活A(yù)PP促活的一項(xiàng)重要手段，需要不斷的測(cè)試如推送人群、頻率、文案、內(nèi)容、圖片、用戶打開方式等一系列步驟。其A/B測(cè)試工具平臺(tái)提供了完整的可配置項(xiàng)，推送過程中的所有步驟均可以所見即所得的配置，再進(jìn)一步結(jié)合MAB動(dòng)態(tài)流量調(diào)優(yōu)和MVT多變量實(shí)驗(yàn)，系統(tǒng)可以自動(dòng)的在多種策略變量的各種組合中尋找最優(yōu)解，使運(yùn)營(yíng)人員脫離了人工控制推送的苦海。

對(duì)此，運(yùn)營(yíng)人員只需要定期的上線預(yù)期更為優(yōu)秀的推送策略，其余都交給A/B測(cè)試系統(tǒng)來完成自動(dòng)分發(fā)、自動(dòng)調(diào)優(yōu)，從而進(jìn)一步優(yōu)化了泰生活本身APP的推送運(yùn)營(yíng)流程，提升了整體APP的推送激活率。

典型的泰生活推送測(cè)試案例：

運(yùn)營(yíng)部門想測(cè)試app推送的時(shí)機(jī)和推送內(nèi)容的數(shù)量，設(shè)計(jì)了以下幾種方案：

·對(duì)照組：有push 無紅點(diǎn)

·實(shí)驗(yàn)組1：有push 每天兩次2條，下發(fā)時(shí)間[7:00, 16:00]

·實(shí)驗(yàn)組2：有push 每天兩次2條，下發(fā)時(shí)間[12:00, 16:00]

·實(shí)驗(yàn)組3：有push 每天兩次4條，下發(fā)時(shí)間[7:00, 12:00, 16:00, 18:00]

實(shí)驗(yàn)希望尋找當(dāng)前最優(yōu)內(nèi)容推送數(shù)量和時(shí)機(jī)。實(shí)驗(yàn)關(guān)注的指標(biāo)是新用戶留存。

經(jīng)過兩周的測(cè)試，勝出的是實(shí)驗(yàn)組2，每天兩條推送，在12:00和16:00推送，新用戶7日留存較對(duì)照組提升了11%。

場(chǎng)景三：智能發(fā)布（灰度發(fā)布）

對(duì)于更加普遍意義上的產(chǎn)品功能、流程迭代，通過AB測(cè)試小流量的穩(wěn)健發(fā)布方式，一方面降低了沒有灰度發(fā)布的潛在迭代風(fēng)險(xiǎn)，另一方面，AB測(cè)試讓每一次產(chǎn)品迭代更有據(jù)可循，有數(shù)可查，不斷的增強(qiáng)產(chǎn)品人員的迭代信心。通過一次次的產(chǎn)品迭代積累，使產(chǎn)品人員逐漸清晰地認(rèn)識(shí)到了未來產(chǎn)品改善的方向輪廓。

泰生活的一個(gè)典型的迭代場(chǎng)景：

內(nèi)容資訊的上線需要經(jīng)過非常嚴(yán)格審慎的控制，這是由于內(nèi)容調(diào)性策略，一方面需要不斷設(shè)置規(guī)則例如不斷補(bǔ)全屏蔽關(guān)鍵詞；另一方面，復(fù)雜的情況則需要調(diào)整內(nèi)容過濾策略模型，例如視頻內(nèi)檢索、語音內(nèi)檢索屏蔽關(guān)鍵詞，所以需要靈活的灰度發(fā)布策略。

灰度發(fā)布策略，涉及到區(qū)域篩選、人群流量控制、內(nèi)容開關(guān)控制、定時(shí)發(fā)布等全面的控制，使用A/B測(cè)試工具，能夠很好的滿足訴求，從初始發(fā)布的人群選擇，到人群流量的細(xì)化配比。從不同內(nèi)容的開關(guān)控制，到已驗(yàn)證內(nèi)容的定時(shí)放開策略，泰生活目前已經(jīng)基本形成了系統(tǒng)的內(nèi)容灰度發(fā)布機(jī)制，首次采用泰康內(nèi)勤發(fā)布后再逐步擴(kuò)充到互聯(lián)網(wǎng)用戶，能夠有效地規(guī)避發(fā)布風(fēng)險(xiǎn)，減少新的版本大功能升級(jí)切換的安全性，不斷的讓優(yōu)質(zhì)內(nèi)容上線。

面臨挑戰(zhàn)

隨著業(yè)務(wù)快速發(fā)展，用戶量逐漸增大，泰生活A(yù)PP產(chǎn)品迭代、營(yíng)銷活動(dòng)的持續(xù)優(yōu)化，受到了更高挑戰(zhàn)：

·驗(yàn)證新技術(shù)在實(shí)際業(yè)務(wù)中的能力，需要具備高效、科學(xué)、公正的分析技術(shù)平臺(tái)；

·提升產(chǎn)品迭代率，快速找到用戶體驗(yàn)、用戶轉(zhuǎn)化最優(yōu)方案，需要具備支持快速高效對(duì)比試驗(yàn)的平臺(tái)。

應(yīng)用技術(shù)與實(shí)施過程

01

應(yīng)用技術(shù)

產(chǎn)品功能強(qiáng)大，在字節(jié)跳動(dòng)產(chǎn)品得到有效驗(yàn)證。

科學(xué)可靠的分流服務(wù)

相較于市面上其他的產(chǎn)品，A/B測(cè)試平臺(tái)的分流服務(wù)更為可靠，底層算法對(duì)用戶群體進(jìn)行了均勻、隨機(jī)地分流，從而確保各實(shí)驗(yàn)組樣本的同質(zhì)性，實(shí)驗(yàn)結(jié)果更為可靠。同時(shí)，A/B測(cè)試平臺(tái)的分流服務(wù)性能穩(wěn)定，能夠支持高并發(fā)的請(qǐng)求場(chǎng)景，例如億級(jí)DAU產(chǎn)品進(jìn)行Push實(shí)驗(yàn)。

先進(jìn)成熟的統(tǒng)計(jì)策略

A/B測(cè)試平臺(tái)所采用的統(tǒng)計(jì)策略與字節(jié)跳動(dòng)內(nèi)部一致，依托于經(jīng)典統(tǒng)計(jì)學(xué)的假設(shè)檢驗(yàn)方法，從置信度、置信區(qū)間等多個(gè)層面對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行判斷，同時(shí)也配備以貝葉斯統(tǒng)計(jì)原理為基礎(chǔ)的實(shí)驗(yàn)引擎。同時(shí)提供漏斗分析、熱圖分析（規(guī)劃中）等多種輔助分析手段，賦能商業(yè)決策。

支持多種特型實(shí)驗(yàn)

A/B測(cè)試平臺(tái)不僅支持產(chǎn)品全生命周期中各場(chǎng)景下的實(shí)驗(yàn)需求，也通過長(zhǎng)期的經(jīng)驗(yàn)積累，在各種特殊場(chǎng)景下提供特殊的實(shí)驗(yàn)解決方案，讓A/B實(shí)驗(yàn)更易用。

（a）可視化實(shí)驗(yàn)

無需研發(fā)介入，市場(chǎng)人員、產(chǎn)品經(jīng)理、運(yùn)營(yíng)人員，都可通過可視化拖拽形式改變產(chǎn)品/頁面布局和各種前端元素，從而完成對(duì)照組&實(shí)驗(yàn)組的配置，所見即所得，大大減少A/B實(shí)驗(yàn)在研發(fā)層面的壓力，也大大縮短實(shí)驗(yàn)上線的周期。

（b）MAB動(dòng)態(tài)流量調(diào)優(yōu)實(shí)驗(yàn)

應(yīng)用貝葉斯統(tǒng)計(jì)原理，實(shí)驗(yàn)者可同時(shí)提交多種策略（如提供多個(gè)Push文案、多個(gè)落地頁面等），由A/B測(cè)試平臺(tái)智能化地動(dòng)態(tài)擴(kuò)量?jī)?yōu)勝版本，從而助力企業(yè)實(shí)現(xiàn)核心指標(biāo)收益的最大化（如CTR最大化、購(gòu)買率最大化）。實(shí)驗(yàn)開啟后，無需人工干預(yù)，流量自動(dòng)向“有可能成為最優(yōu)”的策略傾斜，并根據(jù)實(shí)時(shí)的指標(biāo)變化，動(dòng)態(tài)更新流量配置，以最低的風(fēng)險(xiǎn)，穩(wěn)定獲得最大的收益。

（c）多鏈接實(shí)驗(yàn)

也稱為Split URL實(shí)驗(yàn)，用戶訪問統(tǒng)一的落地頁URL后，分流至不同的URL落地頁。適用于廣告投放、活動(dòng)運(yùn)營(yíng)等場(chǎng)景，如測(cè)試不同廣告落地頁轉(zhuǎn)化率，活動(dòng)頁面效果等。

（d）推送實(shí)驗(yàn)

在活動(dòng)推送過程中，客戶可以配置多個(gè)文案、落地頁等，并開啟實(shí)驗(yàn)觀測(cè)轉(zhuǎn)化效果，同時(shí)提供智能調(diào)優(yōu)的文案賽馬功能，協(xié)助用戶盡快拿到最大收益。

（e）MVT實(shí)驗(yàn)

又稱多變量實(shí)驗(yàn)，多個(gè)參數(shù)的自動(dòng)化組合，自動(dòng)探索計(jì)算最優(yōu)解。

（f）父子實(shí)驗(yàn)

關(guān)聯(lián)實(shí)驗(yàn)，子實(shí)驗(yàn)的流量均來自于父實(shí)驗(yàn)的某一個(gè)實(shí)驗(yàn)版本。

提供灰度發(fā)布能力

在海外，“灰度發(fā)布”以“Feature Flag”這一名字，被互聯(lián)網(wǎng)企業(yè)所熟知，是一線互聯(lián)網(wǎng)公司精益開發(fā)的標(biāo)配工具。產(chǎn)品在新功能發(fā)布前，企業(yè)可采取小流量測(cè)試的方式，驗(yàn)證現(xiàn)有功能是否穩(wěn)定，并可通過開關(guān)模式便捷地管理產(chǎn)品內(nèi)功能的開啟/關(guān)閉。相較于傳統(tǒng)的發(fā)布流程，灰度發(fā)布更為敏捷迅速，風(fēng)險(xiǎn)更低，能夠明顯減少線上事故的發(fā)生。同時(shí)也可以針對(duì)目標(biāo)人群進(jìn)行定向發(fā)布，是精細(xì)化運(yùn)營(yíng)不可或缺的關(guān)鍵神器。

提供多種工具

流量建議工具，幫助用戶預(yù)估實(shí)驗(yàn)開啟流量，指導(dǎo)用戶更好地開啟實(shí)驗(yàn)。

命中診斷工具，幫助用戶針對(duì)調(diào)試中的和運(yùn)行中的實(shí)驗(yàn)，更好地診斷用戶是否曝光，以及未命中實(shí)驗(yàn)的具體原因。

指標(biāo)監(jiān)控工具，幫助用戶針對(duì)目標(biāo)指標(biāo)進(jìn)行閾值差異和顯著的監(jiān)控。

02

實(shí)施過程

目前，A/B測(cè)試平臺(tái)已應(yīng)用于泰生活A(yù)PP增長(zhǎng)運(yùn)營(yíng)的各個(gè)階段，以APP首頁UI為例。在泰生活的運(yùn)營(yíng)過程中，發(fā)現(xiàn)APP首頁亟需升級(jí)：

·用戶反饋首頁布局不夠清晰，許多業(yè)務(wù)無法快速找到；

·處于泰康集團(tuán)品牌升級(jí)過程中，業(yè)務(wù)需要替換和聚焦；

·提供更好的使用體驗(yàn)，讓用戶可以無縫切換新版本。

基于以上考量，泰康還希望實(shí)時(shí)掌握APP以下幾點(diǎn)：

·新首頁的重點(diǎn)指標(biāo)變化是否符合預(yù)期？

·是否存在指標(biāo)大幅下降的風(fēng)向情況？

·一旦出現(xiàn)意外情況，是否可以及時(shí)回滾？

此時(shí)，A/B測(cè)試是最符合需求的產(chǎn)品迭代方式。通過A/B測(cè)試平臺(tái)可視化實(shí)驗(yàn)，泰生活產(chǎn)品、運(yùn)營(yíng)和設(shè)計(jì)人員都可以自主參與首頁改版設(shè)計(jì)。

產(chǎn)品團(tuán)隊(duì)首先進(jìn)行了首頁新版本的小流量測(cè)試，在決出優(yōu)勝版本后，再通過feature flag智能發(fā)布，逐步從1%、5%、10%，再到30%，直至全量發(fā)布。此舉在驗(yàn)證新版本有效性的同時(shí)，有效規(guī)避發(fā)布風(fēng)險(xiǎn)，提升迭代速度和質(zhì)量。

商業(yè)改變

經(jīng)A/B測(cè)試，泰生活平穩(wěn)上線新首頁后，目前：

·頭部icon誤觸率降低30%，頁面布局更加清晰，用戶可以快速找到所需業(yè)務(wù)；

·直播板塊用戶轉(zhuǎn)化率提升4倍，成功配合集團(tuán)品牌升級(jí)需求；

·整體轉(zhuǎn)化提升1.5%，用戶可無縫切換新版本，使用體驗(yàn)得到提升。

相關(guān)企業(yè)介紹

●火山引擎

火山引擎是字節(jié)跳動(dòng)旗下的企業(yè)級(jí)技術(shù)服務(wù)平臺(tái)，將字節(jié)跳動(dòng)快速發(fā)展過程中積累的增長(zhǎng)方法、技術(shù)工具和能力開放給外部企業(yè)，提供云、AI、大數(shù)據(jù)技術(shù)等系列產(chǎn)品和服務(wù)，幫助企業(yè)在數(shù)字化升級(jí)中實(shí)現(xiàn)持續(xù)增長(zhǎng)。

●泰康集團(tuán)

泰康保險(xiǎn)集團(tuán)是包含保險(xiǎn)、資管等核心產(chǎn)業(yè)的世界500強(qiáng)企業(yè)，是以移動(dòng)互聯(lián)網(wǎng)戰(zhàn)略和數(shù)字化經(jīng)營(yíng)先進(jìn)理念為發(fā)展路線的頭部大型綜合保險(xiǎn)集團(tuán)公司。2019年，集團(tuán)牽頭打造泰康超級(jí)客戶端-泰生活A(yù)PP。泰生活立足于為全業(yè)務(wù)場(chǎng)景客戶提供統(tǒng)一的服務(wù)入口并提供極致體驗(yàn)。通過大數(shù)據(jù)和AI結(jié)合構(gòu)建互聯(lián)網(wǎng)化用戶經(jīng)營(yíng)體系，實(shí)現(xiàn)客戶服務(wù)體系、業(yè)務(wù)聯(lián)動(dòng)體系、智能保險(xiǎn)代理人輔助體系的互聯(lián)網(wǎng)戰(zhàn)略升級(jí)。

來源：數(shù)據(jù)猿