近日，《火山引擎A/B測(cè)試總體經(jīng)濟(jì)影響白皮書》正式發(fā)布。這份白皮書由市場(chǎng)研究公司Forrester調(diào)研撰寫，以火山引擎客戶為研究對(duì)象，揭示了A/B測(cè)試對(duì)于企業(yè)營(yíng)收增長(zhǎng)、運(yùn)營(yíng)成本、生產(chǎn)力優(yōu)化等方面的重要影響。Forrester從中發(fā)現(xiàn)，企業(yè)營(yíng)收增長(zhǎng)與其洞察力高度相關(guān)，領(lǐng)先企業(yè)的營(yíng)收增長(zhǎng)速度可以達(dá)到落后者5倍，而A/B測(cè)試正是企業(yè)提升洞察力最有效的工具之一。

那什么是A/B測(cè)試呢？簡(jiǎn)而言之，A/B 測(cè)試是一種在線控制實(shí)驗(yàn)方法，在兩個(gè)或多個(gè)選擇中，得出一個(gè)最優(yōu)解。具體來(lái)說(shuō)， 在幾乎相同的條件下，如同一用戶群，分配一部分流量采用原方案A（對(duì)照組），另一部分流量給與新策略B（實(shí)驗(yàn)組），然后用同一指標(biāo)來(lái)衡量，如點(diǎn)擊率，比較是否具有統(tǒng)計(jì)學(xué)的顯著性差異，最后得出維持A還是采納B的結(jié)論。

 
A/B測(cè)試示意，來(lái)源：SA-VIT Fahad Dalwai

A/B測(cè)試在字節(jié)跳動(dòng)這樣的互聯(lián)網(wǎng)公司是一項(xiàng)非常重要的基礎(chǔ)工具，據(jù)說(shuō)連“抖音”這個(gè)名字都是通過(guò)A/B測(cè)試挑選出來(lái)的。截至2022年3月，字節(jié)跳動(dòng)累計(jì)已有 120萬(wàn)+ 的 A/B 實(shí)驗(yàn)，日新增實(shí)驗(yàn) 1800+，同時(shí)運(yùn)行實(shí)驗(yàn) 2萬(wàn)+，服務(wù) 500+ 業(yè)務(wù)。如今，這項(xiàng)工具已于2020年實(shí)現(xiàn)產(chǎn)品化，通過(guò)火山引擎向企業(yè)客戶開(kāi)放。

火山引擎數(shù)據(jù)產(chǎn)品負(fù)責(zé)人郭東東對(duì)媒體表示，隨著火山引擎A/B測(cè)試的客戶越來(lái)越多，使用越來(lái)越深，就會(huì)越有信心覺(jué)得A/B測(cè)試是企業(yè)增長(zhǎng)特別關(guān)鍵的能力和產(chǎn)品。A/B測(cè)試不只是一個(gè)測(cè)試，它的核心價(jià)值是數(shù)據(jù)驅(qū)動(dòng)，作為企業(yè)決策的一環(huán)，更是對(duì)企業(yè)業(yè)務(wù)模式的一種轉(zhuǎn)變。

“我們希望通過(guò)發(fā)布白皮書的方式，讓更多的企業(yè)客戶，尤其是中小客戶了解到 A/B測(cè)試的能力，到底能幫助他們做什么，從而真正把A/B測(cè)試賦能到更多企業(yè)的業(yè)務(wù)增長(zhǎng)過(guò)程中來(lái)，并以此為起點(diǎn)，幫助他們實(shí)現(xiàn)全局的數(shù)據(jù)智能。”郭東東表示。

隨著人口紅利逐漸消退，各行各業(yè)面臨著不同程度的增長(zhǎng)瓶頸，企業(yè)迫切需要由過(guò)去粗放式的運(yùn)營(yíng)模式，轉(zhuǎn)變到以客戶體驗(yàn)至上的精細(xì)化運(yùn)營(yíng)模式。然而，很多號(hào)稱數(shù)字化的公司，其商業(yè)決策方式仍然沒(méi)有發(fā)生根本性轉(zhuǎn)變，其決策仍處于“黑箱模式”，大都憑借公司領(lǐng)導(dǎo)或部門負(fù)責(zé)人的經(jīng)驗(yàn)或個(gè)人能力做出判斷。

據(jù)數(shù)據(jù)猿了解，目前國(guó)內(nèi)互聯(lián)網(wǎng)公司的商業(yè)判斷方法通常有三種：一是經(jīng)驗(yàn)判斷，本質(zhì)就是靠決策者的經(jīng)驗(yàn)；二是非A/B測(cè)試的數(shù)據(jù)分析，可以使用數(shù)據(jù)做決策，但問(wèn)題很難歸因，也不能在上線前得到預(yù)測(cè)；三是可以采用A/B測(cè)試進(jìn)行事先判斷和事后歸因。

“與其說(shuō)‘我有一個(gè)想法’，不如說(shuō)‘我有一個(gè)新的假設(shè)，讓我們測(cè)試一下，看看它是否有效，問(wèn)問(wèn)我們?nèi)绾慰焖俚仳?yàn)證它’，如果它不成立，就進(jìn)入下一個(gè)問(wèn)題。“微軟CEO薩提亞·納德拉（Satya Nadella）曾說(shuō)道。這一段回答簡(jiǎn)練地描述了微軟基于實(shí)驗(yàn) – 分析 - 決策的數(shù)據(jù)驅(qū)動(dòng)文化。

 
通過(guò)A/B測(cè)試標(biāo)題改動(dòng)讓bing的收入增長(zhǎng)了12%，來(lái)源：微軟

今天，不只是微軟，包括 Google、Facebook、亞馬遜、字節(jié)跳動(dòng)在內(nèi)的全球各大公司都將A/B測(cè)試作為企業(yè)內(nèi)部運(yùn)營(yíng)的重要支撐在推進(jìn)。

為什么今天那么多知名公司都在進(jìn)行A/B測(cè)試？一個(gè)重要的背景原因就是時(shí)代發(fā)生了變化，企業(yè)進(jìn)入客戶至上的時(shí)代，在這個(gè)時(shí)代，企業(yè)要轉(zhuǎn)型為“洞察驅(qū)動(dòng)型組織（Insight Driven Organization）”，實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)及科學(xué)決策已成為企業(yè)持續(xù)增長(zhǎng)以及應(yīng)對(duì)不確定性的關(guān)鍵。

作為“客戶時(shí)代”的概念提出者，全球最具影響力的獨(dú)立研究咨詢公司之一的Forrester 認(rèn)為，在這個(gè)時(shí)代，企業(yè)通常面臨著來(lái)自客戶日益增長(zhǎng)的期望與愈發(fā)激烈的市場(chǎng)競(jìng)爭(zhēng)，而優(yōu)化客戶體驗(yàn)（CX）對(duì)于贏得服務(wù)、留住客戶變得至關(guān)重要。這意味著，企業(yè)必須縮小數(shù)據(jù)、分析、洞察力與行動(dòng)之間的差距，基于數(shù)據(jù)和洞察不斷優(yōu)化和拓展與客戶的互動(dòng)，并通過(guò)精細(xì)化運(yùn)營(yíng)，才能破解企業(yè)營(yíng)收持續(xù)增長(zhǎng)的密碼。

Forrester 的分析數(shù)據(jù)表明，94%的全球決策者認(rèn)為，客戶需求及偏好相關(guān)的數(shù)據(jù)洞察對(duì)于提升企業(yè)營(yíng)收極為關(guān)鍵。81%的企業(yè)認(rèn)為通過(guò)數(shù)據(jù)深入了解客戶的需求，基于數(shù)據(jù)不斷改進(jìn)和優(yōu)化解決方案，可以提升競(jìng)爭(zhēng)優(yōu)勢(shì)。

隨著云計(jì)算、大數(shù)據(jù)和人工智能為代表的現(xiàn)代信息技術(shù)迅猛發(fā)展，新興技術(shù)與垂直領(lǐng)域不斷深入融合，推動(dòng)各行各業(yè)在體驗(yàn)、運(yùn)營(yíng)、創(chuàng)新和生態(tài)四個(gè)領(lǐng)域圍繞客戶至上的核心理念不斷加速數(shù)字化轉(zhuǎn)型的進(jìn)程，越來(lái)越接近由數(shù)據(jù)全面驅(qū)動(dòng)企業(yè)的戰(zhàn)略與經(jīng)營(yíng)決策。

Forrester 的研究亦表明，洞察力驅(qū)動(dòng)成熟度（Insights-driven maturity）與企業(yè)營(yíng)收增長(zhǎng)高度相關(guān)，具有較高成熟度的企業(yè)營(yíng)收增長(zhǎng)是落后者的5倍，其利用整個(gè)公司的洞察力來(lái)提高創(chuàng)新能力，增強(qiáng)競(jìng)爭(zhēng)力。全球領(lǐng)先的企業(yè)，通常具備以下三個(gè)方面的關(guān)鍵能力：

●深入的客戶互動(dòng)數(shù)據(jù)洞察：領(lǐng)先企業(yè)更多地依靠高級(jí)分析、客服機(jī)器人和 A/B 測(cè)試來(lái)決定一個(gè)創(chuàng)新應(yīng)該是什么，而非依靠個(gè)人的經(jīng)驗(yàn)猜測(cè)；

●持續(xù)改進(jìn)與創(chuàng)新：借助平臺(tái)化的數(shù)據(jù)洞察工具，企業(yè)可以快速地將洞察轉(zhuǎn)化為不斷提升的客戶價(jià)值與體驗(yàn)；

●集成式的產(chǎn)品發(fā)布管理：產(chǎn)品經(jīng)理可以使用基于規(guī)則的系統(tǒng)來(lái)確定何時(shí)在生產(chǎn)中激活某些功能并選擇向哪些客戶發(fā)布這些功能，且在產(chǎn)品發(fā)布后無(wú)縫地實(shí)現(xiàn)客戶體驗(yàn)升級(jí)。

 
具有較高成熟度的洞察力驅(qū)動(dòng)企業(yè)，營(yíng)收增長(zhǎng)是落后者的5倍，來(lái)源：《火山引擎A/B測(cè)試總體經(jīng)濟(jì)影響白皮書》

據(jù)此次發(fā)布的白皮書指出，以A/B 測(cè)試為核心的在線測(cè)試（online testing）是目前使用最成熟的數(shù)據(jù)智能技術(shù)之一，是優(yōu)化和創(chuàng)新數(shù)字客戶體驗(yàn)的關(guān)鍵。

為了呈現(xiàn)A/B 測(cè)試給企業(yè)帶來(lái)的幫助和實(shí)際價(jià)值，F(xiàn)orrester 還利用總體經(jīng)濟(jì)影響（TEI）模型訪談了使用火山引擎A/B 測(cè)試產(chǎn)品的客戶。

 
來(lái)源：Forrester

結(jié)果表明，受訪企業(yè)實(shí)現(xiàn)了廣告業(yè)務(wù)及會(huì)員運(yùn)營(yíng)營(yíng)收的增長(zhǎng)， 改進(jìn)了產(chǎn)品優(yōu)化迭代的效率， 并顯著降低了產(chǎn)品發(fā)布帶來(lái)的客戶體驗(yàn)下降、客戶流失方面的風(fēng)險(xiǎn)。Forrester 還從三個(gè)組織中收集數(shù)據(jù)并創(chuàng)建了虛擬的復(fù)合組織，經(jīng)過(guò)整合財(cái)務(wù)分析，該組織三年共實(shí)現(xiàn)人民幣520萬(wàn)元的收益，扣除投入成本匯總后，最終獲得人民幣290 萬(wàn)元的凈現(xiàn)值（NPV）以及 126%的 ROI。

 
來(lái)源：Forrester

據(jù)悉，整體的訪談前后歷經(jīng)四個(gè)月的時(shí)間，受訪企業(yè)不但通過(guò)A/B 測(cè)試獲得可觀的量化收益，他們也認(rèn)知到A/B 測(cè)試不只是產(chǎn)品UI的事，而是可以應(yīng)用在研發(fā)運(yùn)營(yíng)、客戶服務(wù)以及營(yíng)銷等領(lǐng)域。Forrester高級(jí)咨詢顧問(wèn)谷豐指出，無(wú)論是從使用的深度方面還是廣度方面，A/B 測(cè)試都是企業(yè)支撐數(shù)據(jù)驅(qū)動(dòng)增長(zhǎng)、數(shù)據(jù)驅(qū)動(dòng)運(yùn)營(yíng)模式轉(zhuǎn)型很有價(jià)值的工具。

在字節(jié)跳動(dòng)內(nèi)部，有這么一句話：“A/B測(cè)試是一種信仰，風(fēng)神（數(shù)據(jù)洞察平臺(tái)）是一種習(xí)慣。” 2014年，當(dāng)時(shí)還是初創(chuàng)公司的字節(jié)跳動(dòng)上線了第一款數(shù)據(jù)產(chǎn)品Libra，這是字節(jié)跳動(dòng)自研的A/B測(cè)試產(chǎn)品，意味著A/B測(cè)試在字節(jié)內(nèi)部開(kāi)始大規(guī)模應(yīng)用。自此，數(shù)據(jù)驅(qū)動(dòng)的理念完全地根植于字節(jié)跳動(dòng)的基因中。

目前，基于字節(jié)跳動(dòng)內(nèi)部先進(jìn)的底層算法、科學(xué)分流能力、智能統(tǒng)計(jì)引擎，火山引擎A/B測(cè)試已覆蓋推薦、廣告、搜索、UI、產(chǎn)品功能等業(yè)務(wù)場(chǎng)景，提供從實(shí)驗(yàn)設(shè)計(jì)、實(shí)驗(yàn)創(chuàng)建、指標(biāo)計(jì)算和統(tǒng)計(jì)分析，到最終評(píng)估上線等貫穿整個(gè)實(shí)驗(yàn)生命周期的服務(wù)。

 
火山引擎A/B 測(cè)試實(shí)驗(yàn)列表：可以看到各測(cè)試的運(yùn)行狀態(tài)，來(lái)源：火山引擎

郭東東指出，A/B測(cè)試雖然是重要的生產(chǎn)力工具，但轉(zhuǎn)型為洞察驅(qū)動(dòng)型組織還需要搭配數(shù)據(jù)驅(qū)動(dòng)更多的能力。為此，火山引擎基于字節(jié)跳動(dòng)數(shù)據(jù)驅(qū)動(dòng)的理念，為企業(yè)客戶提供了一套完整的數(shù)據(jù)中臺(tái)，實(shí)現(xiàn)從單品數(shù)智到全局?jǐn)?shù)智。

據(jù)了解，火山引擎的A/B測(cè)試工具與數(shù)據(jù)中臺(tái)產(chǎn)品是深度打通和聯(lián)動(dòng)的。比如 A/B測(cè)試產(chǎn)生的數(shù)據(jù)，可以直接在數(shù)據(jù)中臺(tái)建數(shù)據(jù)倉(cāng)庫(kù)?；蛘甙褦?shù)據(jù)倉(cāng)庫(kù)里建設(shè)好的數(shù)據(jù)與A/B測(cè)試做聯(lián)動(dòng)，然后做指標(biāo)分析。假設(shè)做A/B測(cè)試時(shí)發(fā)現(xiàn)指標(biāo)顆粒度不夠，火山引擎數(shù)據(jù)中臺(tái)是支持下鉆到數(shù)據(jù)倉(cāng)庫(kù)中，進(jìn)一步分析信息粒度的指標(biāo)，或者通過(guò)BI 工具去分析。“這是上下游深度協(xié)同的關(guān)系。”郭東東表示，只有在復(fù)雜場(chǎng)景下協(xié)同起來(lái)，才可以更好地解決業(yè)務(wù)問(wèn)題。

“一站式的服務(wù)還能降低企業(yè)的對(duì)接成本，并通過(guò)數(shù)據(jù)中臺(tái)的能力，提供更為全面的服務(wù)，比如說(shuō)數(shù)據(jù)治理。”

 
火山引擎數(shù)據(jù)產(chǎn)品全景圖，來(lái)源：火山引擎

數(shù)據(jù)猿了解到，與傳統(tǒng)建設(shè)數(shù)據(jù)驅(qū)動(dòng)體系的理念不同，火山引擎數(shù)據(jù)中臺(tái)是面向業(yè)務(wù)價(jià)值構(gòu)建的數(shù)據(jù)驅(qū)動(dòng)能力，從業(yè)務(wù)場(chǎng)景出發(fā)，根據(jù)企業(yè)實(shí)際應(yīng)用來(lái)驅(qū)動(dòng)中臺(tái)能力建設(shè)，從上往下逐步落地?cái)?shù)據(jù)驅(qū)動(dòng)能力，為企業(yè)客戶構(gòu)建敏捷的數(shù)智引擎。

來(lái)源：數(shù)據(jù)猿