當(dāng)面對眾多選擇時，如何選才能最大化收益（或者說最小化我們的開銷）？比如，怎么選擇最優(yōu)的上班的路線才能使途中花費的時間最少？假設(shè)每天上下班路線是確定的，我們便可以在賬本中記下往返路線的長度。

A/B測試便是基于數(shù)據(jù)來進(jìn)行優(yōu)選的常用方法，在記錄多次上班路線長度后，我們便會從數(shù)據(jù)中發(fā)現(xiàn)到一些模式（例如路線A比路線B花的時間更少），然后最終一致選擇某條路線。

當(dāng)A/B測試遇到非簡單情況時（如分組不夠隨機時，或用戶量不夠大到可以忽略組間差異，或不希望大規(guī)模A/B測試長期影響一部分用戶的收益），該怎樣通過掌握理論知識來更好的指導(dǎo)實踐呢？本文嘗試通過由淺入深的介紹，希望能夠幫助大家對A/B測試有更加深入的理解。

為什么需要A/B測試？

任何問題，只要它的每個選項能夠被多次進(jìn)行測試，并且每個選項在被測試時都能返回固定的結(jié)果，那么它就能使用AB測試技術(shù)來進(jìn)行優(yōu)化。在上述例子中，每天的上下班路線是確定的，所以我們能夠在賬本中記下往返路線的長度。久而久之，上下班的人會從數(shù)據(jù)中發(fā)現(xiàn)到一些模式（例如路線A比路線B花的時間更少），然后最終一致選擇某條路線。

那么什么樣的路線對于用戶來說才是一個好的方案呢？是考慮路線A還是B？什么時候用戶才有充分的數(shù)據(jù)去確定哪條線路是最好的？測試線路好與不好的最優(yōu)策略又是什么？圖5.1用形式化概括定義了問題。

圖1 形式化定義的問題

在這個場景中，參與的用戶正面臨一個選擇，根據(jù)他的決策會生成一個結(jié)果,而這個結(jié)果會對應(yīng)一份給參與者的反饋。假設(shè)用戶持續(xù)地暴露于這個決策，他應(yīng)該怎么制定獲得最大收益（或等效地說，最小成本）的策略？

圖1中假定了用戶多次處于需要進(jìn)行選擇的場景中，每一次進(jìn)行決策都會達(dá)成一項結(jié)果，而這個結(jié)果會關(guān)聯(lián)相應(yīng)的反饋。在上下班這個例子中，假定他每天都需要上下班，而且他每次上下班都必須進(jìn)行線路的選擇，產(chǎn)出的結(jié)果是這次上下班中所有因素的結(jié)合體，反饋就是從這些因素中構(gòu)建出來的。

這是個淺顯的例子，在互聯(lián)網(wǎng)產(chǎn)品研發(fā)時，有大量類似的場景需要做出各種正確的選擇，例如：

•著陸頁優(yōu)化（Landing-page optimization）——在用戶點擊去往的頁面（著陸頁），如何獲得最大的轉(zhuǎn)化率（常用計算方法為有購買行為或深度網(wǎng)頁交互行為的用戶數(shù)占網(wǎng)站訪問總用戶數(shù)的比率）。決策要考慮到著陸頁的形式和內(nèi)容（要從可能已有的3或4個備選方案中做出選擇），希望能夠從候選集合中選出最好的著陸頁，以能夠吸引來訪的用戶，并讓深度交互或者購買行為的概率最大化。

•廣告創(chuàng)意優(yōu)化（Ad creative optimization）——在線廣告提出了許多適合機器學(xué)習(xí)技術(shù)應(yīng)用的挑戰(zhàn)，其中之一就是如何選擇廣告的形式和內(nèi)容。當(dāng)我們決定將要進(jìn)行廣告展示，以及確定了廣告的價格后，在這個廣告位上選擇放置什么廣告呢？我們需要對大量的決策進(jìn)行測試，選出正確的廣告創(chuàng)意組合。

什么是A/B測試

經(jīng)常遇到的問題是，我們應(yīng)該怎么評估各不相同的決策，以及應(yīng)該采用哪些策略來測試我們的產(chǎn)出？ A/B測試（A/B testing）就是其中之一的方法。A/B測試近年來很受歡迎，但大部分產(chǎn)品經(jīng)理也許會簡單地認(rèn)為它只不過是一種包含兩個組的實驗，其實背后有更為復(fù)雜的數(shù)學(xué)統(tǒng)計理論知識。

接下來讓我們深入一點了解具體細(xì)節(jié)：當(dāng)進(jìn)行A/B測試時，通常會采用兩個（或多個）組：A組和B組。第一個組是對照組，第二個組會改變其中一些因素。就以著陸頁優(yōu)化為例，A組會展示現(xiàn)有的著陸頁，B組會展示一個內(nèi)容或者內(nèi)容作了某些修改的新著陸頁。A/B測試的目的就是嘗試了解新的布局是否在統(tǒng)計上顯著地改變了轉(zhuǎn)化率。

特別值得注意的是，將用戶分配到對應(yīng)的組需要經(jīng)過深思熟慮。對于A/B測試，我們可以高效地進(jìn)行隨機分組。當(dāng)用戶數(shù)量較大時，各組間用戶行為可以假設(shè)是相同的（即組間沒有偏差）。但是，這里有三個非常重要的關(guān)鍵點，是大家有必要進(jìn)一步理解其數(shù)學(xué)理論原理的原因：

問題一：怎樣驗證兩個組的用戶的行為是無偏差、完全相同的

問題二：當(dāng)兩個組的用戶行為不完全相同時（例如分組不夠隨機或者組內(nèi)用戶數(shù)量較小時），該如何設(shè)計AB測試以實現(xiàn)期望的驗證結(jié)果

問題三：當(dāng)用戶基礎(chǔ)行為受其他因素影響發(fā)生整體變化了呢？例如季節(jié)、時間波動、熱度等因素影響下，怎樣更好的剔除干擾來評估結(jié)果

AB測試的統(tǒng)計理論

假設(shè)我們已經(jīng)構(gòu)建了兩組數(shù)目較大的用戶組，這些用戶組的區(qū)別僅在于他們到達(dá)的著陸頁。我們現(xiàn)在希望能測試兩組間的轉(zhuǎn)化率在統(tǒng)計上是否存在明顯差異。由于樣本量大，我們可以采用雙樣本單尾z-檢驗（two-sample, one-tailed z-test）。另外，對于較小的樣本集合，我們可以依賴于t-檢驗。

z檢驗（z-test）是在數(shù)據(jù)是正態(tài)分布和隨機抽樣的假設(shè)下運行的，目的是驗證測試集（B組）是否與該對照集（A組）有顯著不同，但是如何執(zhí)行這個測試呢？

假設(shè)有來自A組和B組中的每一組的5,000個樣本。我們需要一個數(shù)學(xué)公式來說明我們的零假設(shè)（null hypothesis）——兩組群體的轉(zhuǎn)化率沒有顯著的正差異，和備擇假設(shè)（或稱對立假設(shè)，alternative hypothesis）——不同人群間的轉(zhuǎn)化率確實存在著正差異。

我們可將采樣轉(zhuǎn)化率視為一個正態(tài)分布的隨機變量，也就是說，采樣的轉(zhuǎn)化率是在正態(tài)分布下對轉(zhuǎn)化率的一個觀測。要了解這一點，請考慮從同一組中提取多個樣本進(jìn)行實驗將導(dǎo)致略有不同的轉(zhuǎn)化率。每當(dāng)對某組進(jìn)行抽樣時，可獲得群體轉(zhuǎn)化率的估計，對于A組和B組都是如此。為此我們提出一個新的正態(tài)隨機變量，它是A和B組的隨機變量的組合，是差值的分布。讓我們用X來表示這個新的隨機變量，定義為

其中，Xe表示實驗組的轉(zhuǎn)化率的隨機變量，Xn表示對照組的轉(zhuǎn)化率的隨機變量?，F(xiàn)在我們可以寫出零假設(shè)和備擇假設(shè)。零假設(shè)可以表示為：

這表示實驗組和對照組是相同的。兩個隨機變量Xe和Xn分布在相同的群體平均值周圍，所以我們的新隨機變量X應(yīng)該分布在0左右。我們的備擇假設(shè)可以表示如下：

實驗組的隨機變量的期望值大于對照組的期望值；該群體的平均值較高。

我們可以在零假設(shè)的前提下，對X的分布執(zhí)行單尾z檢驗，以確定是否有證據(jù)支持備擇假設(shè)。為了達(dá)到這個目的，我們對X進(jìn)行采樣，計算標(biāo)準(zhǔn)分，并測試已知的顯著性水平。

X的采樣等效于運行兩個實驗，確定它們各自的轉(zhuǎn)化率，并將對照組和實驗組的轉(zhuǎn)化率相減。按照標(biāo)準(zhǔn)分的定義，可以寫作：

其中，P_experiment是實驗組的轉(zhuǎn)化率，P_control是對照組的轉(zhuǎn)化率，SE是轉(zhuǎn)化率差值的標(biāo)準(zhǔn)差。

為確定標(biāo)準(zhǔn)誤差，注意到轉(zhuǎn)化過程是符合二項分布的，因此訪問該網(wǎng)站可以被看作單次伯努利試驗（single Bernoulli trial），而積極結(jié)果（完成轉(zhuǎn)化）的可能性是未知的。假設(shè)樣本數(shù)量足夠大，我們可以使用廣泛采用的Wald方法（參考Lawrence D. Brown, T. Tony Cai, and Anirban DasGupta, “Confidence Intervals for a Binomial Proportion and Asymptotic Expansions,” The Annals of Statistics 30, no. 1 (2002): 160–201.）將該分布近似為正態(tài)分布。為了捕獲特定轉(zhuǎn)化率的不確定性，我們可以將標(biāo)準(zhǔn)誤差（SE）寫入實驗組和對照組，其中p是轉(zhuǎn)化的可能性，n是樣本數(shù)量，具體如下：

從二項分布（np（1-p））的方差得到分子，而分母表示當(dāng)采用更多的樣本時，轉(zhuǎn)化率的誤差會隨之下降。請注意正面結(jié)果的概率等同于轉(zhuǎn)化率，并且因為兩個變量的標(biāo)準(zhǔn)誤差可以通過相加來合并，得到如下結(jié)果：

通過替換，可獲得如下的z檢驗公式，這是一個符合二項分布的Wald（或正態(tài)）區(qū)間的公式：

z的值越大，反對零假設(shè)的證據(jù)就越多。為了獲得單尾測試的90％置信區(qū)間，我們的z值將需要大于1.28。這實際上這是指在零假設(shè)（A組和B組的人口平均值是相同的）的條件下，等于或大于這個轉(zhuǎn)化率差值的偶然發(fā)生的概率小于10％。 換句話說，在對照組和實驗組的轉(zhuǎn)化率來自具有相同平均值的分布的假設(shè)前提下，如果運行相同的實驗100次，只會有10次具有這樣的極端值。我們可以通過95％的置信區(qū)間，更嚴(yán)格的邊界和更多的證據(jù)來反對零假設(shè)，這時需要將z值增加到1.65。

研究影響z大小的因素會帶來很多有用的幫助。很顯然，如果在一個給定的時間點從一個實驗集和一個對照集中提取兩個轉(zhuǎn)化率，轉(zhuǎn)化率的差值越大將導(dǎo)致z分?jǐn)?shù)越大。因此就有了更多的證據(jù)表明兩個集合分別來自不同的人群，而且這些人群帶有不同的均值。然而樣品的數(shù)量也很重要，如你所見，大量樣本將導(dǎo)致總體較小的標(biāo)準(zhǔn)誤差。這表明運行實驗的時間越長，轉(zhuǎn)化率的估算越準(zhǔn)確。

評估效果的代碼實現(xiàn)

設(shè)想你在負(fù)責(zé)大型零售網(wǎng)站，設(shè)計團(tuán)隊剛剛修改了著陸頁。每周有約20,000用戶，并可以量化用戶的轉(zhuǎn)化率：即購買產(chǎn)品的百分比。設(shè)計團(tuán)隊向你保證新網(wǎng)站將帶來更多的客戶。但你不太確定，希望運行A / B測試來看看效果是否真的會提高。

用戶在第一次訪問網(wǎng)站時被隨機分配到A組或B組，并在實驗期間始終保留在該組中，實驗結(jié)束時評估兩組用戶的平均轉(zhuǎn)化率。統(tǒng)計結(jié)果是，新著陸頁的平均轉(zhuǎn)化率是0.002，而原先的著陸頁的平均轉(zhuǎn)化率是0.001。在著陸頁永久更改為新設(shè)計之前，你需要知道這一增長是否足夠明確。下面這段代碼幫你回答這個問題。

這段代碼獲取實驗中z的值，在上述參數(shù)條件下z值為1.827，超過了92％置信區(qū)間，但不在95％的區(qū)間內(nèi)?？梢哉f，從控制分布中抽取數(shù)據(jù)的概率小于0.08。因此在該區(qū)間內(nèi)數(shù)據(jù)提升是顯著的。我們應(yīng)該否定零假設(shè)，接受備擇假設(shè)，即組之間有差異，第二組具有較高的轉(zhuǎn)化率。如果我們控制了用戶組的所有其他方面，就意味著網(wǎng)站的新設(shè)計產(chǎn)生了積極的效果。

你應(yīng)該能夠從代碼中看到轉(zhuǎn)化率分布的標(biāo)準(zhǔn)誤差對返回的z值有直接影響。 對給定的常數(shù)值p_experiment和p_control，兩個組的SE越高，z的數(shù)值越小，結(jié)果就越不顯著。還注意到由于SE的定義，z的數(shù)值與樣本的數(shù)量具有直接關(guān)系，對于給定的轉(zhuǎn)換概率也同樣如此。圖2展示了這種關(guān)系。

圖2

圖2展示了A / B組的固定轉(zhuǎn)化率，以及A / B組中的用戶數(shù)量和z值之間的關(guān)系。 假設(shè)轉(zhuǎn)化率不會隨著我們收集更多數(shù)據(jù)而改變，我們需要每個組中大約3,000個用戶達(dá)到70％的置信區(qū)間。 要達(dá)到80%的置信區(qū)間時需要每組約5000個用戶，達(dá)到90%時需要 7500個用戶，達(dá)到95%時需要12000個用戶。

圖2中可見對于兩個組的給定轉(zhuǎn)化率，測試組中的用戶越多，備擇假設(shè)的證據(jù)就越充分。直觀上來看這很容易理解：當(dāng)收集的數(shù)據(jù)越多，我們對結(jié)果越自信！我們也可以繪制一張類似的圖，保持用戶數(shù)量不變，改變組之間的差異。但必須注意，對正在關(guān)注的應(yīng)用，不應(yīng)該期望效果的大幅度變化。

A/B測試方法的副作用和處理辦法

對于非常小的效果變化，往往都需要創(chuàng)建相當(dāng)大的對照組和測試組來實現(xiàn)AB測試，這個的代價往往是很大的。設(shè)想下在零售商場中，每天觀察到的用戶數(shù)量，往往需要很久的時間才能得出明顯的結(jié)論。在實際業(yè)務(wù)應(yīng)用中，會遇到的問題是，當(dāng)你運行測試時整體運行的效果是受到很大影響的，因為必須有一半的用戶處于效果不佳的實驗組，或者有一半的用戶處于效果不佳的對照組，而且你必須等待測試完成才能停止這種局面。

這是被稱為探索利用難題（explore-exploit conundrum）的一個經(jīng)典問題。我們需要運行次優(yōu)方法，以探索空間，并找到效果更好的解決方案，而一旦找到了更好的解決方案，我們還需要盡快利用它們來實現(xiàn)效果提升。能否可以更快地利用新的解決方案，而不必等待測試完全完成呢？答案是肯定的。下面簡單介紹下多臂賭博機（multi-armed bandit，MAB）的概念。

多臂賭博機的定義

多臂賭博機（multi-armed bandit，MAB）的名字來源于著名的賭博游戲角子賭博機（one-armed bandit）。對那些從沒去過賭場的人，我們來做下解釋：角子機（又稱老虎機）是一個需要你拉杠桿（或搖臂）的賭博機器，根據(jù)機器展示的數(shù)值，你可能會得到一筆獎勵，也可能（更大幾率）得不到任何東西。和你想的一樣，這些機器的設(shè)置都對莊家有利，所以能獲的獎勵的幾率是非常非常小的。

多臂賭博機（理論上的）擴展了這種形式，想象你面對的是一堆角子賭博機，每個賭博機都被分配按照一個獨立的概率進(jìn)行獎勵。作為一個玩家，你不知道在這些機器后的獲獎概率，你唯一可以找到獲獎概率的方法是進(jìn)行游戲。你的任務(wù)是通過玩這些機器，最大限度地提高所獲的獎勵。那么你應(yīng)該使用什么策略呢？

多臂賭博機策略

為了更嚴(yán)格地定義問題，我們通過數(shù)學(xué)形式化來表達(dá)，假設(shè)現(xiàn)在有k個賭博機，可觀察到的每臺的獲獎概率等于p_k。假設(shè)一次只能拉動一個搖臂，并且賭博機只會按照它關(guān)聯(lián)的概率機型獎勵。這是一個設(shè)置了限定局?jǐn)?shù)的有限次的游戲。在游戲期間任意時間點時，水平線H被定義為允許的剩余游戲的數(shù)量。

對所有機器用戶會嘗試最大化的獲獎回報。在游戲中的任一時間點，我們都可以通過使用稱為遺憾值（regret）來度量用戶的表現(xiàn)。遺憾值的意思是，假設(shè)用戶能在每一步選擇最優(yōu)的賭博機，得到的獎勵和目前獲得的實際獎勵的差值。遺憾值的數(shù)學(xué)定義為：

其中T表示我們到目前為止進(jìn)行過的步數(shù)，r_t表示在第t步獲得的獎勵，u_opt表示每一局從最優(yōu)賭博機返回來的期望獎勵。遺憾值的數(shù)值越低，策略越優(yōu)。但因為這個度量值會受到偶然性的影響（獎勵可能會被從最優(yōu)賭博機選擇中獲得的期望獎勵更高），我們可以選擇使用遺憾值的期望值代替,定義為：

其中μ_t是在第t步從賭博機中獲得的平均獎勵（不可觀測的）。因為第二項是來自所選策略的期望獎勵，所以它將小于或等于來自最優(yōu)策略（每一步都選擇最優(yōu)的賭博機）的期望獎勵。

Epsilon優(yōu)先方法

Epsilon優(yōu)先（Epsilon first）是MAB策略中最簡單的一種方式，它被認(rèn)為和事先執(zhí)行A/B測試方法具有同等意義。給定ε，執(zhí)行探索空間操作的次數(shù)為(1 – ε) × N，其中N是游戲中總共的局?jǐn)?shù)，剩余的次數(shù)都是執(zhí)行后續(xù)探索的局?jǐn)?shù)。

update_best_bandit算法會持續(xù)統(tǒng)計記錄每一個賭博機的獎勵收入和游戲局?jǐn)?shù)。變量best_bandit會在每一局結(jié)束進(jìn)行更新，記錄當(dāng)前具有最高獲獎概率的賭博機的編號，流程如下：

Epsilon貪婪

Epsilon貪婪（epsilon-greedy）策略中，ε表示我們進(jìn)行探索空間的概率，和進(jìn)行利用已知最優(yōu)搖臂的事件互斥

該方法的特點是，不需要等到探索階段完成，才能開始利用有關(guān)賭博機的獎勵表現(xiàn)的知識。但要小心，該算法不會考慮效果數(shù)據(jù)的統(tǒng)計意義。因此可能發(fā)生這樣的情況，個別賭博機的獎勵峰值導(dǎo)致后續(xù)的所有局游戲都錯誤地選擇了這個賭博機。

Epsilon遞減

Epsilon遞減（epsilon-decreasing）策略在實驗開始階段，會有一個很高的ε值，所以探索空間的可能性很高。ε值會隨著水平線H上升而不斷遞減，致使利用似然知識的可能性更高

需要注意這里有幾種方法去來選擇一個最優(yōu)的速率來更新ε值，具體取決于賭博機的數(shù)量，以及他們各自進(jìn)行獎勵的權(quán)重。

貝葉斯賭博機

與A / B測試類似，貝葉斯賭博機（Bayesian bandits）假設(shè)每個賭博機的獲獎概率被建模為獲獎概率的分布。當(dāng)我們開始實驗時，每個賭博機都有一個通用的先驗概率（任意賭博機的獎勵比率初始都是同等的）。在某一個賭博機上進(jìn)行的局?jǐn)?shù)越多，我們對它的獎勵信息就了解越多，所以基于可能的獎勵概率更新其獲獎概率分布。當(dāng)需要選擇玩哪一個賭博機的時候，從獲獎概率分布中采樣，并選擇對應(yīng)樣本中具有最高獎勵比率的賭博機。圖3提供了在給定時間內(nèi)對三個賭博機所含信息的圖形化表示。

圖3

使用貝葉斯賭博機策略對三個賭博機的獲獎概率信息進(jìn)行建模。第1、2和3個賭博機的平均獲獎率分別為0.1、0.3和0.4。 第1個賭博機具有較低的平均值而且方差也比較大，第2個賭博機具有較高的平均值和較小的方差，第3個賭博機具有更高的平均值和更小的方差。

可以看到關(guān)于賭博機的獲獎概率分布的信息被編碼為三個分布。每個分布具有遞增的平均值和遞減的方差。因此，我們不太確定獎勵期望值為0.1的真實獎勵率，最可靠的是獎勵期望值為0.4的賭博機。因為賭博機的選擇是通過對分布進(jìn)行抽樣來進(jìn)行的，所以分布期望值是0.1的賭博機的搖臂也可能被拉動，這個事件會發(fā)生在第2個賭博機和第3個賭博機的采樣樣本獎勵值異常小，而且第1個賭博機的采樣樣本異常大時，相應(yīng)代碼如下：

總結(jié)：AB測試和貝葉斯賭博機的特點

AB測試和貝葉斯賭博機的各自的優(yōu)點和局限是：兩者有各自適用的場景，也驗證的變量數(shù)量也各不相同，具體如下表。

此外，兩個方法的收斂速度也很不一樣。在A/B測試中是指獲得統(tǒng)計意義，在貝葉斯賭博機中是指累積遺憾值不再增加。以本章最開始的網(wǎng)站優(yōu)化為例，首先請注意，任何行為的改變可能是微小的（<0.01），而我們已經(jīng)知道貝葉斯賭博機相比大的改變提升，需要更多的收斂時間。如果加了多種選擇，在同一個實驗中測試多種登陸頁面，將更加會影響收斂速度。假如用戶變化導(dǎo)致的底層分布變的比模型收斂更快呢？比如，季節(jié)趨勢，銷售或者其他因素可能會影響。

顯然，收集的數(shù)據(jù)越多，對效果的潛在變化的把握度就越高。當(dāng)2個組劃分本身就存在統(tǒng)計差異時，通過多臂賭博機而不是A/B測試的方法可以從概率上修正我們選擇的分布。本文還重點介紹了z檢驗（z-test）的數(shù)學(xué)知識，因為其構(gòu)成了AB測試的統(tǒng)計理論基礎(chǔ)。

關(guān)于作者：

陳運文 達(dá)觀數(shù)據(jù) CEO

陳運文，復(fù)旦大學(xué)博士，知名計算機技術(shù)專家，國際計算機學(xué)會（ACM）和電子電器工程師學(xué)會（IEEE）會員，中國計算機學(xué)會（CCF）高級會員，上海浦東“百人計劃”專家和政協(xié)委員，在人工智能領(lǐng)域有30余項國家發(fā)明專利，曾擔(dān)任盛大文學(xué)首席數(shù)據(jù)官、騰訊文學(xué)高級總監(jiān)、百度核心技術(shù)研發(fā)工程師。在機器學(xué)習(xí)、自然語言處理、搜索推薦等領(lǐng)域有豐富的研究和工程經(jīng)驗，成功帶領(lǐng)達(dá)觀數(shù)據(jù)成為中國文本智能處理領(lǐng)域的領(lǐng)先企業(yè)。

注：本文由達(dá)觀數(shù)據(jù)投遞并授權(quán)數(shù)據(jù)猿發(fā)布

來源：達(dá)觀數(shù)據(jù)