轉(zhuǎn)化率優(yōu)化及關(guān)鍵詞優(yōu)化是Google Play ASO策略最主要的兩個(gè)部分。而A/B 測試是提高應(yīng)用商店轉(zhuǎn)化率的一個(gè)絕佳方式。
目前，谷歌和蘋果應(yīng)用商店均提供了對應(yīng)的免費(fèi)的工具給開發(fā)者及相關(guān)營銷人員進(jìn)行A/B測試。本文將主要講解如何用Google Play 商品詳情測試工具 (Google Play Store Listing Experiments) 精心設(shè)計(jì)和策劃A/B 測試，以確保訪問者在您的應(yīng)用商店列表詳情頁上獲得最佳、最令人信服的體驗(yàn)，從而繼續(xù)下載您的應(yīng)用及提高轉(zhuǎn)化率。
為了正確在Google Play上運(yùn)行A/B測試，本文總結(jié)了12種運(yùn)行 A/B 測試的最佳做法及您需要避免的誤區(qū)。
馬上學(xué)起來！
1. 什么是 Google Play 商品詳情實(shí)驗(yàn)？
Google Play 商品詳情實(shí)驗(yàn)測試是 Google 為應(yīng)用開發(fā)者提供的免費(fèi)工具。開發(fā)者可使用該工具測試他們的App在Google Play應(yīng)用商店詳情頁上的素材，找到最受用戶喜歡的圖文組合以提高應(yīng)用下載轉(zhuǎn)化率。
實(shí)驗(yàn)類型
對于每個(gè)應(yīng)用，您在同一時(shí)間可以運(yùn)行一個(gè)默認(rèn)圖片實(shí)驗(yàn)，或者同時(shí)運(yùn)行多達(dá)五個(gè)針對特定本地化語言版本的實(shí)驗(yàn)。
1. 默認(rèn)圖片實(shí)驗(yàn)
通過默認(rèn)圖片實(shí)驗(yàn)，您可以對應(yīng)用的默認(rèn)語言版本的商品詳情圖片進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)對象可以包括應(yīng)用的圖標(biāo)、置頂大圖、屏幕截圖和宣傳視頻的各種變體。
- 如果您應(yīng)用的商品詳情只有一個(gè)語言版本：默認(rèn)圖片實(shí)驗(yàn)會向所有用戶顯示。
- 如果您添加了某個(gè)語言版本的本地化圖片資源：系統(tǒng)會從您應(yīng)用的默認(rèn)圖片實(shí)驗(yàn)中排除通過該語言版本查看應(yīng)用的用戶。例如，如果應(yīng)用的默認(rèn)語言為英語，而其商品詳情中包含一個(gè)法語本地化版的置頂大圖，那么系統(tǒng)會從該實(shí)驗(yàn)中排除通過法語版本查看應(yīng)用的用戶（即使測試的是圖標(biāo)，也不例外）。
實(shí)驗(yàn)創(chuàng)建步驟：
1. 登錄Play 管理中心。
2. 選擇一個(gè)應(yīng)用程序。
3. 在左側(cè)菜單中，點(diǎn)擊商店發(fā)布 > 商品詳情實(shí)驗(yàn)。
4. 單擊新建實(shí)驗(yàn)。
5. 在默認(rèn)圖形下，單擊創(chuàng)建。
6. 設(shè)置您的實(shí)驗(yàn)。
商品詳情實(shí)驗(yàn)的效果可以使用首次安裝者或一日留存用戶指標(biāo)來衡量。這些指標(biāo)每小時(shí)報(bào)告一次，并可選擇在實(shí)驗(yàn)完成時(shí)獲取電子郵件通知。
2. 本地化實(shí)驗(yàn)（文字和圖片）
通過本地化實(shí)驗(yàn)，您可以對應(yīng)用的圖標(biāo)、置頂大圖、屏幕截圖、宣傳視頻和/或應(yīng)用說明進(jìn)行實(shí)驗(yàn)，最多可測試五種語言版本。只有使用您選定的語言查看應(yīng)用商品詳情的用戶才會看到實(shí)驗(yàn)變體。
如果應(yīng)用的商品詳情只提供了一種語言的版本，那么只有以應(yīng)用默認(rèn)語言查看應(yīng)用的用戶才能看到本地化實(shí)驗(yàn)。
實(shí)驗(yàn)創(chuàng)建步驟：
1. 登錄 Play 管理中心。
2. 選擇一個(gè)應(yīng)用程序。
3. 在左側(cè)菜單中，點(diǎn)擊商店發(fā)布 > 商品詳情實(shí)驗(yàn)。
4. 單擊新建實(shí)驗(yàn)。
5. 在本地化下，選擇一種語言。
6. 單擊創(chuàng)建。
7. 設(shè)置您的實(shí)驗(yàn)。
3. 自定義商品詳情頁A/B測試
除了以上2種情況外，Google還允許您針對自定義商品詳情頁運(yùn)行A/B測試。借助自定義商品詳情，您可以量身打造應(yīng)用的商品詳情，從而吸引所選國家/地區(qū)的特定用戶細(xì)分群體。
您可以針對自定義商品詳情頁同時(shí)運(yùn)行最多50個(gè)實(shí)驗(yàn)。但值得注意的是，您可以在自定義商品詳情上運(yùn)行實(shí)驗(yàn)的同時(shí)在全球范圍內(nèi)對主要商品詳情進(jìn)行實(shí)時(shí)實(shí)驗(yàn)。
從下圖中，我們可以看到，在自定義商品詳情頁中，我們可以根據(jù)用戶所在的國家/地區(qū)或用戶的來源渠道對特定用戶設(shè)置商店頁。
12個(gè)Google Play A/B 測試最佳做法1. 提出假設(shè)，確定測試目的
很多營銷人員的測試動機(jī)和測試目的很是簡單粗暴。他們常常以提高轉(zhuǎn)化率為目的進(jìn)行a/b測試, 但這樣的目的通常不是一個(gè)有效的的實(shí)驗(yàn)?zāi)康摹?/p>
一般來說，a/b測試應(yīng)該從一個(gè)假設(shè)開始。例如, 如果我們將應(yīng)用的圖標(biāo)從紅色更改為綠色，我們將提高5%的轉(zhuǎn)化率，因?yàn)橹袞|用戶更喜愛綠色。在這個(gè)例子中，這個(gè)假設(shè)有助于我們將測試范圍縮小到應(yīng)用圖標(biāo)，而不是對整個(gè)應(yīng)用詳情頁進(jìn)行大修。而這個(gè)假設(shè)的測試目的則是對應(yīng)圖標(biāo)顏色的改變這個(gè)因素是否能有效提升轉(zhuǎn)化率。
但現(xiàn)實(shí)中，除了提高轉(zhuǎn)化率這個(gè)終極目標(biāo)外，很多ASO優(yōu)化師根本不去思考他們?yōu)槭裁催M(jìn)行測試。測試的目的是驗(yàn)證想法，一步一步找到提高轉(zhuǎn)化的方法，而不是一步到位地直達(dá)轉(zhuǎn)化率提高。
2. 確定目標(biāo)受眾并正確選擇目標(biāo)受眾
應(yīng)用商店實(shí)驗(yàn)需要流量才能獲得具有統(tǒng)計(jì)意義的結(jié)果。但它背后的不僅僅是數(shù)字 – 他們是真實(shí)接觸您的應(yīng)用的用戶，測試結(jié)果是用戶與應(yīng)用交流的結(jié)果。那么，選擇讓正確的人看到您的測試變得至關(guān)重要。
然而，在現(xiàn)實(shí)中，我們常常讓錯(cuò)誤的人看到我們的測試版本。
例如，很多應(yīng)用或游戲開發(fā)者將EN-US設(shè)置為主要語言 （默認(rèn)語言），然后他們錯(cuò)誤地認(rèn)為在為該語言創(chuàng)建本地化實(shí)驗(yàn)時(shí)，他們的目標(biāo)受眾是美國人。當(dāng)您僅在美國發(fā)布您的應(yīng)用或?yàn)槊绹捎米远x商品詳情頁的時(shí)候，這是真的。然而，如果您在全球推廣您的應(yīng)用的時(shí)候，情況就變得復(fù)雜得多 – 您的目標(biāo)受眾可能不僅有美國人，還有英國人，印度人，菲律賓人等很多其他國家的人。
再比如，如果您為French (France) – fr-FR設(shè)置了一個(gè)本地化實(shí)驗(yàn)，您的用戶可能不僅來自法國，還可能來自許多其他法語被廣泛使用的國家。如果您想針對特定國家和特定語言的受眾，您可以創(chuàng)建自定義商品詳情并為該詳情運(yùn)行 A/B 測試。
在同一種語言中，有時(shí)您的應(yīng)用可能會接觸到來自不同國家、具有不同文化背景的不同受眾。您應(yīng)該在啟動測試之前確定您的目標(biāo)受眾。確保您的測試與您的目標(biāo)受眾很好地匹配。
3. 盡量不要在全球范圍內(nèi)測試
如果您在多個(gè)國家/地區(qū)發(fā)布您的應(yīng)用或游戲，那么您應(yīng)該本地化您的應(yīng)用商店列表并進(jìn)行本地化實(shí)驗(yàn)。
由于語言及文化背景的不同，不同國家/地區(qū)的用戶會對相同的文字/圖片/視頻產(chǎn)生不同的反應(yīng) – 大部分時(shí)候您都很難找到適合世界各地人們都喜愛元素。
4. 測試優(yōu)先級：視覺優(yōu)于文字
應(yīng)用商店詳情頁中不同元素對轉(zhuǎn)化率有不同的影響。由于時(shí)間和資源有限，我們必須優(yōu)先測試最有價(jià)值的元素。
根據(jù)我的個(gè)人經(jīng)驗(yàn)及業(yè)內(nèi)專家意見，大家基本都同意視覺元素（圖標(biāo)、置頂大圖、屏幕截圖和宣傳視頻）對轉(zhuǎn)化率的影響力大于文本（長描述和短描述）。因此，一般情況下，您應(yīng)該優(yōu)先測試視覺元素。
5. 一次只測試一個(gè)元素
A/B測試看起來簡單，但在實(shí)際操作中，卻有很多坑防不勝防。如果操作不當(dāng), 您就很難鎖定影響您的App轉(zhuǎn)化率的因素到底是什么。
例如，如果您想測試哪個(gè)功能最能吸引您的用戶，您可以將不同功能的屏幕截圖順序更改為您的第一個(gè)屏幕截圖。但是，您不應(yīng)同時(shí)更改屏幕截圖的順序和截圖中的設(shè)計(jì)元素。否則，您就無法判斷到底是應(yīng)用功能吸引了用戶還是截圖設(shè)計(jì)吸引了用戶。
6. 確保足夠的樣本量
較低的流量意味著難以較快獲得有統(tǒng)計(jì)意義的數(shù)據(jù)。如果您的App流量不夠大，建議只新增一種變體并設(shè)置50%的百分比，而不要在這種情況下采取給原版本分配90%的流量，給測試變體只分配10%的流量。
有些人聲稱1000或2000個(gè)用戶足以進(jìn)行測試。但以我個(gè)人經(jīng)驗(yàn)而言，當(dāng)每個(gè)變體的安裝至少達(dá)到10000以上且測試持續(xù)一周以上時(shí)，測試結(jié)果開始逐步趨于穩(wěn)定。
因此，為了使測試效率更高及測試結(jié)果更準(zhǔn)確，您應(yīng)該確保您的測試有足夠的受眾。如果您的應(yīng)用每日下載量過低，您可以通過延長測試天數(shù)獲得足夠的統(tǒng)計(jì)數(shù)據(jù)。
為讓開發(fā)者獲得更多的控制權(quán)和更詳實(shí)的統(tǒng)計(jì)數(shù)據(jù)，Google去年在 Play 管理中心內(nèi)對商品詳情實(shí)驗(yàn)添加了三項(xiàng)新功能：
l 實(shí)驗(yàn)參數(shù)配置；
l 可估算所需樣本和完成時(shí)間的計(jì)算器；
l 現(xiàn)在可實(shí)現(xiàn)持續(xù)監(jiān)控實(shí)驗(yàn)的置信區(qū)間。
這對 ASO 優(yōu)化師們來說是一個(gè)振奮人心的消息，并且受到了好評。ASO 從業(yè)者將不再需要第三方工具計(jì)算測試所需的樣本量。
7. 盡可能選擇更高的置信度
以前，Google Play的測試默認(rèn)的置信度是90% —— 這在ASO從業(yè)人員中臭名昭著。因?yàn)?0%的置信度代表著10%的誤差，這個(gè)誤差太大了。而一般A/B測試的置信度應(yīng)該在95%以上。
幸運(yùn)的是，目前Google已經(jīng)允許您在90%至99%的置信度之間進(jìn)行選擇。很顯然，越高的置信度越能降低誤誤報(bào)的幾率。然而，雖然最好有更高的置信水平，但如果您選擇 99%，您的測試將運(yùn)行比平時(shí)更長的時(shí)間。 但無論如何，我希望您至少選擇95%以上的置信度。
在下面的例子中，我們也可以知道，如果你選擇99%的置信度，那么所需的樣本量是90%置信度的2倍以上。僅限于我本人的觀點(diǎn)，在條件許可的情況下，應(yīng)盡量選擇更高的置信度。畢竟如果更低的置信度導(dǎo)致了測試結(jié)果不可信，那么這些測試對我們的業(yè)務(wù)是毫無幫助的。
8. 最小可檢測效果 (MDE)
最小可檢測效果 (MDE) 是另一個(gè)新功能，有助于減少 A/B 測試中的誤報(bào)。Google將 MDE 定義為變體與對照組之間的差異至少要達(dá)到該值，才能確定哪一組效果更好。如果實(shí)際差異低于此值，您的實(shí)驗(yàn)將被視為平局。
例如，如果您將 MDE 設(shè)置為 5%，而您的應(yīng)用原版本轉(zhuǎn)化率為 45%，您的變體將需要至少47.25% 的轉(zhuǎn)化率才能被宣布為獲勝者 (45% x 1.05% = 47.25%)。
您目前可以選擇介于 0.5% 和 6% 之間的 MDE。MDE 越小，檢測變化所需的樣本量就越大。如果您的應(yīng)用是新應(yīng)用并且沒有獲得很多安裝，我們建議您將 MDE 設(shè)置得更高，因?yàn)樗璧臉颖玖繒?。如果您有更成熟的?yīng)用并且有大量下載，我們建議設(shè)置較低的 MDE 以獲得更精確的結(jié)果。
9. 測試至少持續(xù)一周
每次您運(yùn)行實(shí)驗(yàn)時(shí)，Google Play一般會在幾天后告訴您實(shí)驗(yàn)完成。如果您的應(yīng)用或游戲每天都有大量的用戶，您甚至可以在 24 小時(shí)后獲得結(jié)果。
很多開發(fā)者或營銷人員在快速獲得積極的測試結(jié)果后都迫不及待地應(yīng)用，甚至?xí)脒@樣我們可以在一個(gè)月內(nèi)測試很多的想法并得出很多重要的結(jié)論了。
這種心情和想法都是可以理解的。作為開發(fā)者或營銷人員，我們都渴望快速找到有效的方法并應(yīng)用它們，這樣我們就可以立即提高下載轉(zhuǎn)化率并獲得更多的應(yīng)用安裝了。然而，有時(shí)候這種匆匆忙忙的測試會把您帶坑里去。
Google建議至少將測試持續(xù)7天。運(yùn)行一周可以讓您捕捉用戶在工作日和周末的不同行為，確保測試結(jié)果不會受工作日或周末、季節(jié)性活動、假期、市場波動等的影響。實(shí)驗(yàn)的運(yùn)行時(shí)間越久，收集的數(shù)據(jù)越多，變體的效果范圍就越窄、越準(zhǔn)確。
當(dāng)然，如果您的測試連續(xù)三天帶來很明顯的負(fù)面結(jié)果，則可以直接停止測試。畢竟不好的變體會拉低總體的轉(zhuǎn)化率，特別是在App流量較大的情況下，損失會更大。
10. 不要將Google Play的獲勝測試應(yīng)用在Apple App Store
為提高效率，減少測試次數(shù)及時(shí)間，有部分營銷人員將Google Play的測試結(jié)果應(yīng)用在App Store中。這是一個(gè)風(fēng)險(xiǎn)較大的行為。
我們必須承認(rèn)，iOS和Android的用戶不同，對應(yīng)用的期望和態(tài)度不同，這使得他們的下載意圖和習(xí)慣有所不同。此外，Google Play和App Store展示應(yīng)用的方式大為不同，在Google Play上看起來很突出的元素，在App Store上可能就很難被注意到。
因此，您不應(yīng)在 App Store上應(yīng)用 Google Play中獲勝的測試結(jié)果。
11. 在測試取得正向結(jié)果后繼續(xù)觀察應(yīng)用下載受到的實(shí)際影響
即使A/B測試的實(shí)驗(yàn)結(jié)果表明測試變體的表現(xiàn)更好，它的實(shí)際表現(xiàn)仍有可能不同，尤其是測試結(jié)果存在紅綠區(qū)間的情況下。
因此，在得出正向的測試結(jié)果并應(yīng)用后，請密切關(guān)注您的應(yīng)用安裝受到的實(shí)際影響。真正的影響可能與您的預(yù)期有很大不同。
我們需要的注意的是，很多人可能會觀察到應(yīng)用正向的測試結(jié)果后一周內(nèi)，應(yīng)用下載也確實(shí)有增長，因此認(rèn)為測試結(jié)果有效。實(shí)際上，應(yīng)用的下載受多方面的影響，例如買量和自然量之間會互相影響。因此，除了觀察安裝外，我建議再找一些流量比較穩(wěn)定的渠道觀察實(shí)際下載轉(zhuǎn)化率的變化。
12. 按需測試置頂大圖
自2018年Google Play應(yīng)用商店改版以來，置頂大圖不再出現(xiàn)在應(yīng)用詳情頁頂部。當(dāng)然，如果您的應(yīng)用詳情頁有宣傳視頻，則您的置頂大圖將被用作該視頻的封面。這種情況下，用戶仍可在應(yīng)用商店詳情頁看到置頂大圖。
那么，對于在Play商店中未包含視頻的應(yīng)用，我們是否仍需對置頂大圖進(jìn)行A/B測試？
許多ASO優(yōu)化師認(rèn)為我們?nèi)杂欣碛蛇@樣做。因?yàn)橹庙敶髨D也可以展示在Play商店的廣告版位及推薦應(yīng)用版位中。
但是，在我看在，我們可以對置頂大圖進(jìn)行A/B測試，但如果我們用Google Play商品詳情實(shí)驗(yàn)對沒有視頻宣傳的應(yīng)用進(jìn)行置頂大圖A/B測試則意義不大。因?yàn)樵谶@種情況下，任何進(jìn)來的用戶都不能在商店詳情頁看見置頂大圖。我們又如何能夠測試用戶根本看不見的東西呢？
總結(jié)：您可以信任Google Play A/B測試的結(jié)果嗎？
總體而言,Google Play 商品詳情頁實(shí)驗(yàn)仍然是ASO優(yōu)化師們最常用的A/B測試渠道；針對實(shí)驗(yàn)結(jié)果，我們可以部分地相信。
如果您已經(jīng)在Google Play中進(jìn)行一些A/A、B/A、A/B//B類型的測試，可能您已經(jīng)發(fā)現(xiàn)，有時(shí)完全相同的實(shí)驗(yàn)有不同的結(jié)果。在下面的例子中，我們就可以看到，針對完全相同的應(yīng)用圖標(biāo)，各個(gè)測試結(jié)果之間的差別是比較大的；隨著時(shí)間的拉長，這種差別被進(jìn)一步放大。
導(dǎo)致這種情況的因素主要有4個(gè)：
- 樣本量太小。如上圖所示，每個(gè)測試中樣本的用戶量均低于1000，不利于得出有效結(jié)論。
- 用戶下載行為在一周中的不同日子可能會有很大差異。如，在周末，人們可能更愿意下載一個(gè)新應(yīng)用，而不關(guān)心它的圖標(biāo)或屏幕截圖。一些開發(fā)人員運(yùn)行測試的時(shí)間少于 7 天，因此他們更有可能得到錯(cuò)誤的結(jié)果。
- Google Play商品詳情實(shí)驗(yàn)設(shè)置的置信度較低（90%），則測試結(jié)果的可信度為90%，這意味著本身就有10%的可能測試結(jié)果是不可信的。
- 由于截至目前我們?nèi)詿o法確認(rèn)Google Play到底是如何分配樣本的，以及用戶到達(dá)商店詳情頁后到底是如何進(jìn)行互動的，那么我們對測試結(jié)果的疑慮則會進(jìn)一步加深。
那么，如何提高 Google Play 實(shí)驗(yàn)的可信度呢？—— 嚴(yán)格遵循本文中提到的一些Google Play A/B測試中的最佳實(shí)踐能有效地提高您的實(shí)驗(yàn)結(jié)果的可信度。
此外，必須承認(rèn)的是，在絕大多數(shù)開發(fā)團(tuán)隊(duì)中，A/B測試的策略都是碎片化、低效、和短期的。我希望各位開發(fā)者及營銷人員能有計(jì)劃、更多次地在Google Play進(jìn)行A/B測試?yán)鄯e經(jīng)驗(yàn)，分享經(jīng)驗(yàn)，幫助應(yīng)用更高效地獲客。
看完覺得寫得好的，不防打賞一元，以支持藍(lán)海情報(bào)網(wǎng)揭秘更多好的項(xiàng)目。
感謝您的支持，我會繼續(xù)努力的!
打開支付寶掃一掃，即可進(jìn)行掃碼打賞哦
手機(jī)直接保存圖片,掃一掃識別二維碼,即可進(jìn)行掃碼打賞哦
