才5月下旬，很多公司618就提前鳴鑼開道了， 和幾個大廠的同學(xué)深入聊了以后動，我們總結(jié)出了活動效果評估體系的搭建流程，今天，通過一個真實(shí)案例，來看看吧。
場景還原：
某音樂類APP，對新用戶進(jìn)行一個新注冊即送7天會員權(quán)益的活動，用戶注冊后，自主決定是否點(diǎn)擊領(lǐng)取，為期1個月，問：如何評價該活動。
1 、活動評估常見錯誤
首先牢記，所有以評估/評價/判斷作為動詞的問題，答案只有一種：好or壞。
比如，如何評價該活動，可以回答：
1、這個活動很好，該繼續(xù)做；
2、這個活動不好，不能做
3、這個活動不好不壞，雞肋
4、這個活動沒有任何改變，做了也白做
這才是評估類分析的核心結(jié)論。離開這四句話，其他的都是廢話。比如：
活動期間有4萬新人注冊
活動期間注冊人數(shù)比活動前多1萬
活動期間新用戶點(diǎn)擊率是80%
活動期間新用戶使用權(quán)益率30%
這些統(tǒng)統(tǒng)不是結(jié)論，只是分析過程而已。如果沒有結(jié)論，直接甩這些過程指標(biāo)，很容易遭遇業(yè)務(wù)方反問：所以呢？所以呢？你分析了啥？結(jié)論呢！最后被搞得灰頭土臉。
2 、活動評估關(guān)鍵問題
活動評估，首先要得出好/壞評價。如果評價是好，再看能不能繼續(xù)做，還能做多少次；如果是評價是差，再看差在哪里，是差得不可救藥，還是能拯救一下繼續(xù)用。
數(shù)據(jù)+標(biāo)注=判斷。因此想得出好/壞判斷，需要有2樣?xùn)|西：
明確的考核指標(biāo)。
明確目標(biāo)數(shù)值。
達(dá)標(biāo)了，算好；不達(dá)標(biāo)，不好。就這么簡單（如下圖）。
看似簡單，實(shí)際上運(yùn)營經(jīng)常干的是：
1、稀里糊涂：老板讓做我就做，至于為啥？咱也不知道，咱也不敢問。
2、呆頭呆腦：我就是要做拉新人，拉就完了奧力給！
3、投機(jī)取巧：反正以前干過/別人也在干，干就完了。
4、渾水摸魚：這是改變用戶心智資源，數(shù)據(jù)豈能衡量！
總之，十個運(yùn)營里最多只有倆，能準(zhǔn)確說清楚現(xiàn)狀和目標(biāo)。這時候就需要數(shù)據(jù)分析師自己有獨(dú)立判斷能力。能分析業(yè)務(wù)邏輯、梳理業(yè)務(wù)過程，才能得出客觀結(jié)論。這里我們拿完全稀里糊涂的場景舉例，看如何幫運(yùn)營理清目的。
3、從0建立評估模型的做法
第一步梳理活動流程
運(yùn)營活動會改變用戶的行為，進(jìn)而體現(xiàn)為數(shù)據(jù)指標(biāo)的變化。從0開始建立評估模型，第一步就是了解活動具體流程，了解活動可能導(dǎo)致的用戶行為變化。比如問題里的新用戶送權(quán)益，可以按如下梳理（如下圖）：
了解到行為變化以后，可以進(jìn)一步看這些行為能用什么數(shù)據(jù)記錄，能反應(yīng)為什么指標(biāo)的變化。經(jīng)過梳理，我們就能看清楚：衡量活動結(jié)果的指標(biāo)了。這些工作，應(yīng)該是運(yùn)營在策劃階段的干的事，如果事前沒做好，事后就要補(bǔ)課。
第二步篩選主指標(biāo)。
一個活動可能影響方方面面，比如上邊的問題，有送東西，你說：
1、能增加新用戶注冊——沒毛??；
2、能增加會員購買機(jī)會——似乎有機(jī)會
3、能提升忠誠度減少流失——似乎也有道理
4、能增加DAU！——額，理論上新注冊多了，DAU也增加。
如果不看數(shù)據(jù)，光聽嘴巴講，以上當(dāng)然都有道理。但真要一鍋燉，讓你計算沒有流失的用戶，送會員占比百分之幾，產(chǎn)品本身占比百分之幾，歌曲數(shù)量占比百分之幾，能算清楚就見鬼了。所以，評估指標(biāo)要分主次，才容易說清楚問題。
如果是事前定目標(biāo)，那么活動的主指標(biāo)應(yīng)該與目標(biāo)緊密結(jié)合，優(yōu)選直接受影響的指標(biāo)。比如活動是為了拉新，那主指標(biāo)就是新注冊用戶數(shù)；如果活動是為了提高新用戶留存率，那主要考慮的就是1-7日內(nèi)留存情況。
這里看似簡單，實(shí)則很容易被運(yùn)營渾水摸魚。運(yùn)營經(jīng)常喜歡扯一堆影響指標(biāo)，甚至扯什么我的活動從深層次改變了用戶心智認(rèn)知，從而達(dá)到了數(shù)據(jù)不可衡量的深遠(yuǎn)影響，總之搞一堆指標(biāo)進(jìn)來，哪個好看說哪個，不好看的不說。
做數(shù)據(jù)評估，最忌諱搞幾百個指標(biāo)然后做巨復(fù)雜的評估公式，混淆進(jìn)來的的東西越多，就有越多搞文字游戲的空間，就越容易粉飾太平。越簡單清晰的評估，才越容易看出問題。
第三步設(shè)定判斷標(biāo)準(zhǔn)。
有了清晰的主指標(biāo)，可以找判斷標(biāo)準(zhǔn)。找標(biāo)準(zhǔn)有四個基本思路：
1、從整體結(jié)果出發(fā)，看總量。比如本月需要10萬新用戶，所以必須做到10萬。
2、同無活動對比，看增量。比如無活動一個月5萬，活動必須5+5萬，多的5萬作為標(biāo)準(zhǔn)。
3、同過往活動對比，看效率。比如拉新活動一般100塊一個新人，所以這次不能超過。
4、同無參與的用戶對比，看差異。比如分無參與組/參與組，對比參與組新注冊數(shù)/留存率。
站在公司角度，肯定是第一種方法最實(shí)在。但站在組織活動的角度，都喜歡突出自己的貢獻(xiàn)，因此傾向于用2、3、4種方法。運(yùn)營最喜歡談：自然增長率（沒有活動情況下，自然增長是多少）。并且總是傾向于把自然增長率算得低低的，或者干脆弄成負(fù)數(shù)，這樣才顯得活動牛逼無比。
要注意的是：所謂自然增長率，只在活動不頻繁的時候才能計算。很多業(yè)務(wù)（比如電商、O2O），根本就是活動不斷，大活動套小活動，根本區(qū)分不出來，這時候就不適用。
同理，設(shè)參照組的前提，是參照組根本沒有活動提醒和活動參與功能，且參照組和活動組用戶質(zhì)量差不多。如果不滿足這個限制條件就很難直接得出活動效益好的結(jié)論。這些方法都是看似科學(xué)，實(shí)則充滿玩貓膩空間。想討論清楚問題，就簡單直接立標(biāo)準(zhǔn)。
第四步找影響結(jié)果的過程。
以上1、2、3步都是為了得出判斷做鋪墊。有了好/壞判斷。就能進(jìn)一步分析為啥好，為啥壞。這時候就需要細(xì)化梳理業(yè)務(wù)流程，找到能影響結(jié)果的關(guān)鍵點(diǎn)。比如拉新活動，廣告投放渠道、廣告文案、注冊流程、進(jìn)去以后提示權(quán)益方式、領(lǐng)取會員權(quán)益流程，都會有影響（如下圖）。
在分析這些指標(biāo)的時候，要注意先后順序。比如有關(guān)新用戶注冊問題。要先看各個用戶來源渠道的投放力度，活動是否及時上架，何時與投放結(jié)合。之后才是深入分析文案、活動禮品、領(lǐng)取后行為等等。
4、小
這個題目如果拿來面試，你能一眼看出來菜鳥、新手、老手的區(qū)別：
菜鳥：我認(rèn)為應(yīng)該從用戶增長、產(chǎn)品體驗(yàn)、品牌影響、商業(yè)收入、四大方面考慮，blablabla。然后你就抓住品牌影響問他，到底怎么衡量，基本就能把他問死。沒入門的菜鳥與新手之間最大差距，是他們根本不知道數(shù)據(jù)還需要做采集。菜鳥們最喜歡憑空講一些很難收集，但聽起來牛逼的指標(biāo)。
新手：我認(rèn)為應(yīng)該考慮新人注冊數(shù)、新人次日、3日、7日留存、新人會員領(lǐng)取率、新人留存市場、新人點(diǎn)擊次數(shù)、新人購買會員數(shù)、新人使用權(quán)益頻次……（此處省略100多個各色指標(biāo)）。建立神經(jīng)網(wǎng)絡(luò)模型，綜合評估。
是滴，新人第一喜歡堆砌指標(biāo)，似乎指標(biāo)越多越牛逼。第二喜歡扯模型，不管模型能不能用，自己用沒用過，扯了就牛逼。唯獨(dú)會忽視標(biāo)準(zhǔn)問題。想懟死新人，只要問憑什么增長5萬就是好，4萬9千1百2十7就不好！你建神經(jīng)網(wǎng)絡(luò)評價模型，好/壞活動的標(biāo)注誰來打，是對整個活動打標(biāo)還是對某些指標(biāo)打標(biāo)，不同類型活動憑什么擺在一起打標(biāo)基本就把新人問蒙了。
說到底，活動評估這件事，又是一件思路清晰比技術(shù)高深重要，守住節(jié)操比思路清晰重要的事。只要對運(yùn)營常見活動：拉新、促活、留存、轉(zhuǎn)化、裂變等等玩法有基礎(chǔ)了解。對常規(guī)運(yùn)營數(shù)據(jù)有認(rèn)識，對過往活動有了解跌，基本上都能答出正確答案。怕就怕對業(yè)務(wù)流程了解太少，連人家在干啥都不懂。
看完覺得寫得好的，不防打賞一元，以支持藍(lán)海情報網(wǎng)揭秘更多好的項(xiàng)目。
感謝您的支持，我會繼續(xù)努力的!
打開支付寶掃一掃，即可進(jìn)行掃碼打賞哦
手機(jī)直接保存圖片,掃一掃識別二維碼,即可進(jìn)行掃碼打賞哦
