來(lái)源|小飛象&木木自由
什么是異常分析?異常分析(Anomaly Analysis)是指對(duì)不正常的數(shù)值(指標(biāo))進(jìn)行分析,嘗試找出原因,并給出解決方案。
異常分析,一方面是數(shù)據(jù)分析師、數(shù)據(jù)運(yùn)營(yíng)、數(shù)據(jù)產(chǎn)品、數(shù)據(jù)開(kāi)發(fā)工程師、數(shù)倉(cāng)、數(shù)據(jù)科學(xué)家、數(shù)據(jù)總監(jiān)等數(shù)據(jù)人的一項(xiàng)基本日常工作;另一方面異常分析涉及問(wèn)題分析、結(jié)構(gòu)分析、對(duì)比分析、假設(shè)分析等數(shù)據(jù)分析基本技能,這些都是數(shù)據(jù)分析能力的基本要求。比如指標(biāo)的突然上升或者突然下降,也或者是指標(biāo)的持續(xù)上升或者持續(xù)下降,只有找到背后真實(shí)的原因,才能更好的進(jìn)行后續(xù)動(dòng)作,或者策略迭代,否則就是盲打,原地打轉(zhuǎn)。
異常分析的具體場(chǎng)景,比如:
搜索領(lǐng)域:假設(shè)百度的流量突然降低了,是什么原因?
短視頻領(lǐng)域:假設(shè)抖音的人均活躍時(shí)長(zhǎng)連續(xù)7天下降了,該如何分析?
電商領(lǐng)域:假設(shè)京東的9月GMV比8月GMV下降了30%,該怎么分析?
那么,今天將系統(tǒng)的梳理總結(jié)一下這類問(wèn)題的分析框架以及需要考慮的問(wèn)題,今后在遇到此類問(wèn)題時(shí),希望能有一個(gè)明確的著力點(diǎn)以及分析思維。
01
一般來(lái)講,產(chǎn)品的某些數(shù)據(jù)指標(biāo)都會(huì)具有固定的波動(dòng)周期,而且每個(gè)周期內(nèi)數(shù)據(jù)的變化應(yīng)該趨于穩(wěn)定,但在數(shù)據(jù)監(jiān)控體系里的日?qǐng)?bào)、周報(bào)、月報(bào)中某數(shù)據(jù)指標(biāo)突然不再符合預(yù)期的穩(wěn)定變化,這就是我們所說(shuō)的數(shù)據(jù)出現(xiàn)異常波動(dòng)。在這種情況下,我們就需要去深挖數(shù)據(jù)異常產(chǎn)生的原因。
判斷異常的關(guān)鍵看和誰(shuí)進(jìn)行比較。所以異常分析的要素主要有兩個(gè):被比較的數(shù)值,比較的數(shù)值。這里被比較的數(shù)值,常常是實(shí)際數(shù)值,業(yè)內(nèi)數(shù)值、環(huán)比指標(biāo)、同比指標(biāo)、期望數(shù)值、經(jīng)驗(yàn)指標(biāo)等等。有時(shí)候可能是兩個(gè)正確(錯(cuò)誤)的指標(biāo)進(jìn)行比較,尋找差異。
而做數(shù)據(jù)異常分析核心就是結(jié)合以往經(jīng)驗(yàn)及各種信息,找出最有可能的原因假設(shè),通過(guò)將數(shù)據(jù)指標(biāo)的進(jìn)行拆分,再多維度分析來(lái)驗(yàn)證假設(shè),定位問(wèn)題所在。其過(guò)程中可能會(huì)在原假設(shè)基礎(chǔ)上建立新的假設(shè)或者是調(diào)整原來(lái)假設(shè),直到定位原因。
其實(shí),通過(guò)我們每一次的異常分析來(lái)定位造成數(shù)據(jù)波動(dòng)的問(wèn)題及原因,建立起日常運(yùn)營(yíng)工作和數(shù)據(jù)異常波動(dòng)之間的關(guān)聯(lián)性,進(jìn)而就可以從中找到促進(jìn)數(shù)據(jù)增長(zhǎng)的新的思路和方法,改變數(shù)據(jù)結(jié)果。
02
現(xiàn)在,我們先來(lái)明確一下數(shù)據(jù)指標(biāo)出現(xiàn)異常:上升或下跌,通常有以下情況:
?一次性波動(dòng):只在某個(gè)時(shí)間節(jié)點(diǎn)發(fā)生波動(dòng)。一次性上升/下跌背后原因的一般都是短期/突發(fā)事件,比如系統(tǒng)更新導(dǎo)致數(shù)據(jù)統(tǒng)計(jì)錯(cuò)誤,突發(fā)的渠道投放凍結(jié)等。
?周期性波動(dòng):會(huì)周期性發(fā)生上升/下跌,比如雙十一、周末、春節(jié)等季節(jié)性因素。一般業(yè)務(wù)開(kāi)展都有周期性,比如考勤工具類APP,就是以周為單位循環(huán)。工作日和周末就是有明顯差異波動(dòng)。
?持續(xù)性波動(dòng):從某時(shí)間開(kāi)始,一直出現(xiàn)上升/下降趨勢(shì)。而持續(xù)性上升/下跌背后原因往往都是深層次的,比如用戶需求轉(zhuǎn)移,渠道投放長(zhǎng)期暫停,大環(huán)境等因素,導(dǎo)致出現(xiàn)持續(xù)性的。
以上,這三種情況意味著問(wèn)題本身不同的嚴(yán)重程度。如果是數(shù)據(jù)指標(biāo)下跌的話,周期性下跌一般都不需要做特殊處理;一次性下跌往往來(lái)的比較突然,要關(guān)注事件持續(xù)性;持續(xù)性下跌的,特別是不見(jiàn)好轉(zhuǎn),持續(xù)的時(shí)間越長(zhǎng)問(wèn)題越嚴(yán)重。需要注意是不能單純的看日周月報(bào)表中趨勢(shì)圖的走勢(shì),要結(jié)合波動(dòng)的幅度來(lái)看,幅度越大,說(shuō)明出現(xiàn)的異常問(wèn)題越值得注意。
03
那么接下來(lái),捋清楚思路,我們以某APP的日活有所下降,該如何著手分析呢?
第一步:確認(rèn)數(shù)據(jù)以及統(tǒng)計(jì)來(lái)源的準(zhǔn)確性 。在這里強(qiáng)調(diào)一下, 數(shù)據(jù)真實(shí)性是根基。
實(shí)際上因?yàn)閿?shù)據(jù)源出問(wèn)題,導(dǎo)致的指標(biāo)異常非常非常多,所以在開(kāi)始著手分析前,必須首先確認(rèn)數(shù)據(jù)的真實(shí)性。經(jīng)常會(huì)遇到服務(wù)器異常、數(shù)據(jù)后臺(tái)統(tǒng)計(jì)出現(xiàn)錯(cuò)誤、在數(shù)據(jù)報(bào)表上出現(xiàn)異常值。所以,遇到問(wèn)題第一順位先確認(rèn)數(shù)據(jù)沒(méi)有錯(cuò),找數(shù)據(jù)統(tǒng)計(jì)相關(guān)的產(chǎn)品和開(kāi)發(fā)確認(rèn)下數(shù)據(jù)的真實(shí)性。
第二步:了解清楚數(shù)據(jù)指標(biāo)(app日活)具體業(yè)務(wù)情況和異常情況。明確以下問(wèn)題:
①明確日活究竟下跌了多少?持續(xù)的時(shí)間是多久?
②相比昨天、上周都分別跌了多少?(同比、環(huán)比)
③確認(rèn)指標(biāo)波動(dòng)幅度是不是在合理的范圍?
④引起日活下跌的因素有哪些?這些因素分別對(duì)日活的影響程度有多大?
⑤與這些因素相關(guān)的運(yùn)營(yíng)以及產(chǎn)品部門對(duì)日活的影響程度有多大?
⑥這些部門是不是會(huì)因?yàn)楫a(chǎn)品迭代或者運(yùn)營(yíng)策略得到改變影響日活?
⑦確認(rèn)日活下跌對(duì)整體產(chǎn)品業(yè)務(wù)線的KPI影響程度?
⑧了解日活下跌對(duì)產(chǎn)品業(yè)務(wù)線有哪些影響?
⑨以前日活下跌后,都采取過(guò)哪些措施?
清楚了數(shù)據(jù)指標(biāo)(APP日活)的具體情況,有了輕重緩急的判斷,下一步就可以進(jìn)行指標(biāo)的拆解,再縮小懷疑范圍,建立分析假設(shè)。而建立假設(shè),有助于去偽存真的進(jìn)行驗(yàn)證,進(jìn)一步逼近真實(shí)原因。
第三步:將數(shù)據(jù)指標(biāo)進(jìn)行拆解。如:日活=新增用戶+老用戶留存+流失用戶回流,二級(jí)指標(biāo)拆解如下
①可拆解新增用戶來(lái)源渠道:如應(yīng)用市場(chǎng),百度搜索等
②可拆解老用戶留存渠道:華為、vivo應(yīng)用商店等
③可拆解新老用戶登錄平臺(tái):安卓、iOS等
④可拆解新老用戶用戶的地區(qū):天津、北京等
⑤可拆解新老用戶使用版本:新老版本
⑥可拆解新老用戶活躍時(shí)間:節(jié)假日、周期性等
⑦可拆解流失用戶:自然回流, 回訪干預(yù)回流等
可分別計(jì)算每個(gè)維度下不同的活躍用戶數(shù)。通過(guò)這種方法定位到導(dǎo)致哪個(gè)區(qū)域或者渠道的日活下降的用戶群體是誰(shuí),以及定位原因有了大致范圍。比如定位是新用戶問(wèn)題,我們需要再把新用戶日活按渠道進(jìn)行拆分:新用戶=渠道1+渠道2+渠道3+其他渠道;通過(guò)渠道拆分,我們會(huì)發(fā)現(xiàn)是具體哪個(gè)渠道效果發(fā)生的問(wèn)題。那么,繼續(xù)下一步我們要根據(jù)實(shí)際業(yè)務(wù)進(jìn)一步做假設(shè),具體情況具體分析。
第四步:異常范圍定位后,要根據(jù)業(yè)務(wù)進(jìn)一步做假設(shè),實(shí)際具體情況具體分析。具體分析可以采用內(nèi)部-外部事件因素考慮。
?內(nèi)部-外部事件在一定時(shí)間內(nèi)同時(shí)發(fā)生可能很多種,主要關(guān)注數(shù)據(jù)指標(biāo)的起點(diǎn)、拐點(diǎn)、終點(diǎn)。
數(shù)據(jù)指標(biāo)起點(diǎn):數(shù)據(jù)指標(biāo)剛下跌時(shí),發(fā)生了什么事件;往往起點(diǎn)事件是問(wèn)題發(fā)生的直接原因。
數(shù)據(jù)指標(biāo)拐點(diǎn):在指標(biāo)持續(xù)下跌過(guò)程中,是否某個(gè)事件的出現(xiàn),讓問(wèn)題變得更嚴(yán)重,或者開(kāi)始轉(zhuǎn)暖。拐點(diǎn)意味著,這是可以通過(guò)運(yùn)營(yíng)手段改善指標(biāo)的。
數(shù)據(jù)指標(biāo)終點(diǎn):當(dāng)某個(gè)事件結(jié)束后,指標(biāo)恢復(fù)正常。或當(dāng)開(kāi)始某個(gè)事件后,指標(biāo)下跌結(jié)束。終點(diǎn)事件的兩種形態(tài),代表著兩種改善指標(biāo)的方法:等問(wèn)題自己過(guò)去,或者主動(dòng)出擊解決問(wèn)題
?內(nèi)部事件因素分為獲取用戶(渠道轉(zhuǎn)化率降低、渠道平臺(tái)的問(wèn)題等)、滿足用戶需求(新功能變更等引起某類用戶不滿)、促活運(yùn)營(yíng)手段(簽到等提活手段沒(méi)達(dá)成目標(biāo)、產(chǎn)品自然使用周期低導(dǎo)致上次獲得的大量用戶短期內(nèi)不需要再使用等)、內(nèi)部功能和運(yùn)營(yíng)策略調(diào)整(產(chǎn)品、運(yùn)營(yíng)、技術(shù)在數(shù)據(jù)異常時(shí)間點(diǎn)附近做了什么策略調(diào)整)。
?外部事件因素采用PEST分析(宏觀經(jīng)濟(jì)環(huán)境分析),政治(政策影響)、經(jīng)濟(jì)(短期內(nèi)主要是競(jìng)爭(zhēng)環(huán)境,如對(duì)競(jìng)爭(zhēng)對(duì)手的活動(dòng))、社會(huì)(輿論壓力、用戶生活方式變化、消費(fèi)心理變化、價(jià)值觀變化等偏好變化)、技術(shù)(創(chuàng)新解決方案的出現(xiàn)、分銷渠道變化等)。
我們遵循短期變化找內(nèi)因,長(zhǎng)期異動(dòng)找外因。在條件允許范圍內(nèi),再結(jié)合自身業(yè)務(wù)經(jīng)驗(yàn)確定幾個(gè)最可能的原因假設(shè),給這些假設(shè)排數(shù)據(jù)驗(yàn)證的優(yōu)先級(jí),逐一排查,深入分析,比如本次指標(biāo)下跌是因?yàn)樾鹿δ懿环项A(yù)期不給力、渠道投放力度不夠、競(jìng)品太厲害、版本更新大bug、流失嚴(yán)重等。
還有其他常見(jiàn)因素,如下:
天氣異常(可能會(huì)導(dǎo)致一次波動(dòng))
···
第五步:預(yù)測(cè)未來(lái)是否還會(huì)下跌?應(yīng)該采取什么方式避免下跌?與業(yè)務(wù)溝通反饋分析結(jié)論,探討后續(xù)方案的執(zhí)行。再針對(duì)原因解決問(wèn)題,制定優(yōu)化策略。最后,我們要預(yù)測(cè)影響到什么時(shí)間。并運(yùn)營(yíng)、產(chǎn)品溝通反饋分析結(jié)論,探討后續(xù)方案的執(zhí)行。
04
以上,就是梳理的數(shù)據(jù)指標(biāo)出現(xiàn)異常波動(dòng)時(shí),該如何著手?jǐn)?shù)據(jù)異常分析?的思路框架,現(xiàn)在總結(jié)一下。
第一步:確認(rèn)數(shù)據(jù)以及統(tǒng)計(jì)來(lái)源的準(zhǔn)確性
第二步:了解清楚數(shù)據(jù)指標(biāo)具體業(yè)務(wù)情況和異常情況
第三步:將數(shù)據(jù)指標(biāo)進(jìn)行拆解。
第四步:異常范圍定位后,要根據(jù)業(yè)務(wù)進(jìn)一步做假設(shè),實(shí)際具體情況具體分析。
第五步:預(yù)測(cè)未來(lái)是否還會(huì)下跌?應(yīng)該采取什么方式避免下跌?與業(yè)務(wù)溝通反饋分析結(jié)論,探討后續(xù)方案的執(zhí)行。再針對(duì)原因解決問(wèn)題,制定優(yōu)化策略。
總之,異常分析的本質(zhì)是因果分析。異常分析先是由結(jié)果(異常)找可能的原因,屬于歸納法,最后驗(yàn)證可能的原因是由原因推結(jié)果,屬于演繹法,所以異常分析是歸納法與演繹法的綜合應(yīng)用。異常分析涉及問(wèn)題分析、結(jié)構(gòu)分析、對(duì)比分析、假設(shè)分析等數(shù)據(jù)分析基本技能,這些都是數(shù)據(jù)分析能力的基本要求。
在實(shí)際業(yè)務(wù)中,數(shù)據(jù)異常的影響原因可能是多方面的,有的時(shí)候也需要建立統(tǒng)計(jì)分析模型來(lái)做一些定量分析??赡芤◣滋斓臅r(shí)間去不斷排查問(wèn)題。
就需要我們?cè)谄綍r(shí)工作中多留意數(shù)據(jù)變化,隨著對(duì)業(yè)務(wù)的熟悉和數(shù)據(jù)敏感度的提升,針對(duì)數(shù)據(jù)異常分析我們也會(huì)越來(lái)越熟練,更快的找到問(wèn)題所在。
看完覺(jué)得寫(xiě)得好的,不防打賞一元,以支持藍(lán)海情報(bào)網(wǎng)揭秘更多好的項(xiàng)目。