

一、活動背景
通過第三方廣告媒體app(比如微信、抖音等)投放針對老用戶的素材對用戶促活,已經成為很多公司用來提升存量老用戶活躍度的有效方法(后續會統稱為“渠道拉活”)
某公司的市場投放部門也開始投入預算試水「渠道拉活」這一項目,在項目啟動一段時間后,已經回收累積了大量的用戶數據,但是:
1、渠道拉活對于DAU的帶動貢獻究竟有多大?
2、是否值得持續投入更多的資源?
3、活動情況的ROI如何?是否符合預期?
4、活動是否存在改進空間?
這些領導和業務方非常關注的問題,需要分析師基于數據給出公正和客觀的答復。
二、分析框架和指標體系
2.1、分析框架
活動整體增量效果評估 (包括短期效果分析、長期效果分析)
ROI 核算(計算單用戶的拉新或者促活成本)
參活用戶質量評估
活動存在問題分析
2.2、指標體系


2.21、流量規模
DAU
參與活動的用戶數(舉例:渠道拉活成功召回的用戶數)
通過活動首次調起app的uv(舉例:通過渠道拉活首次調起app的uv)
通過活動首次調起app的uv占day的比例(舉例:通過渠道拉活首次調起uv的dau占比)
可解決的問題:
通過對比事先制定好的活動KPI指標,評估目標完成率;
與其他活動對比,評估促活的核心指標(通常是DAU)是否達到預期;
評估渠道拉活能夠召回的用戶量級有多大;
評估對DAU的凈增量貢獻有多大;
2.22、用戶質量、用戶畫像
留存率(次日回訪率、7日回訪率、30日回訪率)
日均使用時長
核心功能滲透率
核心功能人均PV
人群畫像(性別、城市、消費能力)
可解決的問題:
評估渠道召回用戶的質量
監測是否存在刷量作弊渠道
2.23、用戶行為
站外轉化漏斗(舉例:廣告曝光-廣告點擊-成功調起app-deeplink抵達特定頁面)
站內核心行為的轉化漏斗(舉例:活動頁-列表頁-詳情頁)
可解決的問題:
評估用戶從站外渠道到抵達App的路徑是否順暢,發現產品bug或者可以改善的機會點
評估活動的站內承接策略是否合理
三、分析過程
3.1、活動效果評估以及活動ROI分析
當日貢獻是指:當日的召回用戶對于當日DAU的增量貢獻
長期貢獻是指:由于召回用戶的后續回流,在后續特定時間范圍還會持續貢獻的用戶天數增量。比如,活動后的50個參與用戶,在后續30天內人均活躍天數比活動前提高10天,那么促活的增量貢獻就是1500天。
不得不承認,AB實驗最擅長處理歸因和量化的問題。它的思想是,將流量隨機分為數量均勻和特征均勻的兩組(即對照組和實驗組),實驗組用戶只有在產品策略上與對照組不同,因此我們可以認為兩組用戶在同一時間維度上的指標差異,可以完全歸因于策略上的差異。
然而,該廣告拉活項目無法設計對應的AB實驗,但我們可以基于AB測試的思想,構造與實驗組“相似”的用戶群體作為對照組。具體過程如下:


1、將拉活渠道喚起app的用戶作為實驗組,未曾被拉活召回的存量用戶作為對照組;
2、選取可能影響用戶未來活躍度的特征(比如機型、新增渠道、歷史活躍度、…),基于“特征相同”的原則,對兩組用戶劃分為 N 對實驗組和對照組。注意盡量將特征通過區間離散化,避免劃分出的某一組落入的樣本數過少,導致兩組樣本的指標差異不可信,比如特征「新增日期間隔」可以離散化為:7天內、8-14天、14天以上;
3、計算 N 對實驗組和對照組的每一組的指標差異值,以及實驗組的總指標差異(等于每一組指標差異*人群占比的相乘結果求和)
通過以上方法,可以計算出拉活對于當日DAU的貢獻、以及拉活對于未來30天DAU的總增量貢獻。
值得一提的是,“首次歸因”的方法也可以應用至“產品新上線功能評估”的效果量化中,通常我們可以將“啟動app后首次訪問該功能的用戶量”作為該功能對dau的貢獻量。
對于活動成本的核算,我們可以通過 “總成本消耗量 / 總DAU增量”,計算每個DAU增量的成本,以評估ROI是否符合預期。
3.2、用戶行為分析、和用戶質量評估
四、結語
作為數據分析師,實際工作中遇到的促活策略往往是五花八門,但是活動效果好壞的評估過程依然是有章可循的。最后,簡單總結下本文對于后續活動評估的可復用之處:
2、如何量化歸因活動的短期貢獻(即“首次歸因”法);
3、如何在無法開展AB測試的情況下,通過構造對照組的方式,快速地量化評估長期的增量貢獻;
本文為@運營喵原創,運營喵專欄作者。