不會做活動的數據分析？趕快學一下如何評估「營銷活動效率」

01??前言

在實際的評估工作中，不是所有的營銷活動都做了AB實驗，也不是所有進行了AB實驗的營銷活動都能準確評估出活動效果，比較典型的情況如下：

場景一：banner位要進行大促活動，但距離活動上線時間較短，如果要做AB實驗需要產研定制化開發，拿不到產研排期資源的情況下，運營往往會對全量用戶進行活動運營。事后要評估該大促活動的投入產出時，就沒有嚴格的實驗組和對照組進行對比，如果直接參加活動用戶作為實驗組、用大盤未參加大促活動用戶作為對照組，那么實驗組和對照組本身就是存在很大差異的（參與大促活動的一般更加活躍且對補貼敏感），在這種情況下該怎么進行評估才能得到更加合理的結論呢？
場景二：某直播平臺上線了一個直播間的新功能，并進行了AB實驗，其中實驗組能看到新功能，對照組看不到新功能。但是事后評估時發現，實驗組中雖然都能看到新功能且點擊使用該功能的用戶數據表現都很好，但是點擊使用該新功能的用戶滲透率很低，如果直接用AB實驗的實驗組和對照組相比較，那么不能得到顯著性的結論。那么直播間的這個新功能真的就沒有效果的嗎？

為了解決如上兩個場景的營銷活動效率評估，常常會根據實際情況matching一個對照組，傾向評分匹配（Propensity Score Matching，簡稱PSM）是matching的方法之一，使得實驗組和對照組進行更合理的比較。

PSM這種方法一般用于醫學、公共衛生、經濟學等領域。比如研究問題是吸煙對于大眾健康的影響，如果要進行隨機對照實驗，招收大量實驗用戶，然后隨機分配到吸煙組和不吸煙組，這種實驗設計不太容易實現，也并不符合科研倫理。

這種情況下觀察研究是最合適的研究方法，但是面對最容易獲得的觀察研究數據，如果不加調整，很容易獲得錯誤的結論，比如拿吸煙組健康狀況最好的一些人和不吸煙組健康狀況最不好的一些人作對比，得出吸煙對于健康并無負面影響的結論。

從統計學角度分析原因，這是因為觀察研究并未采用隨機分組的方法，無法基于大數定理的作用，在實驗組和對照組之間削弱混雜變量的影響，很容易產生系統性的偏差。PSM就是用來解決這個問題，消除組別之間的干擾因素。

鳥哥筆記,數據運營,一個數據人的自留地,用戶研究,產品運營,用戶研究,數據指標,數據分析

PSM的定義很直觀，是一個用戶屬于實驗組的 “傾向性”。具有不同特征的用戶被干預的概率應該相等。理論上，如果我們對每一個實驗組用戶都在對照組里匹配一個得分相等的用戶，我們就能得到同質的實驗組和對照組，就可以假裝做了一個 A/B 實驗了，接著就可以隨意地進行組間比較。

在實際工作中，通過多期的觀測驗證PSM方法較為適用于某些營銷場景，那么可以將PSM模型產品化。運營同學無須每次提需求到算法側，只需要通過簡單的輸入就能獲得最終結果。

鳥哥筆記,數據運營,一個數據人的自留地,用戶研究,產品運營,用戶研究,數據指標,數據分析

確定樣本集是PSM中最為重要的一個環節，包含確定實驗組用戶和對照組用戶。實驗組用戶一般選取策略觸達的用戶或者是真實體驗到核心策略的用戶，具體根據營銷活動特點來定義，而對照組則是給到一個范圍，通過建模從給到的對照組范圍中篩選用戶特征和實驗組相似的用戶作為真實的對照組。

一般對照組的圈選范圍最好是有活動參與的傾向性但是并沒有參與的用戶，比如說是同樣有某個活動頁的曝光，體驗活動的用戶為實驗組，有曝光但是未體驗該活動的用戶則為圈選的對照組范圍。

首先要進行傾向性得分估算：這一步直接就是建模問題，自變量為用戶特征變量，按需做一下特征預處理，套用LR或者其他更復雜的模型，如LR + LightGBM等模型估算傾向性得分。
其次進行傾向性得分匹配：在有了每個用戶的傾向性得分的基礎上，針對目前的實驗組用戶，匹配得到一個近乎于同質的對照組。當用戶量足夠時候，一個簡單做法是進行一對一無放回匹配：對于每一個實驗組用戶，我們去對照組里找一個傾向性得分最近的用戶，把他們配成一對。匹配過程中，可以限制一下配對用戶的得分差異不能超過某一個閾值，配不上就放棄，以防把 “太不相似” 的用戶匹配在一起。
模型輸出及評價：模型的輸出包含了實驗用戶、構建的與之匹配的對照組用戶、傾向性得分，評價指標包含模型在訓練集上的AUC（越高說明傾向性建模越準確，一般AUC≥0.85則認為效果較好）、各個特征維度的匹配關系值（值越高說明這個特征維度的匹配關系越好）。

通過PSM構建出與實驗組用戶特征類似的對照組，那么效果計算的邏輯就和AB實驗的計算邏輯類似了。

以上面提到的場景一作為案例，對沒有進行AB實驗的營銷活動進行效果分析。

從對照組范圍B1中通過PSM建模構建出用戶特征和A1相似的用戶B2，一個實驗組用戶找到一個特征相似的對照組用戶，所以B2的用戶數也為10,000。模型的AUC=0.89，且其他特征匹配值較好。

可靠性：AUC>0.85，模型效果較好，匹配結果可以參考。
活動補貼效率計算：實驗組A1樣本量10,000，貢獻的總的GMV為500,000元，總投入成本是50,000元；PSM構建的對照組B2樣本量10,000，貢獻的總的GMV為300,000元，總投入成本是25,000元。最終計算該大促活動的投入產出比為ΔGMV/Δ成本=（500,000-300,000）/（50,000-25,000）=8，那么我們就可以得出該大促活動的投入產出比是8，即1元投入帶來8元的GMV。