歐陽辰：談營銷效果評估時，我們在談什麼？

文 | 歐陽辰

編者按：這是Morketing聯合秒針營銷科學院（MAMS）「科學營銷觀」專題的第三篇，在上一篇文章中，蒙牛集團數字化營銷總經理郭銳從廣告主的角度來談營銷效果的評估問題。今天，秒針營銷科學院科學家、品友互動CTO歐陽辰從技術的角度，分享他對營銷評估的觀點。

秒針營銷科學院科學家、品友互動CTO歐陽辰

沒有度量，沒有改進！

如果一件事情無法通過數字來衡量，那麼我們無法進行持續改進，價值也不容易談清楚。那麼，萬事萬物是不是都是可以度量的呢？我看過一本印象很深的書，《How to measure anything》（《數據化決策》）回答了這問題，這是一本真知灼見但羅里吧嗦的好書。作者認為，任何事情都是可以度量的——通過20萬人的調查，新款可口可樂比老款口味更好；一段幸福的婚姻大約價值每年額外的2萬英鎊收入！

如果一切事情都可以度量的化，當我們談營銷效果評估時，我們談些什麼呢？

營銷效果評估三重環

對於做任何事情，我們都可以分解成Why，How，What。其中Why是核心，搞清楚營銷的目標是為了什麼？而後的執行和評估都容易理順。

營銷目標究竟是為了什麼？(Why)

使用哪些核心指標來度量營銷效果？(How)

如何獲得更加全面的營銷評估結果？(What)

這三點中，營銷目標是效果評估的本源，也是最核心的問題。營銷目標是有從抽象到具體的一個過程。雖然，營銷目標總是可以拔高到品牌形象提升，銷售收入提高；但是，有經驗的營銷專家和CMO們卻能將這個宏觀的營銷目標，具體分解到不同的層級，不同的渠道，不同的創意等等，不同時間階段等，而後進行評估。每一次營銷實際上都有針對性的目標，例如，提高三線城市對某品牌的感知，提高移動應用的有效安裝率，觸達更多的人，拉活APP等。

對於效果廣告，指標往往簡單直接，容易理解，度量方法也有跡可尋。對於品牌廣告，合理的和階段性的評估指標是非常重要的。無論是品牌還是效果，都存在類似的營銷推廣漏斗，階段的核心訴求有著相似性，但每個階段的具體形式和時間稍有區別。

營銷效果評估的三階段

營銷漏斗這麼複雜，我們究竟使用哪些核心指標來度量營銷效果呢？營銷效果的評估是個歷史悠久的綜合性問題，隨著技術的發展，營銷的多元化，效果評估現也變成越來越複雜的問題。

我把互聯網廣告效果評估的發展分為三個階段：

第一階段（互聯網廣告出現到移動廣告初期），以展現和點擊量為主，早期的互聯網廣告的評估指標比較少，展現和點擊往往是最關心的數據；

第二階段（移動設備初期---現在）：受眾分析，除了簡單的展現點擊，廣告主更加關心廣告展現給那些人看了？哪些地方的人看到了，男女比例如何？傳統的GRP從電視行業轉移到互聯網視頻的iGPR；

第三個階段（即將開始）：數據賦能的智能評估。廣告投放通常是多種渠道，長期的，多重目的的，典型媒體渠道包括搜索，視頻，信息流等，購買形式也分為直投的、程序化購買等。

對於繁花似錦和龍蛇混雜的投放，到底如何制定一個適合自己的方案，如何通過效果評估來獲得推理，這是讓很多CMO和營銷管理人員長期痛苦的地方。我覺得，從目前開始，我們將迎來一次重要的營銷智能變革，科學的效果評估將是這個變革的導火索。因此，我把第三階段的效果評估稱為數據智能評估。

這一階段將利用更加複雜的大數據、更加科學的方法、更加智能的演算法，對營銷效果進行整體和綜合的評估，找到營銷的最佳方案。這一階段還處於萌芽狀態，很多大數據技術、智能評估演算法和互通開放的營銷環境正在拉開一場全新的大幕。

具體來說，一些全渠道的歸因，科學的AB測試，一些涉及心理學的一些人工智慧技術，這些都會積極幫助提高營銷效果評估的準確性，指導預算更科學的使用。

營銷評估的一些最新技術

這一小節會將介紹幾種最新的營銷效果評估技術，其中有些技術還處於初級階段，但我深切感受各個國內外不少營銷公司對於這個領域的決心和執行力，利用大數據和工匠精神，一點一滴的改進我們對於營銷的理解。

1）Facebook的RTC效果度量實驗

對於效果評估，雖然Facebook和Google有豐富的數據和技術，但是它們都在不斷的改進效果評估的準確性和科學性。為了找到更好的評估方法，兩個公司都不約而同都邀請第三方的數據科學家，與工程師長時間研究提升評估準確率的方法。

Facebook在2017年發表了一篇論文，《AComparison of Approaches to Advertising Measurement:』 Evidence from Big FieldExperiments at Facebook》。這篇文章由美國西北大學的教授和Facebook工程師聯合發表，他們一起做了數年實驗，揭示了大量常見的實驗簡論都是有偏見的，他們提出了利用RTC（隨機對照實驗）方法，可以更加科學的選擇對照組（Control Group），以消除常見的偏見（Bias）。

RTC是一種常用於藥物療效評估的方法，基本原理就是將研究對象隨機分組，在一些重要緯度上保持相同的隨機分布，消除個體對於實驗結果的影響。這篇論文，對於Control組的用戶，也進行模擬廣告競價，找到那些與Treat組類似的用戶，作為最後的Control組的有效成員。

Facebook還分享了其他幾種評估技術，EM是簡單的分為曝光組和非曝光組，這種方式很容易引入轉化的提升的偏見。

不同的評估技術，對於最後轉化率提升評估的不同結果

2）谷歌的Ghost Ads

Google在2016年發表了一篇論文《GhostAds: Improving the Economics of Measuring Ad Effectiveness》，Rochester大學教授和谷歌幾個數據科學家一起聯合數年的結果，項目本身也是為了提高度量的科學性。在效果實驗中，實用受眾通常分為治療組（Treat Group）和對比組（Control Group）。治療組通常是投放廣告的受眾，而對比組是沒有看到廣告的組。現在，越來越多的廣告平台都是競價平台，廣告是否曝光給一個用戶都是通過很多演算法優選，因此，有轉化意圖的相似用戶，更加容易被選擇顯示廣告，那麼這就造成被展現廣告的用戶本身就受到平台演算法而帶來的偏見。Ghost Ads就是一種改進Control Group的選擇，通過重放競價過程，從而選擇某些用戶作為Control Group 的成員，極大提供了效率和科學性。

這種方法核心的目標是提高Control組的科學性，那麼這種方在實施是通過二次模擬競價過程，對於獲得贊助廣告的用戶進行標記，而且顯示一些公益廣告（以區別贊助廣告），而後進行Control組和Treat組的比較。Ghost Ads的基本思路和RTC的思路有些接近，但是實現細節有些不同。

3）重要且有趣的辛普森悖論

很多人認為只要定義好指標，利用Ａ／Ｂ測試就能快速得出結論，其實不然，有的時候，兩組貌似必然的數據會讓你得出相反的結論。

辛普森悖論（Simpson』s Paradox）是英國統計學家辛普森於1951年提出的悖論，即在某個條件下的兩組數據，分別討論時都會滿足某種性質，可是一旦合并考慮，卻可能導致相反的結論。

舉個例子，北京大學和清華大學的學生都抱怨「男生錄取率比女生錄取率高，學校存在性別歧視」。但是，教育部在進行總錄取率統計時，卻發現女生錄取率卻遠遠高於男生錄取率！

這看起來是不是有些奇怪呢？其實，很多廣告效果評估也有類似的效果，綜合分析並非都是1+1=2這麼簡單直接。

4）全渠道歸因

歸因分析可能是廣告技術中最複雜的一個問題，其複雜來源幾個方面：難建模，難驗證，難應用；但從另外一個方面說，它又是重要無比的，它可以幫助回答「我的50%廣告費用都浪費在哪裡了？」，我的廣告預算分配如何更加合理？

歸因分析(AttributionAnalysis)要解決的問題，就是廣告的Conversion的產生，其功勞應該歸功於哪些渠道；舉個例子，廣告主投放了信息流廣告，搜索廣告，視頻廣告，轉化(Conversion)很多都直接發生在搜索廣告中，那麼這些Conversion完全是搜索渠道功勞么？其實未必，很多轉化都是用戶在觀看視頻廣告/信息流廣告之後，引起用戶注意，而後用戶做了大量研究後，最後一次轉化發生在搜索引擎渠道中而已。因此，在PC時代，搜索引擎收割各個營銷渠道的成果，成為了一個不爭的行業秘密。

歸因的方法有很多種，行業里使用比較多的，包括最後一次，平均權重，時間衰減權重等。複雜一些的歸因技術，會使用夏普里值方法，夏普里值（Shapley Value)指所得與自己的貢獻匹配的一種分配方式，由諾貝爾獎獲得者夏普里提出，基本思路就是：在各種可能的聯盟次序下，參與者對聯盟的邊際貢獻之和除以各種可能的聯盟組合。其它的方法還包括醫學上常用的生存分析，馬爾克夫鏈等。

這裡介紹一下夏普里值，舉個例子。

5）基於人腦的分析和評估

營銷活動很多終極訴求是提升品牌影響力，影響消費者的購買行為。之前的很多評估是通過購買行為本身作為主要優化目標。但是，這個購買行為究竟是如何而來，品牌到底給消費者留下什麼樣的情緒和影響？這往往是鮮有人關心的，這也是傳統營銷效果評估的薄弱環節。人們看了一個製作精良和廣告（例如百雀羚廣告），或看到一個平淡無奇的廣告，如何評估廣告對人們情緒，心裡和判斷力的影響，這些分析能夠幫助我們設計更加打動人心的營銷方案。

去年的時候，數字新思和騰訊微信曾合作，共同研究視頻APP和微信短視頻對於用戶認知效果和情感效果的評估，進行兩種營銷模式的等價性和效果分析，這些都是非常有意義的。在那份報告中，一些目的性，認知效果，情感效果都有一些有趣的結論。

相信通過大數據技術，更多的感測器設備，例如視頻分析，我們更加有能力深入到人們思考購買決策後面的效果評估中去。

結束語

羅哩羅嗦把這邊稿子寫完了，如何評估這篇文章的效果（含水量）？看看閱讀量？看看轉發量？看看點贊數？好像都不是，這些都不是我特別在意的指標。回過頭想想，我為什麼要寫這篇文章？原來，這篇文章是秒針營銷科學院和Morketing的約稿，因此評估這件事情效果的指標就變得簡單而直接了，有讀者通過公開渠道看到這篇文章，對我來說就是勝利！

部分參考資料：

1．王曄@吆喝科技，淺談AB測試里常見的辛普森悖論

2．Facebook, A Comparison of Approaches to Advertising Measurement:』 Evidence from Big FieldExperiments at Facebook。

3．Google：Ghost Ads: Improving the Economics of Measuring Ad Effectiveness。

4．騰訊&數字新思：《兩種典型移動互聯網場景下視頻廣告的價值研究 ——對比視頻APP前貼和微信朋友圈視頻》

《科學營銷觀 》

Morketing與秒針營銷科學院（MAMS）聯合推出 「科學營銷觀」 專題，針對數據科學在營銷活動中的運用，進行持續性的深度訪談及研究，討論「電商時代，如何進行營銷評估」的話題。

下一篇預告：

秒針營銷科學院首席研究員陸亨博士，將從行業第三方的角度，介紹他對「營銷評估」的獨到觀點，敬請持續關注。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！