烏合統計學 | 分散性與變異性的量度：方差&標準差

烏合之眾 58趕集 PM 昨天 10:50

回顧之前的問題

某APP的DAU非常高，所以打算在首頁進行彈窗廣告的售賣。為了不影響用戶體驗，不能每次都啟動彈窗，需要一定的命中策略。那麼公司對廣告彈窗策略進行兩組小流量測試，得到用戶點擊量如下圖：

再之前的分享中，我們講了全距、四分位數、百分位數和箱線圖，同時運用他們對兩種廣告投放策略進行分散性對比，也得到了結論反饋給廣告投放方，不過他們結論並不認可，他們說：

「全距和四分位距僅告訴我們最大值和最小值之間的差值，卻無法告訴我們策略一和策略二得到這些最高點擊量和最低點擊量的頻率，以及策略一和策略二中更接近數據中心的用戶點擊量的頻率----而這卻對我們投放方很重要。」

那麼還有什麼其他方法讓我們算出兩種策略的穩定性和分散性呢？（上節內容詳見：烏合統計學 | 分散性與變異性的量度：百分位數&箱線圖）

變異性比分散性更具體

其實廣告投放方希望選中的策略命中穩定些，從而使用戶的點擊量穩定些。

實現以上目的一個方法是：觀察每個數值與均值的距離。如果我們能夠算出各個數值與均值的某種平均距離，就有辦法量度變異性和分散性。結果越小，述職與均值的距離越近。

「看這張圖是不是說明我們只要算出數值與均值的平均距離就行了啊？」

計算平均距離

假想你有三個數值：1、2、9，均值為4.如果我們求出這幾個數值與均值的平均距離，結果如何呢？

我勒個去，各個數值與均值的平均距離總是為0，這怎麼搞啊？

「等一下親，我有兩個問題哈。等式中為什麼會出現-5？我會以為距離是5，距離怎麼是負數呢？」

由於μ小於9，因此9至μ的距離為負數；1和2都小於μ，因此距離均為正數。這正是各個距離相互抵消的原因。

「那我們不能去距離的絕對值計算平均距離嗎？」

絕對值這個似乎很直觀，但在實際應用中，統計師很少這樣做。

我們可以用方差計算差異性

為了防止抵消，我們得像個辦法把所有數字變為正數，或許先求出各個距離的平方數就OK了，我們試著用原來的三個數值算一下：

由於我們使用了各個述職與均值的距離的平方數，所有這次我們得到了一個有意義的數。

這種量度數據分散情況的方法稱為方差。方法是量度數據分散性的一種方法，是數值與均值的距離的平方數的平均值。

上面的公式要計算每一個x的（x-μ）的平方，所有所處理的數據越多，就越容易出錯，尤其有眾多小數時。所以下面是一個能較快算方差的方法：

「But，我們為什麼要考慮距離的平方呢？這算不上直觀啊？」

標準差才是更直觀的量度方法

那位同學說的是，我們真正想要的是這樣一個數：能根據與均值的距離---而不是距離的平方指出分散性。

所以我們取方差的平方根，我們將此結果成為標準差。

所以上文中方差為12.67的標準差為為12.67的平方根，約等於3.56。也就是說，典型值與均值的距離是3.56。根據方差的特性，所以標準差越小，數值距離均值就越近，那麼變異性就越小，分散程度也小。

標準差也有自己的專用符號 δ，即希臘字元「西格瑪」的小寫，為了求出 δ，先計算方差，然後取其平方根，公式如下：

「我感覺方差標準差好麻煩的說，話說我為啥要關注數據變異程度？這很重要嗎？求出一批數據的平均數不行嗎？」

舉個例子吧。話說你從必勝客訂了一份兒披薩，當東西送到的時候你發現披薩的一般燒焦了，而另一半全生，這是你感受如何？

「neng死它！！！！」

不過從均值來看，你的食物是以最合適的溫度烹飪的呀，對么？---So，均值顯然沒有體現事情的真相，它欺騙了你。其實你需要知道的是變異程度，方差就為此而來。方差會根據均值體現的典型值，指出你該期望各個數值相對於這個典型值如何變化的。

「soga，均值給出了平均數，方差給出了分散程度。話說方差是怎麼辦到的呢？」

方差其實是指出了數據與均值的距離---平均而言。假定有一批數據的標準差為3cm，你可以當作這是在說：平均而言，這些數值與均值的距離是3cm。

「那是不是說方差和標準差還是小一點、穩定一點好呢？」

也不完全是，關鍵看應用場景。就像我們覺得例子，廣告投放方希望尋找用戶點擊量波動小的策略進行投放，他巴不得每天點擊量都一模一樣呢；比如你正在研究一家大公司的工資，那麼方差和標準差自然大一點比較好嘍。

實例帶入

這次我們方差和標準差的方式來測試一下，兩組策略的用戶點擊量哪一個更加穩定呢，數據如下：

將數據帶入方差計算公式：

兩個策略的均值為1000，策略一的標準差說明在典型情況下，用戶點擊量與均值距離為73，同理策略二的標準差說明在典型情況下，用戶點擊量與均值距離為602。因此策略一的用戶點擊量最穩定。

經過這樣一個例子的講解大家是不是對方差和標準差有了大概的了解呢？

再來個例子

假設有兩個廣告命中策略：第一個策略的命中率為70%，標準差為20%；第二個策略命中率為40%，標準差為10%。

在某一次測試中，策略一的命中率為75%，策略二的命中率為55%。從兩個策略的歷史命中記錄看，哪個策略表現更好呢？

「So easy！策略一更好被！它的命中率為75%呢，策略二才55%！」

NO，NO，NO，75%聽起來命中率很高，但是我們並不是在研究每一個策略的均值和標準差。每一個策略情況都高於自己的均值，但相比策略命中的記錄是記錄，哪個策略表現更好呢？

至於如果判斷兩個策略哪個表現更好，敬請期待：

分散性與變異性的量度：標準分（Z分）

作者：劉震宇，58趕集產品經理，中科院心理研究所在讀，產品心理學提出者。（公眾號：烏合之眾[shehuixinlixue]）

查看原文

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！