5分鐘讓你了解什麼是極大似然估計

點擊播放 GIF/602K

存在即合理

所見即真實

很久很久以前，有位漂亮的模友希望超模君介紹一下極大似然估計法：

在數模的世界裡，女生總是優先的（各位模友，你們覺得呢）。

今天，超模君就要講講極大似然估計，不過在講它之前，京西大旅館好像又發生了一些事情：

在一個周末，小天跟著劉強西去「查房」，剛剛轉角就看到一個身影閃進了最盡頭的那一間房，什麼都沒看清，只能確定頭髮是長的。

小天就問強西：「咦，剛才那一身影消失得這麼快，我都沒看清是男是女。。。」

劉強西很淡定地回答：「我猜肯定是一位女房客。」

小天一臉疑惑：「你剛才看清了？」

劉強西：「沒有，但是由ta是長頭髮可推斷出ta是女的。」

其實在沒做性別鑒定之前（科學要認真對待），這位房客有可能是男的，也有可能是女的。

不過從我們已有的經驗判斷，女性長頭髮的可能性為大約為0.9，而男性長頭髮的可能性只有不到0.05（另外的0.05各位模友可以猜猜）。

就憑藉這種常識，劉強西猜這位房客是女性。而劉強西這種基於可能性最大的猜測，就是極大似然估計的思想。

沒明白怎麼回事，那就繼續往下看：

極大似然估計方法（Maximum Likelihood Estimate，MLE）也稱為最大概似估計或最大似然估計，是參數估計的一種很重要的方法。早在1821年，高斯就提出了這個思想，但是這個方法通常被認為是英國統計學家羅納德·費雪（R.A.Fisher）的功勞。

一位幾乎獨自建立現代統計科學的天才——費雪

原來，在1922年，費雪發表了一篇論文《關於理論統計的數學基礎》，給出了「極大似然估計法」這一名稱，並且詳細探討了這個方法的一些性質。

極大似然，其英文Maximum Likelihood原意就是「看起來最像」，而這個「看起來最像」的方式卻成了我們判斷的重要標準。

那我們舉個例子（大家醒醒，這是本次考試的重點）：

現在有一個不透明的布袋，裡面盛放著許多個白球和黑球，但是不知道數目和兩種顏色球的比例。在不能把袋中的球全部拿出來數的情況下，我們該如何知道袋中白球和黑球的比例呢？

此時小天舉手：放在這道題，讓我來。

小天每次隨機從袋中拿一個球出來，記下球的顏色，然後將拿出來的球放回袋中。如此進行了100次，我們記錄到有70次拿出來的是白球。

那麼，請問袋中白球所佔的比例最有可能是多少？

一看就知道是70%啦！不要問我為什麼，這是常識。。。

看來這不止是一道送分題，也是一道送命題。超模君都說今天要講極大似然法，你竟然回答「常識」。

算了，超模君還是認真先把問題講完。

我們假設袋中白球的比例是p，那麼黑球的比例就是1-p。而每抽一個球出來，在記錄完顏色之後，我們把抽出的球放回了袋中並搖勻：

因此每次抽出來的球的顏色這一事件相互獨立並且服從同一分布（即期望和方差相同）。

事實上，p是有很多種分布的。而根據我們所謂的常識：在這100次抽取的過程中，出現了70次是白球，那我們肯定不會認為白球：黑球 = 5:5 ，而是傾向於認為白球：黑球 = 7:3。

現在，我們把一次抽出來球的顏色稱為一次抽樣。而在上面的題目的在100次抽樣中，我們將70次是白球，30次是黑球的概率記為P(樣本結果 | M)，每次抽出來的球是白色的概率記為p。如果第一次抽樣的結果記為x1，第二次抽樣的結果記為x2，……那麼樣本結果= (x1，x2，...，x100)。於是：

P(樣本結果 | M)

= P(x1，x2，...，x100|M)

= P(x1|M)P(x2|M)...P(x100|M)

= p^70(1-p)^30

顯然，當p=0或者1時，P(樣本結果|M)=0，因此在p∈（0，1），P(樣本結果|M)會有一個極大值（或極小值）。

而極大似然法就是令樣本出現的概率最大，進而估計整體的模型參數。

那麼，p在取什麼值的時候，P(樣本結果|M)的值最大呢？

很簡單，只需將p^70(1-p)^30對p求導，並令其等於零，即

於是我們便可以得到p=0.7，即白球：黑球=7:3。

這一次你們的「常識」沒錯。

不知各位模友還記不記得概論論課程中病毒感染的案例（今天重新溫習一下）：

假如人們會感染一種病毒，有一種測試方法，在被測試者已感染這個病毒時，測試結果為陽性的概率為95%。在被測試者沒有感染這個病毒時，測試結果為陽性的概率為2%。

現在，有一個人的測試結果為陽性，問這個人感染了病毒嗎？

根據極大似然法，如果一個人感染病毒，95%的測試結果會為陽性；而如果這個人沒有感染病毒，只有2%的測試結果會為陽性，所以這個人應該是已經感染病毒了。

不過，在極大似然法中，由於只考慮了由一個模型產生一個已知數據的概率，而沒有考慮模型本身的概率，尤其是在數據量比較小的時候，誤差就會比較大，估計的結果難以讓人信服。

而這個時候，就應該用到貝葉斯方法了（傳送門）。

本文由超級數學建模編輯整理

部分資料來源於網路

-----這裡是數學思維的聚集地------

「超級數學建模」（微信號supermodeling），每天學一點小知識，輕鬆了解各種思維，做個好玩的理性派。30萬數學精英都在關注！

《超級數學建模官方旗艦店》已上線，趕緊來團！

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！