貝葉斯定理是什麼
我們的世界觀與合力作用經常為簡單的定理所驅動,由低調的英國數學家和神學家Thomas Bayes在150年前私下提出,並僅在他死後才發表。
貝葉斯定理曾被用於二戰中破解德國的恩尼格瑪密碼,如今已廣泛用於科學、技術、醫藥和其他領域中。
所以是什麼原理呢?
貝葉斯定理解釋
Thomas Bayes的觀點十分簡單。一個假設為真的可能性取決於兩個標準:
1. 基於當前知識,有多合理(先驗);
2. 與現有證據的符合程度。
然而,在他死後100年里,大部分科學家仍舊只根據新證據評估自己的假說。這是傳統的假設-檢驗(或頻率學派)的方法,在科學課上我們也是這麼被教的。
在難以置信的解釋完美符合一些新證據的時候最能看出貝葉斯與頻率學派的方法的區別所在。
比如捏造一個假說:「月亮是乳酪做的。」
credit: 小編自己照原文畫的
我會抬頭望望夜空,收集相關的新證據,注意到月亮呈乳酪般的黃色。利用傳統的假設-檢驗框架,我會總結到新證據與我的激進的假說相一致,因此增強了我對其的置信度。
credit: 小編自己照原文畫的
但利用貝葉斯定理,我就會更加慎重。雖然我的假說與新證據相符,但本來這個假說就是荒唐的,違背了我們所有的宇宙學和礦物學的知識。
credit: 小編自己照原文畫的,石頭圖片credit: 123RF
因此,月亮是乳酪的整體概率就是兩項的乘積,非常低。
當然,這是極端情況下的諷刺。沒有哪位著名科學家會無聊到去測試這種愚蠢的假說。
但世界範圍內的科學家總是在評估大量的假說,並且其中某些還是蠻牽強的。
例如,一項2010年的研究最初表明政治主張溫和的人能看到更多字面意思的灰色陰影。
經過進一步的測試後來這一說法被推翻了,因為研究者認識到本來這一說法就是不可能的。但其他類似的研究幾乎是不加批判的被接受了。
生活中的貝葉斯方法
我們從自己的經驗和記憶中提取先驗知識,從我們的感知中得到新證據,為日常事務分配概率,管理我們的生活。
就比如考慮一件簡單的事情,要不要接你的工作電話,你工作的時候會把工作電話放在辦公桌上,或者在家的時候充電。
你在家裡的小院子里,聽到屋裡的工作電話響了。你的新數據與其位於室內某處相一致,但你直接就去充電器那裡了。
在此過程中你已經結合了你對電話的先驗知識(要麼在辦公桌上,要麼在家裡的充電器那裡)和新證據(家裡的某處),來判斷出其位置。
如果電話不在充電器那裡,那麼你會利用有時候會把電話放在哪裡這一先驗知識縮小搜索範圍。
你會忽略屋子裡的大部分地方(冰箱,放襪子的抽屜),因為先驗上較為不可能,並前往你認為最可能的地方直到最終找到電話。
置信度和證據
貝葉斯推理的特點之一是在數據不足的時候先驗置信度最為重要。我們可以從直觀上使用這一準則。
例如,你在酒館裡玩飛鏢,附近有個陌生人說他/她是一個專業飛鏢玩家,你可能最開始會假設這傢伙在開玩笑。
你對這個人幾乎什麼都不知道,但遇到一個真正地專業飛鏢玩家的幾率是很小的。澳大利亞的專業飛鏢玩家也不過大約15個。
如果這個陌生人扔飛鏢並且正中靶心,可能還是不能令你信服,因為這可能只是運氣。
但如果這個人連續十次都正中靶心,你就會傾向於接受他/她的專業說法了。你的先驗置信度就被累積的證據所覆蓋,貝葉斯定理又起作用了。
駕馭一切的一個理論
貝葉斯推理現在是大量人類問詢領域的支柱,從癌症篩檢到全球變暖,遺傳學,貨幣政策以及人工智慧。
貝葉斯推理是風險評估和保險的基石。每當龍捲風或者洪水襲擊某個區域,保險費就會突然飛漲。為什麼?
量化風險極其複雜,當前狀況為未來可能災難提供的信息很少。因此保險公司會根據現狀和曾經發生的情況進行風險評估。
每當自然災害襲來,他們就會更新那個地區的先驗信息,將其變得較為不利,因此預計未來發生災害的可能會更大,從而提高保險費。
貝葉斯推理在醫學診斷中也扮演相似的角色。癥狀(新證據)是多種可能疾病(假設)的結果,但不同的疾病對於不同的病人的先驗概率也不同。
諸如webMD的在線醫療工具的主要問題在於無法正確考慮先驗概率。他們對你的個人歷史所知甚少,因此會診斷出很多可能的疾病。
向了解你病史的醫生求助將會縮小可能範圍,得到更合理的診斷。貝葉斯定理又起作用了。
阿蘭·圖靈與恩尼格瑪密碼機
貝葉斯方法使我們能從含糊的數據中提取精確的信息,從各種可能性中找到一小撮解。
貝葉斯方法對英國數學家阿蘭·圖靈破解德國的恩尼格瑪密碼至關重要,並加速了二戰盟軍的勝利進程至少兩年,拯救了數百萬生命。
要解密一組德國的編碼信息,搜尋近乎無窮的可能翻譯顯然是不可行的,特別是通過不同的複雜恩尼格瑪密碼機轉子設置還會每天改變編碼。
圖靈重要的貝葉斯觀點是特定信息出現的可能性比其他的信息更高。
研究團隊將其成為「cribs」,是基於先前解密的信息,以及邏輯上的期望。
例如,從U型潛水艇出來的消息可能包含與天氣或者盟軍船隻的短語。
破解德軍恩尼格瑪密碼的Bombe機器的重建複製品。Credit: Ted Coles/Wikimedia
這些cribs提供的強先驗信息大大縮小了待評估的可能翻譯的數目,使得圖靈的解碼機器破譯恩尼格瑪密碼的速度能趕得上每天更換的速度。
貝葉斯與進化
我們為什麼對貝葉斯理論如此感興趣呢?在我們自己的研究領域,進化生物學,貝葉斯方法變得越發重要。
從預測氣候變化產生的效應到理解傳染病的傳播,生物學家能從眾多可能性中搜尋得到少量的可能解。
我們的研究主要包括重構生命的歷史和進化,這些方法能幫助我們從理論上數十億種可能的分枝模式中找到唯一的正確進化樹。
在工作和日常生活中,貝葉斯方法都能幫助我們找到滄海一粟。
貝葉斯推理的不利方面
當然,在先驗信息不正確的情況下貝葉斯推理也會出問題。
在法庭上,這會導致嚴重的誤判(參見檢察官謬論:泛指多種根據不相關資訊認定被告「無辜的機率」很小的情況)。
在英國的一個著名例子中,1999年,Sally Clark被錯認為謀殺了她的兩個孩子。
檢察官曾爭論道兩個孩子死於自然原因(她是無辜的先驗概率)的可能性非常低,只有7300萬分之一,因此她肯定謀殺了兩個孩子。
但他們沒有考慮母親殺死兩個孩子的概率(她有罪的先驗概率)更是極其之低,因此她完全無辜與雙重謀殺者的相對先驗概率其實比最初爭論認為的更為相近。
Clark隨後進行了上訴,並且上訴法院批判了原始判決中統計方式的錯誤使用(這一事件的後續是二審判決宣判無罪,並於2003年出獄,但這一經歷造成了嚴重的精神問題,2007年因乙醇中毒死於家中,sigh)。
這表明了貝葉斯定理的錯誤使用能帶來深遠的嚴重後果。但好處是合理調整的具有正確先驗信息的貝葉斯方法能提供替他方法不具備的洞察力。
本文譯自 conversation,由譯者 CliffBao 基於創作共用協議(BY-NC)發布。Mike Lee&Benedict King
※動物有個性嗎?.?
※Facebook想「開腦洞」,不過科學家認為這還遠呢
※「健康」食品就不會讓你胖了?太天真
※堅信自己走出失戀,真能助你走出失戀
※說出來你可能不信,毛毛蟲對塑料袋動手了
TAG:煎蛋 |
※文藝地解讀貝葉斯定理
※托馬斯定理與自我實現的預言
※務必讓孩子意識到自己的不足之處——「皮爾斯定理」
※看完貝葉斯定理後,忍不住感慨:數學真重要!
※瑞默斯定理:一個及時做出的決定,比其完善性更為重要
※考古突破!巨石陣建造者使用畢達哥拉斯定理,比他出生早2千年!