概率漫談

廣告：

請務必查看文末細則，私募工場每天都會更新資金方信息

來源：https://dahuasky.wordpress.com/2008/09/23/概率漫談/

前一段時間，隨著研究課題的深入，逐步研習現代概率理論，這是一個令人耳目一新的世界。這個世界實在太博大，我自己也在不斷學習之中。這篇就算起一個頭吧，後面有空的時候還會陸續寫一些文章和大家分享我在學習過程中的思考。

概率論要解決的問題

概率論是很古老的數學分支了——探討的是不確定的問題，就是說，一件事情可能發生，也可能不發生。然後，我們要預計一下，它有多大機會會發生，這是概率論要解決的問題。這裡面要特彆強調概率和統計的區別，事實上這個區別在很多文章裡面被混淆了。舉一個簡單的例子，比如拋硬幣。那麼我們可以做兩件事情：

這篇文章只討論概率論的問題。

經典概率的困難

什麼是概率呢？長期以來，一個傳統而直到今天還被廣泛運用的概念是：概率就是一個事情發生的機會——這就是經典概率論的出發點和基礎。大部門的初等概率論教科書，給出一個貌似頗為嚴謹的定義：我們有一個樣本空間(sample space)，然後這個樣本空間中任何一個子集叫做事件(event)，我們給每個事件A賦一個非負實數P(A)。如果P(A)滿足

P(A) >= 0

全集（整個樣本空間）的P值為1

對於（有限個或者可數個）互不相交的事件，它們的並集的P值等於各自P值的和。這個屬性叫可數可加性 (Countable Additivity)

那麼我們就稱P為概率。這個定義，以及由此而演繹出來的整個經典概率體系，廣為接受並被成功用在無數的地方。

但是，這樣的定義藏著一個隱蔽很深的漏洞——使得從這個定義出發能在數學上嚴格導出互相矛盾的結果。假設樣本空間是S=[0, 1]，裡面的實數依循均勻分布，我們構造這樣一個集合。首先，建立一個等價關係：相差值是有理數的實數是等價的。依據這個等價關係，把0到1之間的實數劃分為等價類，這樣我們有無數個等價類。

從每個等價類中隨便抽出一個實數作為代表，這些代表構成一個集合，記為H。（注意：我們有不可數無限個等價類，因此這個集合的存在依賴於選擇公理(Axiom of Choice))

那麼P(H) 是什麼呢？如果P(H)等於零，那麼P(S) = 0；如果P(H) > 0，那麼P(S) = 無窮大。無論如何，都和P(S) = 1的要求矛盾。這下麻煩大了，我們一直依賴的概率定義竟然是自相矛盾的！

也許，從數學家的眼光看來，這個問題很嚴重。但是，這對於我們有什麼意義呢。我們一輩子都用不著這種只存在於數學思辨中的特殊構造的集合！不過，即使我們從實用出發不顧及這類邏輯漏洞，傳統概率論還是會給我們帶來一定程度的麻煩。

一個問題，可能大家都有所感覺。那就是，我們在本科學習的概率論中有著兩套系統：離散分布和連續分布，基本什麼定理都得提供這兩種形式，但是它們的推導過程似乎沒什麼太大差別，一個用求和一個用積分而已。幾乎一樣的事情，為什麼要干兩遍呢。

還有，那種離散和連續混合的分布又怎麼處理呢？這種「離散連續混合的分布」不僅僅是一種理論可能，在實際上它的應用也在不斷增長。一個重要的例子就是狄里克萊過程(Dirichlet Process)——它是learning中的無限混合模型的核心——這種模型用於解決傳統有限混合模型中(比如GMM)子模型個數不確定的難題。這種過程，在開始時(t = 0)通常是連續分布， 隨著時間演化，在t > 0時變成連續和離散混合分布，而且離散部分比例不斷加重，最後（幾乎必然）收斂到一個離散分布。這種模型用傳統的連續和離散分離的處理方式就顯得很不方便了。

私募工場業務更新

一、某FOF基金白名單入駐標準：個人管理規模1億以上；機構管理規模10億以上，策略不限，過往業績三年以上，預約路演聯繫人：15034081448（果果），路演時間安排：上午9:00--11:00；下午14:00--16:00；16:00--18:00（節假日同）

二、某機構操盤手白名單准標準：個人管理規模3000萬以上，僅限期貨，過往業績三年以上，各實盤大賽排名前十。預約路演聯繫人：15034081448（果果），路演時間安排：上午9:00--11:00；下午14:00--16:00；16:00--18:00（節假日同）

資方情況說明：FOF資金5億，期貨操盤手資金8億+，信託資金30億+。

事實上，我們是可以把對連續模型，離散模型，以及各種既不連續也不離散的模型，使用一種統一的表達。這就是現代概率論採取的方式。

現代概率論——從測度開始

現代概率論是前蘇聯大數學家Kolmogorov在上世紀30年代基於測度理論(Measure theory)的基礎上重新建立的，它是一個非常嚴密的公理化體系。什麼是測度呢？說白了，就是一個東西的大小。測度是非負的，而且符合可數可加性，比如幾塊不相交的區域的總面積，等於各自面積之和。這個屬性和概率的屬性如出一轍。測度理論自從勒貝格(Lebesgue)那個時候開始，已經建立了一套嚴格的數學體系。因此，現代概率論不需要把前輩的路子重新走一遍。基於測度論，概率的定義可以直接給出：

概率就是總測度（整個樣本空間的測度）為1的測度。

測度理論和經典概率論有個很大的不同，不是什麼集合都有一個測度的。比如前面構造的那個奇怪的集合，它就沒有測度。所以，根據測度理論，樣本空間中的集合分成兩種：可測的(measurable)和不可測的。我們只對可測集賦予測度或者概率。特別留意，測度為零的集合也是可測的，叫做零測集。所謂不可測集，就是那種測度既不是零，也不是非零，就是什麼都不能是的集合。

因此，根據測度理論，我們描述一個概率空間，需要三個要素：一個樣本空間，所有可測集（它們構成sigma-代數：可測集的交集，並集和補集都是可測的)，還有就是一個概率函數，給每個可測集賦一個概率。

通過引入可測性的概念，那種給我們帶來麻煩的集合被排除在外了。不過，可測性的用處遠不僅僅是用於對付那些「麻煩集合」。它還表達了一個概率空間能傳達什麼樣的信息。這裡暫時不深入這個問題，以後要有機會寫到條件概率(conditional probability)和鞅論(Martingale theory)時，再去討論這個事情。這裡只是強調一下（雖然有點空口說白話），可測性是討論隨機過程和隨機分析的非常重要的概念，在實際計算和推導中也非常有用。

我們看到，這套理論首先通過可測性解決了邏輯上的漏洞。那怎麼它又是怎麼統一連續和離散的表達的呢？這裡面，測度理論提供了一個重要的工具——勒貝格積分(Lebesgue Integral)。噢，原來是積分，那不也是關於連續的么。不過，這裡的勒貝格積分和在大學微積分課裡面學的傳統的積分（也叫黎曼積分）不太一樣，它對離散和連續通吃，還能處理既不離散又不連續，或者處處有定義而又處處不連續的各種各樣的東西）。

舉一個簡單例子，比如定義在[0, 1]的函數，它在[0, 0.5)取值為1，在[0.5, 1]取值為2。這是一個簡單的階梯函數，期望是1.5。按照傳統的黎曼積分求期望，就是把定義域[0, 1]分成很多小段，然後把每小段加起來。勒貝格積分反其道而行之，它不分定義域，而是去分值域，然後看看每個值對應的那塊的面積（測度）是多大。這個函數取值只有兩個：1和2。那麼值為1那塊的面積為0.5， 值為2的那塊的面積也是0.5，積分就是以這些值為係數，把對應的面積加起來：0.5 x 1 + 0.5 x 2 = 1.5。

上面是連續的情況，離散的呢？假設我們在一個離散集[0, 1, 2]上定義一個概率，P(0) = 0.5, P(1) = P(2) = 0.25。對一個函數f(x) = x，求均值。那麼，我們看到，值為0, 1, 2對應的測度分別是0.5, 0.25, 0.25，那麼我們按照「面積加權法」可以求出：0 x 0.5 + 1 x 0.25 + 2 x 0.25 = 0.75。

對於取值範圍連續的情況，它通過取值有限的階梯函數逼近，求取上極限來獲得積分值。

總體來說，勒貝格積分的idea很簡單：劃分值域，面積加權。不過卻有效解決了連續離散的表達的統一問題。大家如果去翻翻基於測度理論建立起來的現代概率論的書，就會看到：所謂「離散分布」和「連續分布」的劃分已經退出歷史舞台，所有定理都只有一個版本——按照勒貝格積分形式給出的版本。對於傳統的離散和連續分布的區別，就是歸結為它們的測度函數的具體定義不同的區別。

那我們原來學的關於離散分布的點概率函數，或者連續分布的概率密度函數，也被統一了——積分的反操作就是求導，所以那兩個函數都叫成了測度積分的「導數」，有一個名字Radon-Nikodym Derivative。它們的區別歸結為原測度的具體不同，點概率函數是概率測度相對於計數測度的導數，而概率密度函數則是概率測度相對於勒貝格測度的導數。

我們看到，現代概率論建立了測度概念和概率概念的聯繫：

測度 ———— 概率

積分 ———— 期望

誰是基礎？概率 vs. 期望

從上面的介紹看來，似乎概率（測度）是一個更基本的概念，而期望（積分）是從那引申出來的概念。實事上，整個過程可以反過來，我們可以把期望作為基本概念，演繹出概率的概念。整個概率論，也由此基於期望而展開——其實，如果不是歷史慣性，整套理論叫做「期望論」也挺合適的，呵呵。關於這個事情，以後有機會，再做一個更詳細的探討。這裡，由於篇幅原因，只提出兩個關鍵點：

有了這麼三條，我們可以拋開概率，先定義「期望」這個概念：定義在可測集合上的單調線性實函數。然後，再把指示函數的期望定義成概率。那麼，期望就變成了一個更為基本的概念。

事實上，某些新出來的現代概率論的教科書已經處理得更為簡潔：直接把「期望」和「概率」看成同一個概念——同時，把幾個集合的指示函數和那個集合本身看成一回事。相比於把期望和概率分成兩個不同的東西來處理，很多事情的描述和演繹變得非常簡潔，而又不損失任何嚴密性（預先給出期望和概率的一致性的一個嚴格證明，大概思路是上面三點，不過數學上有一些處理）。由於，把期望視為線性函數，因此對於某個隨機變數的期望就變成了有點類似於隨機變數和測度的一種類似於「內積」的雙線性運算結構。很多本來複雜的概率推演就轉化為線性代數演算——不但使得演繹更為方便簡潔，而且有助於對於結果的代數特性的更深刻的理解。

總而言之，從經典概率論到現代概率論，發生了兩個非常重要的變化：

1、測度的引入——解決了基礎邏輯的難題，統一了離散分布和連續分布。

2、期望的基礎地位——一定程度上消弭了概率和期望的區別，同時把很多概率問題「代數化」。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！