深度學習貝葉斯，這是一份密集的6天速成課程

選自GitHub

Bayesian Methods Research Group

機器之心整理

在 Deep|Bayes 夏季課程中，授課人將討論貝葉斯方法如何結合深度學習，並在機器學習應用中實現更好的結果。近期研究表明貝葉斯方法的利用可以帶來許多好處。學生將學到對理解當前機器學習研究非常重要的方法和技術。他們還將體會貝葉斯方法和強化學習之間的聯繫，學習神經網路的現代隨機優化方法和正則化技術。在課程之後，授課人還設置了實踐環節。

項目地址：https://github.com/bayesgroup/deepbayes-2018

視頻地址：https://www.youtube.com/playlist?list=PLe5rNUydzV9Q01vWCP9BV7NhJG3j7mz62

PPT 地址：https://drive.google.com/drive/folders/1rJ-HTN3sNTvhJXPoXEEhfGlZWtjNY26C

教師

多數講師和助教都是貝葉斯方法研究團隊的成員以及來自世界頂級研究中心的研究者。很多講師曾經在頂級國際機器學習會議例如 NIPS、ICML、ICCV、CVPR、ICLR、AISTATS 等發表過論文。貝葉斯方法研究團隊已經開發了一系列的大學課程，包括貝葉斯方法、深度學習、優化以及概率圖模型，擁有大量的教學經驗。

學生

該夏季課程面向：

本科生（最好已完成至少兩年的大學課程），以及擁有很強數學背景、具備足夠機器學習知識（包括深度學習）的碩士生。

想要擴展知識和技能的機器學習領域或相關領域研究者和行業專家。

學習本課程的必備基礎

機器學習的紮實基礎，熟悉深度學習。

數學：熟練線性代數和概率論（很重要）。

編程：Python、PyTorch 和 NumPy。

Deep|Bayes 2018 夏季課程中使用英語，因此學生應該熟悉技術英語。

我在 Deep|Bayes 能學到什麼？

貝葉斯方法為什麼（在機器學習和日常生活中）這麼有用？隨機性到底是什麼？

隱變數模型。如何訓練模型識別在訓練前未知的模式？

可擴展的概率模型。為什麼將概率推斷問題轉換為優化問題是有用的？

強化學習和貝葉斯方法之間的聯繫。如何訓練隨機計算圖？

自動 Dropout 率的微調。神經網路會過擬合嗎？（會的）

隨機優化。如何以比計算一個點的函數值更快的速度來優化函數？

該課程的目標是展示在深度學習中使用貝葉斯方法可以擴展其應用範圍，並提升性能。儘管機器學習中有很多不同的問題設定，但貝葉斯網路的概率推斷可以用相似的方式來解決它們。你，心動了嗎？

課程主要內容

整個課程涉及貝葉斯學習的方方面面，從最基礎的貝葉斯原理到比較難的變分推斷和馬爾可夫鏈蒙特卡洛方法。以下展示了整個課程的主題列表，機器之心將簡要介紹部分課程內容。

第一天：

貝葉斯方法簡介

貝葉斯推理

隱變數模型和 EM 演算法

EM 演算法

第二天：

隨機優化簡介

可擴展貝葉斯方法

變分自編碼器

狄利克雷隱變數

第三天：

變分推斷高級方法

變分推斷視角下的強化學習

強化學習

分散式強化學習

第四天：

生成模型

對抗學習

擴展再參數化的技巧

第五天：

高斯過程

貝葉斯優化

深度高斯過程

馬爾可夫鏈蒙特卡洛方法

隨機馬爾可夫鏈蒙特卡洛方法

第六天：

貝葉斯神經網路和變分 Dropout

稀疏變分 Dropout 和方差網路

信息瓶頸

整個課程需要六天才能完成，且每一天的的課程量都非常大，因此機器之心只簡要介紹最基本的貝葉斯方法和隱變數模型，其中貝葉斯方法是整個課程的核心思想，而隱變數模型又是生成模型等很多高級方法的基礎。

貝葉斯方法簡介

我們首先圍繞「盲人摸象」的例子來介紹貝葉斯定理，然後簡單描述頻率學派和貝葉斯學派的區別。

1 貝葉斯定理：

首先貝葉斯定理的基本形式為

即後驗=似然度 x 先驗/證據

形式化的樣子是

現在我們開始討論「盲人摸象」問題。

一群「盲人」在摸一頭大象，試圖猜測摸的是什麼東西，然而沒有一個人猜的是正確的。在不確定的世界裡，這就是我們在用概率論理解世界時的樣子。

為簡單起見，我們把問題設置得簡單一些：一群「盲人」在摸一頭大象，並且知道這是一頭大象，他們希望根據摸到的東西猜測大象的重量。

貝葉斯方法是怎麼解決這個問題的呢？

我們假設這些盲人之間會互相交流觀察結果，並且都擁有一定的共同常識，也就是對大象重量的最初猜測：

然後他們可以這樣：

第一個人的觀察結果是摸到了尾巴，以及尾巴的長度 y1，然後重新猜測大象的重量；

第二個人將第一個人的猜測作為先驗，並且觀察結果是摸到了肚子，以及肚子的面積 y2，然後再次猜測大象的重量；

第三個人同理，根據第二個人的猜測，繼續觀察、猜測……

在此過程中，他們一開始的共有常識、大象的猜測重量即先驗 P(x)，第一個人的觀察結果即似然度 P(y1|x)，觀察結果本身出現的可能性就是證據 P(y1)，最後就得到的是 P(x|y1)，也就是根據觀察結果 y 得到的大象重量為 x 的可能性（概率分布）：

而第二個人在此基礎上，將能得到 P(x|y1,y2)：

第三個人將能得到 P(x|y1,y2,y3)……

好了，隨著觀察報告的增加，這頭大象的重量也越來越藏不住了（峰值變得尖銳）：

當然，授課人在課程中會很詳細地把概念一步一步講清楚，包括條件分布、聯合分布、邊緣分布之間的關係，以及乘積規則、和規則的介紹，可以把上面這個例子涉及的各個概念串聯起來，幫助學生理解得更加透徹。

2 頻率學派和貝葉斯學派的聯繫和區別：

頻率學派不假設任何的先驗知識，不參照過去的經驗，只按照當前已有的數據進行概率推斷。而貝葉斯學派會假設先驗知識的存在（猜測大象的重量），然後再用採樣逐漸修改先驗知識並逼近真實知識。但實際上，在數據量趨近無窮時，頻率學派和貝葉斯學派得到的結果是一樣的，也就是說頻率方法是貝葉斯方法的極限。

以上就是貝葉斯方法的基礎理論部分的大致內容，之後還有生成、判別模型的區別，貝葉斯訓練過程以及貝葉斯方法優勢的討論。

隱變數模型

前面簡要介紹了貝葉斯方法的核心思想貝葉斯定理，而在這一章節中，Dmitry Vetrov 重點介紹了隱變數模型。隱變數模型是很多複雜方法的基礎，例如在變分自編碼器這一生成模型中，我們希望將圖像壓縮為一系列的隱變數，這些隱變數表示了圖像的高級語義信息，例如圖像主體的傾角、顏色和位置等。

這一部分我們會根據 Dmitry Vetrov 介紹的內容討論隱變數模型的直觀概念、KL 散度、混合分布和變分下界等。

如前所述，VAE 最大的優勢即中間編碼的短向量代表了圖像的某些語義特徵，但又因為我們不能明確地知道具體是哪些圖像特徵，因此我們可以把這個短向量稱之為隱變數。直觀上來說，完全從整體上一個個像素生成圖像是非常困難的，因為我們需要考慮的可能性太多。而如果先決定要生成圖像的特徵，再根據這幅藍圖生成圖像就會容易很多。

VAE 正是這樣，先學習如何將圖像正確地壓縮為一組隱變數，然後再學習如何根據隱變數生成圖像。當模型完成學習後，我們給定任意一組隱變數，模型都會嘗試生成正確的圖像。這也就是隱變數模型的直觀概念。

KL 散度一般作為兩個分布間距離的度量方法，它常用於生成模型的損失函數。以下展示了 KL 散度的直觀理解，即分布 Q(z) 與分布 P(Z) 之間越重合，那麼 KL 散度就越小，兩個分布之間的距離就越近。

在離散型變數的情況下，KL 散度衡量的是，當我們使用一種被設計成能夠使概率分布 Q 產生的消息的長度最小的編碼，發送包含由概率分布 P 產生的符號的消息時，所需要的額外信息量。KL 散度有很多有用的性質，最重要的是它是非負的。KL 散度為 0 當且僅當 P 和 Q 在離散型變數的情況下是相同的分布，或者在連續型變數的情況下是 『幾乎處處』相同的。

隨後 Dmitry Vetrov 展示了隱變數建模的案例，如果我們有一些服從未知高斯分布的樣本，那麼我們可以用最大似然估計或點估計等方法將該未知分布的均值和方差推斷出來。

而現在如果我們假設有一組采自不同高斯分布的樣本，且我們需要估計這些高斯分布的參數。這個問題看上去不能解決，但如果我們知道哪些樣本是從具體哪一個高斯分布中採樣，這個問題就比較容易解決。

但是如果我們不知道樣本是從哪個高斯分布中採樣的，那麼我們就只能使用隱變數模型。它主要的思想即先估計這些樣本屬於哪一個高斯分布，也就是將樣本映射到隱變數「均值」和「方差」。然後再基於隱變數完成對三個高斯分布的建模。

隨後順著這個想法，我們可以構建一個混合高斯模型，並希望將數據編碼為隱變數 Z，再根據該隱變數完成建模。如下所示當我們不知道隱變數 Z 的情況下，最大化從 Z 中採樣出樣本 X 的概率，就能推導出最大化變分下界，這也是變分自編碼器最核心的表達式。

變分自編碼器中最大化變分下界（ELBO）就可以作為整個模型的優化目標，或者說整個模型的損失函數。在上面的案例中，最大化這個變分下界就代表著找出一些高斯分布，且每一個樣本都最可能屬於某個高斯分布。

整個課程介紹了非常多的理論知識，尤其是關於貝葉斯學派的各種理論。如果讀者對數學比較有自信的話，可以詳細學一學該系列教程。

掃描下圖二維碼，參與Arm人工智慧開發者全球峰會

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！