「乾貨」蘋果 AI 負責人 Russ Salakhutdinov 最新演講：深度生成模型定量評估（56 PPT）

新智元編譯

新智元327技術大會愛奇藝回播視頻鏈接，請點擊閱讀原文。

PPT下載：http://www.cs.cmu.edu/~rsalakhu/talk_Eval.pdf

本講結構：

• 概要

• 退火重要性採樣（AIS）

• 用於無向圖模型的反向 AIS Estimator

無監督學習→ 非概率模型、概率（生成）模型

Directed vs. Undirected Models

左：Helmholtz Machine / 變分自編碼器

右：深度玻爾茲曼機

馬爾可夫隨機場

圖模型：是用於表示隨機變數之間依賴關係結構的強大框架。

受限玻爾茲曼機

模型選擇

生成模型

一般來說，我們應該怎樣選擇模型？

簡單重要性採樣

退火重要性採樣

退火重要性採樣的運行

AIS 是重要性採樣

具有幾何平均值的RBM

Undirected Model 存在的問題

激勵：RBM 抽樣

運行馬爾可夫鏈（吉布斯採樣）

展開的RBM作為深度定向生成模型

Reverse AIS Estimator（RAISE）

MNIST

在 MNIST 上訓練有 500 個隱藏單元的 RBM

初始分布均勻

Omniglot 數據集

在 Omniglot 上訓練有 500 個隱藏單元的 RBM

MNIST 和 Omniglot 的結果

DBM（深度玻爾茲曼機）和 DBN（深度置信網路）

Decoder-Based 模型：將樣本從簡單分布轉換為數據流

Directed vs. Undirected 模型

變分自編碼器（VAE）

VAE：概率有向圖模型，使用被稱為編碼器網路的近似推理模型。

GANs 和 GMMNs

GAN：是解碼器和鑒別器網路之間的博弈訓練的生成模型。

GMMN：採用最大平均差異（MMD）作為訓練目標。

退火重要性採樣（AIS）

AIS：通過引入一個中間分布序列來彌補先驗和後驗之間的差距。

兩個架構，三個模型：VAE、GAN、GMMN

AIS 的驗證：KDE vs. AIS

在模擬數據上的結果（KDE 使用100萬樣本）

MNIST 結果

• VAE 得到的對數似然性比 GAN 或 GMMN 更高。

• KDE 誤差與模型之間的差異具有相同的數量級，不能用於可靠地比較對數似然性。

• 視覺上無法分辨出3個模型間的區別。

• 在我們的簡單實驗中，GAN 和 GMMN 沒有過擬合。

<完>

新智元327技術大會愛奇藝回播視頻鏈接，請點擊閱讀原文。