貝葉斯生成對抗網路（GAN）：當下性能最好的端到端半監督/無監督學習

新智元報道

康奈爾大學的 Andrew Gordon Wilson 和 Permutation Venture 的 Yunus Saatchi 最近發布了一項對無監督和半監督式學習的研究，名為貝葉斯生成對抗網路（Bayesian GAN）。

深度學習對大量標籤數據的依賴是顯而易見的，這也成為抑制深度學習發展的一個潛在要素之一。長久以來，科學家們都在探索使用盡量少的標籤數據，希望實現從監督式學習到半監督式學習再到最後的無監督式學習的轉化。

本文的作者在文章中也提到，「自然高維數據的有效半監督學習對於減少深度學習對大量標籤數據集的依賴性至關重要。」

一般情況下，我們是沒有帶標籤的數據的，除非以高成本或者通過人力勞動或通過昂貴的儀器（如用於自主駕駛的激光雷達）來實現的。

目前，無監督學習離我們還有一段距離，但是半監督式學習已經成為最新的研究熱點。特別是進入2017年以來，對抗生成網路（GAN）和自動編碼等技術不斷獲得進步，都佐證同時推動了半監督學習領域的發展。

對於人工智慧終極目標之一——無監督學習來說，半監督學習也提供了一個實用和可量化的機制，以評估無人監督學習中的最新進展。

貝葉斯對抗生成網路：常見基準上能夠提供最好的半監督學習量化結果

我們先來看一看文章的摘要：

作者提到，生成對抗網路能在不知不覺中學習圖像、聲音和數據中的豐富分布。這些分布通常因為具有明確的相似性，所以很難去建模。

他們在研究中提出了一個實用的貝葉斯公式，在實踐中GAN來進行無監督學習和半監督式學習。在這一框架之下，使用了動態的梯度漢密爾頓蒙特卡洛（Hamiltonian Monte Carlo）來將生成網路和判別網路中的權重最大化。其獲得結果的方法非常的直接，並且在不需要任何標準的干預，比如特徵匹配或者mini-batch discrimination的情況下，都獲得了良好的表現。

通過對生成器中的參數部署一個具有表達性的後驗機制（posteriors）。貝葉斯GAN能夠避免模式碰撞（mode-collapse），產生可判斷的、多樣化的候選樣本，並且提供在既有的一些基準測試上，能夠提供最好的半監督學習量化結果。比如，SVHN, CelebA 和 CIFAR-10。效果遠遠超過 DCGAN, Wasserstein GANs 和 DCGAN 等等。

機器學習的關鍵里程碑：高維自然信號生成模型的建立

通過學習高維自然信號，如圖像，視頻和音頻，進而建立一個很好的生成模型，長久以來一直是機器學習的關鍵里程碑之一。在深層神經網路學習能力的賦能之下，生成對抗網路（GAN）（Goodfellow等，2014）和變分自動編碼器（Kingma和Welling，2013）使AI 領域離實現這一目標更近了。

GAN通過深層神經網路轉換白雜訊（white noise），以從數據分布中產生候選樣本。一個判別器會以一種監督式的方法，來學習如何調整其參數，以正確地區分一個特定的樣本是來自生成器或者真實的數據分布。同時，生成器會更新其參數，以更好地「騙過」判別器。一旦生成器有了足夠的容量，它就能從感興趣的數據分布中近似地抽取CDF、反CDF組合。

由於設計的卷積神經網路為圖像提供了合理的指標（不同於例如高斯似然，Gaussian likelihoods），使用卷積神經網路的GAN以反過來提供令人信服的，在圖像上的隱含分布。

雖然GAN有著極大的影響力，但是他們的學習目標會導致模式碰撞（mode

collapse），也就是，生成器只存儲了少量的幾個訓練樣本，來騙過判別器。這種方法論是對過去的高斯混合中最大似然密度估計的一種「懷舊」：通過每一個組件的變化的碰撞，我們可以獲得一些永久性的相似性，然後把這些相似性儲存在數據集中，但是，這些相似性對於可生成的密度估計來說是無用的。

此外，在GAN的訓練過程中，需要有大量的干預，其中包括，特徵匹配、標籤梳理和mini-batch discrimination。為了緩解這些在實踐中的困難，最近許多研究都著眼於在標準的GAN訓練中，用可轉化的衡量標註，比如f-fivergences和Wasserstein分歧來替換Jensen-Shannon 分歧。

這些研究中，很多都選擇了引入多變的正則化矩陣，以將相似性密度估計最大化。但是，正如選擇爭取的正則化矩陣非常困難一樣，決定自己想要在GAN的訓練中使用的「分歧」，也同樣很難。

作者的想法是，GAN能夠通過完整的概率推理來進行提升。確實，在生成器上的參數中的一個後驗分布，可以是寬泛的和高度多模式的。總的來說，GAN的訓練是基於最小-最大化優化的，通常會對後驗機制在整個網路的權重進行衡量，把其作為一個單一節點上的一個聚焦點。

這樣一來，即便生成器不對訓練樣本進行存儲，我們依然能期待，生成器中的樣本與數據分布中得到的樣本是完全相關的。

此外，在網路權重中的後驗器（posterior）中的每一個模型都與更廣泛的不同的生成器形成呼應，彼此都有自己極具意義的闡釋。通過完全呈現生成器和判別器上的參數中的後驗分布，我們能夠更加準確地為真實的數據建模。隨後，推測的數據分布能夠被用於準確和高數據效率和半監督式的學習。

這種新提出的方法，簡潔性是其最大的優勢——推理是直接進行的、可解釋的、穩定的。確實，所有的實驗結果的獲得，都不需要參數匹配，正則化或者任何的特別（ad-hoc）技巧。

相關代碼將很快公開。

效果：在6大數據集上的驗證

在本研究中，作者提出了一個簡單的貝葉斯公式，用於GAN中的端到端的無監督和半監督學習。在這個框架內，使用動態的梯度Hamiltonian Monte Carlo將生成器和判別器的權重posteriors進行邊際化。作者對從生成器中獲得的數據樣本進行了分析，在生成器的權重中，展示了跨越幾個獨特模型的探索。還展示了在學習真正的分布的過程中，數據和循環的有效性。

作者稱，在幾個著名的基準測試，比如SVHN, MNIST, CIFAR-10 和 CelebA中展示了最好的半監督學習表現。

上圖是貝葉斯GAN在幾個數據集上與DCGAN、W-DCGAN等模型的性能比較。

MINST 是一個用於評估新的機器學習模型的著名基準，包含了60k（50k訓練和10k測試）手寫數字的標籤圖像。

http://yann.lecun.com/exdb/mnist/

MINST 最早的作者是 Chris Burges ， Corinna Cortes ，後由Yann LeCun、Corinna Cortes 和 Christopher J.C. Burges共同完成。

作者共使用了6個著名的公開數據集來測試貝葉斯對抗生成網路模型：synthetic, MNIST, CIFAR-10, SVHN 和 CelebA。每一個數據集有四個不同的標籤樣本集。以上分別是CIFAR-10, SVHN 和 CelebA的樣本圖像。

未來發展方向：貝葉斯深度學習的持續探索

通過在生成器的加權參數進行豐富的多模態分布探索，貝葉斯GAN可以捕獲各種各樣的互補和可解釋的數據表達。作者的研究已經表明，這樣的表達可以使用簡單的推理程序來實現半監督問題的優越性能。

圖4：關於迭代次數的函數測試精度。 我們可以看到，在大約1000次SG-HMC迭代之後，採樣器混合得很好。我們還看到，每次迭代，SG-HMC採樣器比其它方案更有效地學習數據分發。

在將來，可以通過估計概率GAN的邊際相似性（marginal likelihood），根據參數分布將其整合在一起。邊際相似性提供了自動學習超參數的自然效用函數（natural utility function），以及用於在不同GAN架構之間進行模型比較。人們還可以研究各種差異度量（如α分歧家族），用於確定性相似推論，以促進樣本中的熵。將貝葉斯GAN與非參數貝葉斯深層學習框架（如深度內核學習）相結合也是有趣的。我們希望我們的工作將有助於啟發對貝葉斯深度學習的持續探索。

關於GAN

新智元此前的報道：《【最詳盡的GAN介紹】王飛躍等：生成式對抗網路 GAN 的研究進展與展望》曾介紹：

生成式對抗網路 GAN (Generative adversarial networks) 是 Goodfellow 等在 2014 年提出的一種生成式模型。GAN 在結構上受博弈論中的二人零和博弈 (即二人的利益之和為零, 一方的所得正是另一方的所失) 的啟發, 系統由一個生成器和一個判別器構成。生成器捕捉真實數據樣本的潛在分布, 並生成新的數據樣本; 判別器是一個二分類器, 判別輸入是真實數據還是生成的樣本。 生成器和判別器均可以採用目前研究火熱的深度神經網路。GAN 的優化過程是一個極小極大博弈 (Minimax game) 問題, 優化目標是達到納什均衡 , 使生成器估測到數據樣本的分布。

2014 年提出 GAN 以來,各種基於 GAN 的衍生模型被提出, 這些模型的創 新點包括模型結構改進、理論擴展及應用等。

在當前的人工智慧熱潮下, GAN 的提出滿足了 許多領域的研究和應用需求, 同時為這些領域注入了新的發展動力。 GAN 已經成為人工智慧學界一個熱門的研究方向, 著名學者 LeCun 甚至將其稱為「過去十年間機器學習領域最讓人激動的點子」。目前, 圖像和視覺領域是對 GAN 研究和應用最廣泛的一個領域，已經可以生成數字、人臉等物體對象，構成各種逼真的室內外場景, 從分割圖像恢復原圖像, 給黑白圖像上色, 從物體輪廓恢復物體圖像, 從低解析度圖像生成高解析度圖像等。此外, GAN已經開始被應用到語音和語言處理、電腦病毒 監測、棋類比賽程序等問題的研究中。

貝葉斯對抗生成網路論文地址：https://arxiv.org/pdf/1705.09558.pdf

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！