Yann LeCun 最新研究成果：可以幫助 GAN 使用離散數據的 ARAE

知識 06-21

Facebook人工智慧研究中心FAIR負責人、深度學習三駕馬車之一的Yann LeCun昨天在Facebook上評論轉發了一條動態。Yann LeCun轉發的這條動態來自跟他合作的一位紐約大學在讀博士生Jake Zhao，介紹了一篇已經上傳arXiv的論文。論文介紹了一種可以幫助GAN使用離散數據的「對抗性正則化的自動編碼器」（ARAE，Adversarially Regularized Autoencoders）。Yann LeCun作為這篇論文的合作作者之一，轉發這條消息並且進行了解讀和評價。

根據論文原文，AI 研習社整理了這樣一張圖，可以對ARAE要解決的問題做一個大體的認識：

如圖是原動態和Yann LeCun的轉發評論，譯文請見下文

Yann LeCun的轉發評論

Adversarially Regularized Autoencoders（對抗性正則化的自動編碼器，ARAE）是一種新的方法，它可以把編碼的內容信息限制在一個自動編碼器中，並且防止該自動編碼器學習到身份函數。為了達到這樣的目標，以前就有過一些sparse AE（稀疏自動編碼器）、variational AE（變分自動編碼器，在代碼中加入雜訊）、denoising AE（降噪自動編碼器）這樣的嘗試，也有人用差異對比這樣的對比方法和其它基於MCMC（Markov Chain Monte Carlo，隨機模擬）的方法。這次，我們用一組對抗性的生成器和鑒別器來生成指定熵的樣本，並且我們藉助鑒別器讓自動編碼器中編碼的分布跟這對生成器鑒別器的分布相匹配。

經過訓練以後，這個自動編碼器的生成器和編碼器部分就可以用作一個生成性模型。

ARAE可以有一種厲害的用法，就是可以在對抗性的設定下生成離散性的結構（比如文本）。由於對抗的過程是發生在（連續）編碼上的，而不是輸出上，這就可以緩解對抗性鑒別器直接用在離散輸出上時可能會遇到的問題。

這項研究中有紐約大學、哈佛大學、FAIR多方合作，幾個參與者是，紐約大學數據科學碩士畢業生、博士在讀Jake Zhao，哈佛大學校友、博士在讀Yoon Kim，紐約大學本科生Kelly Zhang，哈佛大學學生Sasha Rush，以及我自己。

Jake Zhao的消息內容

剛剛發表了這篇"Adversarially Regularized Autoencoders for Generating Discrete Structures"（用於生成離散結構的對抗性正則化的自動編碼器）論文，感覺非常激動，幾個共同作者Yoon Kim, Kelly Zhang, Sasha Rush和Yann LeCun也都很厲害。

論文地址：

https://arxiv.org/abs/1706.04223

代碼地址（有Torch和PyTorch兩個版本）：

https://github.com/jakezhaojb/ARAE

對於在離散結構上進行對抗性訓練，我們提出了一個簡單的解決方案：通過重新構建的方式訓練一個序列到序列的轉換模型，然後讓GAN在連續編碼空間中工作。同時，從GAN傳回到序列轉換模型的梯度也對訓練一個有意義的自動序列轉換模型起到了很大幫助。通過努力，我們得到了一個圖像GAN網路應當具有的一組理想屬性：生成性，z空間插值，向量計算。我們也基於語言模型生成樣本的質量對該方法進行了量化評估。

開發者專場 | 英偉達深度學習學院現場授課