「ICML 2017」WGAN 領銜，Facebook 9 篇論文

20萬，這是新智元今天達到的用戶總數。在飛向智能宇宙的旅程中，感謝每一位和新智元同行的朋友。您的關注和支持是「新智元號」星艦永不枯竭的燃料。

Facebook AI 研究人員本周在澳大利亞悉尼舉辦的國際機器學習會議（ICML）上展示了他們最新的研究成果。國際領先的機器學習國際會議 ICML彙集了跨行業和學術界的研究人員，展開國際信息交流。

Facebook 在本屆 ICML 一共發表了 9 篇論文，話題涵蓋語言建模、優化和無監督學習圖像等主題。此外，Facebook 團隊還組織了一個視頻遊戲和機器學習（VGML）研討會（Workshop）。

在 9 篇論文中，Facebook 特意介紹了他們去年引發轟動的 WGAN。

WGAN：解決不穩定問題，更好地訓練 GAN

提出 WGAN 的文章全名「Wasserstein Generative Adversarial Networks」，由 Facebook 和紐約大學研究人員 Martin Arjovsky，Soumith Chintala 和 Leon Bottouu 合著完成，提出了一種替代並且改進傳統 GAN 訓練的方法，名叫 Wasserstein GAN。

雖然生成對抗網路（GAN）在無監督學習方面表現出了很強的能力，但由於數值收斂不穩定，在實踐中 GAN 訓練演算法往往難以使用。在本文中，研究人員提出，使用地球移動（EM）距離的一個近似來代替 GAN 的目標函數。通過比較 EM 距離與學習分布時常用的概率距離和分歧，研究人員論證了這樣做的合理性，然後定義了 Wasserstein GAN（WGAN），WGAN 可以最大限度地減少 EM 距離的方便近似，並且能消去 GAN 訓練過程中幾個已知的問題。

論文圖2：不同的方法學習 8 個高斯分布的結果：WGAN 能夠在沒有 mode collapse 的情況下學習分布。

WGAN 的主要優點是讓研究人員能夠完整訓練 critic。當 critic 被訓練完時，會給生成器產生一個 loss。Critic 越好，用於訓練生成器的梯度質量就越高。這樣就不需要在 GAN 訓練過程中為了實現生成器和判別器的平衡而進行複雜微調。研究人員還觀察到，當調整生成器的架構使其符合一些條件，WGAN 比 GAN 的魯棒性更高。

WGAN 在實踐中最具吸引力的一個地方是通過在訓練中優化 critic，不斷評估 EM 距離。 由於這些要素都與觀察到的樣本質量密切相關，所以繪製學習曲線在調試和超參數搜索方面非常有用。

論文圖4：不同訓練階段的訓練曲線和樣本。可以看到，誤差較低和樣本質量更高之間有明確的相關性

Facebook 在 ICML 2017 上的 9 篇論文

High-Dimensional Variance-Reduced Stochastic Gradient Expectation-Maximization Algorithm

Rongda Zhu, Lingxiao Wang, Chengxiang Zhai, Quanquan Gu

An Analytical Formula of Population Gradient for two-layered ReLU network and its Applications in Convergence and Critical Point Analysis

Yuandong Tian

Convolutional Sequence to Sequence Learning

Jonas Gehring, Michael Auli, David Grangier, Denis Yarats, Yann Dauphin

Efficient softmax approximation for GPUs

Edouard Grave, Armand Joulin, Moustapha Cisse, David Grangier, Hervé Jégou

Gradient Boosted Decision Trees for High Dimensional Sparse Output

Si Si, Huan Zhang, Sathiya Keerthi, Dhruv Mahajan, Inderjit Dhillon, Cho-Jui Hsieh

Language Modeling with Gated Convolutional Networks

Yann Dauphin, Angela Fan, Michael Auli, David Grangier

Parseval Networks: Improving Robustness to Adversarial Examples

Moustapha Cissem, Piotr Bojanowski, Edouard Grave

Unsupervised Learning by Predicting Noise

Piotr Bojanowski, Armand Joulin

Wasserstein Generative Adversarial Networks

Martin Arjovsky, Soumith Chintala, Leon Bottou

點擊閱讀原文可查看職位詳情，期待你的加入~

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！