當前位置:
首頁 > 新聞 > 還記得Wasserstein GAN嗎?不僅有Facebook參與,也果然被 ICML 接收 | ICML 2017

還記得Wasserstein GAN嗎?不僅有Facebook參與,也果然被 ICML 接收 | ICML 2017

雷鋒網 AI 科技評論按:Facebook列出了自己的9篇 ICML 2017論文,Wasserstein GAN 赫然位列其中。

還記得Wasserstein GAN嗎?不僅有Facebook參與,也果然被 ICML 接收 | ICML 2017

ICML 2017 仍然在悉尼火熱進行中,Facebook 研究院今天也發文介紹了自己的 ICML 論文。Facebook有9篇論文被 ICML 2017接收,這些論文的主題包括語言建模、優化和圖像的無監督學習;另外 Facebook 還會共同參與組織 Video Games and Machine Learning Workshop。

曾掀起研究熱潮的 Wasserstein GAN

在9篇接收論文中,Facebook 自己最喜歡的是「Wasserstein Generative Adversarial Networks」(WGAN)這一篇,它也確實對整個機器學習界有巨大的影響力,今年也掀起過一陣 WGAN 的熱潮。

Ian Goodfellow 提出的原始的 GAN 大家都非常熟悉了,利用對抗性的訓練過程給生成式問題提供了很棒的解決方案,應用空間也非常廣泛,從此之後基於 GAN 框架做應用的論文層出不窮,但是 GAN 的訓練困難、訓練進程難以判斷、生成樣本缺乏多樣性(mode collapse)等問題一直沒有得到完善解決。 這篇 Facebook 和紐約大學庫朗數學科學研究所的研究員們合作完成的 WGAN 論文就是眾多嘗試改進 GAN、解決它的問題的論文中具有里程碑意義的一篇。

WGAN 的作者們其實花了整整兩篇論文才完全表達了自己的想法。在第一篇「Towards Principled Methods for Training Generative Adversarial Networks」裡面推了一堆公式定理,從理論上分析了原始GAN的問題所在,從而針對性地給出了改進要點;在這第二篇「Wasserstein Generative Adversarial Networks」裡面,又再從這個改進點出發推了一堆公式定理,最終給出了改進的演算法實現流程。

還記得Wasserstein GAN嗎?不僅有Facebook參與,也果然被 ICML 接收 | ICML 2017

WGAN 成功地做到了以下爆炸性的幾點:

  • 徹底解決GAN訓練不穩定的問題,不再需要小心平衡生成器和判別器的訓練程度

  • 基本解決了collapse mode的問題,確保了生成樣本的多樣性

  • 訓練過程中終於有一個像交叉熵、準確率這樣的數值來指示訓練的進程,這個數值越小代表GAN訓練得越好,代表生成器產生的圖像質量越高(如題圖所示)

  • 以上一切好處不需要精心設計的網路架構,最簡單的多層全連接網路就可以做到

而改進後相比原始GAN的演算法實現流程卻只改了四點:

  • 判別器最後一層去掉sigmoid

  • 生成器和判別器的loss不取log

  • 每次更新判別器的參數之後把它們的絕對值截斷到不超過一個固定常數c

  • 不要用基於動量的優化演算法(包括momentum和Adam),推薦RMSProp,SGD也行

所以數學學得好真的很重要,正是靠著對 GAN 的原理和問題的深入分析,才能夠找到針對性的方法改進問題,而且最終的呈現也這麼簡單。( WGAN詳解參見雷鋒網 AI 科技評論文章 令人拍案叫絕的Wasserstein GAN)

WGAN 論文今年1月公布後馬上引起了轟動,Ian Goodfellow 也在 reddit 上和網友們展開了熱烈的討論。不過在討論中,還是有人反映 WGAN 存在訓練困難、收斂速度慢等問題,WGAN 論文一作 Martin Arjovsky 也在 reddit 上表示自己意識到了,然後對 WGAN 做了進一步的改進。

改進後的論文為「Improved Training of Wasserstein GANs」。原來的 WGAN 中採用的 Lipschitz 限制的實現方法需要把判別器參數的絕對值截斷到不超過固定常數 c,問題也就來自這裡,作者的本意是避免判別器給出的分值區別太大,用較小的梯度配合生成器的學習;但是判別器還是會追求盡量大的分值區別,最後就導致參數的取值總是最大值或者最小值,浪費了網路優秀的擬合能力。改進後的 WGAN-GP 中更換為了梯度懲罰 gradient penalty,判別器參數就能夠學到合理的參數取值,從而顯著提高訓練速度,解決了原始WGAN收斂緩慢的問題,在實驗中還第一次成功做到了「純粹的」的文本GAN訓練。(WGAN-GP詳解參見雷鋒網 AI 科技評論文章掀起熱潮的Wasserstein GAN,在近段時間又有哪些研究進展?)

另外八篇論文

Facebook 此次被 ICML 2017 接收的9篇論文里的另外8篇如下,歡迎感興趣的讀者下載閱讀。

  • High-Dimensional Variance-Reduced Stochastic Gradient Expectation-Maximization Algorithm

    • http://proceedings.mlr.press/v70/zhu17a/zhu17a.pdf

  • An Analytical Formula of Population Gradient for two-layered ReLU network and its Applications in Convergence and Critical Point Analysis

    • 作者田淵棟

    • https://arxiv.org/abs/1703.00560v2

  • Convolutional Sequence to Sequence Learning

    • http://proceedings.mlr.press/v70/gehring17a/gehring17a.pdf

  • Efficient softmax approximation for GPUs

    • http://proceedings.mlr.press/v70/grave17a/grave17a.pdf

  • Gradient Boosted Decision Trees for High Dimensional Sparse Output

    • http://proceedings.mlr.press/v70/si17a/si17a.pdf

  • Language Modeling with Gated Convolutional Networks

    • http://proceedings.mlr.press/v70/dauphin17a/dauphin17a.pdf

  • Parseval Networks: Improving Robustness to Adversarial Examples

    • http://proceedings.mlr.press/v70/cisse17a/cisse17a.pdf

  • Unsupervised Learning by Predicting Noise

    • http://proceedings.mlr.press/v70/bojanowski17a/bojanowski17a.pdf

雷鋒網 AI 科技評論會繼續帶來更多精彩論文和現場演講報道,請繼續關注。

喜歡這篇文章嗎?立刻分享出去讓更多人知道吧!

本站內容充實豐富,博大精深,小編精選每日熱門資訊,隨時更新,點擊「搶先收到最新資訊」瀏覽吧!


請您繼續閱讀更多來自 雷鋒網 的精彩文章:

薅運費險羊毛?他們是這麼反擊的
《戰狼2》的無人機炫酷?頂多就是個電影特效
CVPR精彩論文解讀:對當下主流CNN物體檢測器的對比評測
錯過CVPR 2017?絕對不能錯過GAIR大講堂——上海交大專場開啟報名

TAG:雷鋒網 |

您可能感興趣

ICML 2019錄取結果出爐,Ian Goodfellow等入選論文推薦
伯克利 AI 研究院提出新的數據增強演算法,比谷歌大腦的 AutoAugment 更強!| ICML 2019 oral 論文
圖靈獎得主Yoshua Bengio談5G、中美爭端以及錯誤的ICML最佳論文
在ICML上展現類腦晶元,Abakus所pick的可不只這款硬科技!
頂會ICML特別開設「懟日」Workshop,意見不同您儘管來
在ICML展現類腦晶元,Abakus(鯨算科技)pick的可不只這款硬科技
超越標準 GNN !DeepMind、谷歌提出圖匹配網路| ICML最新論文
Google「推翻」無監督研究成果!斬獲 ICML 2019 最佳論文
馬上開始的機器學習頂會ICML該關注什麼?論文集、精彩Workshop都在這裡
AI頂會正變身商展,會將不會,還NeurIPS、ICML本來面貌!
【ICML 2019】微軟最新通用預訓練模型MASS,超越BERT、GPT!
不被大神Hinton認同,否定現有同行成果,谷歌這篇燒腦研究最終拿下ICML2019最佳論文
數千人頂會的乾貨,ICML、CVPR2019演講視頻資源在此
明年AI學術會議投稿規模炸裂!注意ICML 2019的這些變化
ICML 2019 大會投稿新要求出爐!
機器學習頂會 ICML 2018 開始了
ICML2018論文告訴你,一般的公平性準則不能保證AI演算法的公平性
ICML 2018 | MILA提出防禦增強型網路:簡單修改已有網路即可提升防攻擊能力
擁有解耦表徵的無監督學習是不可能的!硬核ICML 2019最佳論文出爐
「ICML 2018最佳論文出爐」MIT、UC伯克利獲最佳論文,復旦大學等獲提名獎