Ian Goodfellow：生成對抗網路 GAN 的公式是怎樣推導出來的

新智元編譯

來源：Ian Goodfellow

編輯：肖琴

【新智元導讀】昨天，谷歌大腦研究科學家、生成對抗網路GAN的提出者Ian Goodfellow在Twitter推薦了他最喜歡的兩個機器學習的Theory Hacks，利用這兩個技巧，他在著名的GAN論文中推導了公式。

GAN論文地址：https://papers.nips.cc/paper/5423-generative-adversarial-nets.pdf

昨天，谷歌大腦研究科學家、《深度學習》的作者之一Ian Goodfellow在Twitter推薦了他最喜歡的兩個機器學習「黑魔法」（Theory Hack）。Ian Goodfellow還是生成對抗網路GAN的提出者，利用這兩個技巧，他在著名的GAN論文中推導了一個公式。

很多時候，我們想用代數/微積分來分析神經網路的最優行為。神經網路模型通常非常複雜，用代數方法來實現權重衰減或許可行，但想用代數方法來解決神經網路中大多數函數的參數優化問題就會太過複雜。

為了得到一個不那麼複雜的模型，一個常見的直覺方法是使用線性模型。線性模型很好，因為它能很好的解決凸優化問題。但線性模型也有缺點：它過於簡單，很多神經網路能做的事情線性模型不能做。這樣，解決方法就簡化了。

Theory Hack＃1：將神經網路建模為一個任意函數（因此可以優化所有函數f的空間，而不是特定神經網路架構的參數theta）。與使用參數和特定的架構相比，這種方法非常簡潔。

將神經網路視為一個函數，保留了線性模型的主要優點：多種凸函數問題。例如，分類器的交叉熵損失在函數空間中是凸的。

這個假設不是太準確，特別是與線性模型假設相比。但根據萬能逼近定理（universal approximator theorem），神經網路可以較好地近似任意函數。

Theory Hack＃2：如果你在同一空間優化所有函數時遇到困難，可以將函數想像成一個包含很多項（entries）的向量。評估函數f(x)，其中x在R ^ n中，設想成在一個向量中查找f_x，其中x是一個整數索引。

有了Theory Hack＃2，現在對函數進行優化就變成了一個常規的微積分問題。這種方法很直觀，但不是100％準確。有關更多正式版本和關於何時可以使用的限制信息，請參閱《深度學習》書的19.4.2部分：http://www.deeplearningbook.org/contents/inference.html

利用這兩個 theory hack，我和共同作者推導了GAN論文（Generative Adversarial Nets）中的第2個公式：https://papers.nips.cc/paper/5423-generative-adversarial-nets.pdf ...

最後，Convex Optimization 這本書的3.2節有更多這樣的theory hacks

PDF版電子書地址：https://web.stanford.edu/~boyd/cvxbook/bv_cvxbook.pdf

【加入社群】

新智元 AI 技術 + 產業社群招募中，歡迎對 AI 技術 + 產業落地感興趣的同學，加小助手微信號: aiera2015_3 入群；通過審核後我們將邀請進群，加入社群後務必修改群備註（姓名 - 公司 - 職位；專業群審核較嚴，敬請諒解）。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！