「Ian Goodfellow 五問」GAN、深度學習，如何與谷歌競爭

1 新智元編譯

獨立學習者或研究人員如何與谷歌，Facebook、OpenAI這樣的公司里快節奏的深度學習研究相競爭？

Ian Goodfellow：在谷歌大腦，我們實際上經常考慮如何選擇項目，確保它們值得做，因為世界上有很多人在做很多其他工作。我在OpenAI期間他們戰略的重要組成部分也是這樣。

全世界對AI的廣泛關注意味著AI研究從優化轉變為博弈論。研究人員以前能只是根據興趣選擇研究課題。現在，重要的是預測其他研究人員會做什麼，並選擇一個可以提供獨特優勢的主題。

對抗機器學習研究有什麼新的和令人興奮的領域？

Ian Goodfellow：

• 防禦對抗樣本是一個非常熱門的話題。如果你也想要這樣做，可以看看我們的 Kaggle 比賽——NIPS 2017：有針對性的對抗攻擊（https://www.kaggle.com/c/nips-2017-targeted-adversarial-attack/rules）

• Aleksander Madry 等人發現，使用帶有隨機重新啟動（restart）的迭代演算法創建的對抗示例，它們對抗訓練非常適用於MNIST和CIFAR的防禦。Madry 他們有一個公開的挑戰：MadryLab / mnist_challenge

• 有很多關於如何竊取遠程託管模型，然後攻擊它們的工作（https://arxiv.org/abs/1602.02697）

• 如何使不同模型之間的對抗示例更好地轉移（https：//arxiv.org/pdf/1611.02770 ），以及如何使他們騙過物理世界中操作的模型（https://arxiv.org/abs/1607.02533），從不同的距離和角度從相機觀看對抗性示例（https://blog.openai.com/robust-adversarial-inputs/）

• 我個人在使 GAN 更加穩定，可靠，易於使用這方面做了很多工作

• 很多人對於如何將GAN用於文本非常有興趣

• 對於隱寫術的對抗技術（例如通過對抗訓練生成隱寫圖像）有一些關注

• 半監督學習的對抗方法（https://arxiv.org/abs/1605.07725）

還有很多其他的研究進展；列出所有內容是不可能的！

機器學習領域你推薦哪 3 本書籍？

1. 《深度學習》（Deep Learning），Ian Goodfellow、Bengio 和 Aaron Courville 合著。

回顧十多年前我學習機器學習的過程，那時候我最喜歡的書是：

2. Chris Bishop的《模式識別與機器學習》（Pattern Recognition and Machine Learning）

3. Daphne Koller和Nir Friedman的《概率圖模型》（Probabilistic Graphical Models）

不過，我不太熟悉在我已經學會了大部分相關主題之後出現的比較新的書籍，例如 Kevin Murphy 的書籍，所以我很難做出真正全面的排名。

此外你還推薦哪些書籍？

其他我推薦的有助於 AI 和機器學習的書：

4. AI: A Modern Approach by Stuart Russel and Peter Norvig

5. Introduction to Algorithms by Thomas H. Cormen

6. Cracking the Coding Interview by Gayle McDowell

7. Difficult Conversations: How to Discuss what matters most. By Douglas Stone et al. (The social side of an AI career is extremely important too!)

8. Elements of the Theory of Functions and Functional Analysis by A.N. Kolmogorov and S.V. Fromin

9. If you』re interested in generative models or computer vision: Natural Image Statistics

10. Linear Algebra, Georgi E. Shilov

深度學習的未來是什麼？

深度學習的下一步還有很多事情要做。需要考慮從許多方向向外擴展，而不是在一個方向前進：

更好的強化學習/深度學習和強化學習的整合。能夠可靠地學習如何控制機器人等的強化學習演算法。

更好的生成模型。能夠可靠地學習如何生成圖像，話語，文本的演算法，而且人類無法將生成的結果與真實的東西區分。

無處不在的深度學習：能夠重新設計自己的架構，調整自己的超參數等的演算法。現在，仍然需要人類專家來運行學習演算法，但是將來會更容易部署，而且非專門從事AI的各種業務都將能夠利用深度學習。

機器學習的安全性，安全所需的機器學習：將有更多網路攻擊利用機器學習來製造更自動化的惡意軟體，更有效的漏洞等等。也將有更多的網路防禦利用機器學習來實現比人類更快的響應，檢測更微妙的入侵等。來自對方陣營的ML演算法將互相欺騙，進行攻擊和防禦。

活動的動態路由將導致更大的模型，可以使用相比當前模型更少的計算來處理單個樣本。但總體而言，大量的計算將繼續是AI的關鍵; 每當我們使一個模型使用較少的計算時，我們需要並行運行數千個模型來學習它們。

半監督學習和one-shot learning 將減少訓練模型所需的數據量，並令AI的使用更廣泛。

研究將側重於製作極強大的模型，這些模型幾乎從不犯錯誤，可用於安全關鍵型的應用程序。

深度學習將繼續滲入到一般文化中，我們將看到藝術家和發明家使用它們來做我們從未想到的事情。我認為Alexei Efros的實驗室和CycleGAN之類的項目是這樣的開始。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！