ICML 上有19場 DeepMind的論文演講，多到看不過來了 | ICML 2017

雷鋒網 AI 科技評論按：ICML 2017馬上就要在悉尼舉行了。ICML （International Conference on Machine Learning）與每年年底舉行的NIPS（Conference on Neural Information Processing Systems）是機器學習與人工智慧研究領域影響力極高的兩個主要會議，另外上半年舉行的 ICLR（International Conference on Learning Representations）也有後來居上的趨勢。

ICML 2017的會議時間是8月6日到8月11日，悉尼的跟北京的時差也僅僅有兩個小時而已，所以很快就要到了。其實 ICML 2017 接收論文名單早在5月就公布了，不過 DeepMind 還是想提醒參會者們關注一下自己的論文，所以今天在自己研究 blog 上發出了一份論文演講清單。

這份清單中一共有 19篇論文，也就是19個論文演講，其實 DeepMind 在此屆 ICML 上收錄的論文本來也有25篇之多。一個 19 篇論文的清單太長了，以至於 DeepMind 都把這份清單分成了3篇來發。

論文這麼多，雷鋒網 AI 科技評論這裡為大家簡單介紹其中3篇。

• 深度神經網路中尖銳的最小值也可以讓模型具有泛化能力

• 論文作者：Laurent Dinh (Univ. Montreal), Razvan Pascanu, Samy Bengio (Google Brain), Yoshua Bengio (Univ. Montreal)

• 論文簡介：雖然深度學習架構的過擬合能力強得過頭了一點，不過它們對於全新數據的泛化能力還是相對不錯的，這樣就可以用它們來解決一些實際問題。然而，解釋這種狀況背後的機理仍然是研究中的一個富有開放性的問題。有一種假設最近得到了越來越多的關注，就是基於隨機梯度的方式找到的損失函數的最小值，它的平滑度越高，模型的泛化性能就越高。這篇論文提出了這樣的觀點：多數關於平滑度的想法對於深度神經網路都不貼切，而且沒辦法直接用來解釋泛化性。具體討論帶有激活函數的深度神經網路的話，可以得出由繼承對稱性引出的這些網路架構的參數空間的特定幾何結構，利用這些幾何結構可以構建出跟任意更尖銳的最小值等效的模型。更進一步地，如果允許對一個函數重新參數化，它的參數幾何結構可以大幅度變化，但並不影響它的泛化屬性。

• 論文地址：https://arxiv.org/abs/1703.04933

• 論文演講：Monday 07 August, 11:06-11:24 @ C4.8

• 海報地址：Tuesday 08 August, 18:30-22:00 @ Gallery #3

Learning to learn without gradient descent by gradient descent

• 無需梯度下降的梯度下降，學會一個會學習的模型

• 論文作者：Yutian Chen, Matthew Hoffman, Sergio Gomez, Misha Denil, Timothy Lillicrap, Matthew Botvinick , Nando de Freitas（全部都是 DeepMind 英國團隊成員）

• 論文簡介：藉助梯度下降的方法，可以用簡單的生成函數訓練，學到循環神經網路（RNN）優化器。可以表明，這些學到的優化器展現出了相當高的遷移能力，它們可以用來高效地優化很多種不可導的「黑盒」函數，包括 bandit 環境下的高斯過程、簡單控制對象、全局優化benchmark和超參數調節任務。在訓練層面上，學到的優化器可以學會在應用和探索中找到平衡，並且根據自己的偏好在高度工程化的貝葉斯優化方法集中選擇適合做超參數調節的方法。

• 論文地址：https://arxiv.org/abs/1611.03824

• 論文演講：Monday 07 August, 17:15-17:33 @ Darling Harbour Theatre

• 海報地址：Tuesday 08 August, 18:30-22:00 @ Gallery #6

• 雷鋒網 AI 科技評論註：這篇論文的名字很有特點，而且論文一作也是華人，我們已經叮囑了前方記者特別關注一下，請期待我們的好消息

Neural Audio Synthesis of Musical Notes with WaveNet Autoencoders

• 用 WaveNet 自動編碼器神經網路生成樂音

• 論文作者：Sander Dieleman, Karen Simonyan, Jesse Engel (Google Brain), Cinjon Resnick (Google Brain), Adam Roberts (Google Brain), Douglas Eck (Google Brain), Mohammad Norouzi (Google Brain)

• 論文簡介：在演算法進步和高質量圖像數據集這兩個因素的幫助下，視覺方面的生成式模型已經得到了快速的發展。這篇論文為音頻領域的這兩個因素都做出了貢獻，以便音頻模型也可以有更大的發展空間。首先，作者們詳細介紹了一個優越的新型 WaveNet 樣式的自動編碼器模型，它對應著一個能從原始音頻波形學到臨時編碼的自回歸解碼器。其次，作者們介紹了 NSynth，這是一個大規模、高質量的音樂數據集，它比現有的公開數據集規模要大一個數量級。藉助 NSynth，論文中展現出，相比一個完善優化過的頻譜自動編碼器基準模型， WaveNet 自動編碼器在定量和定性表現上都有提高。最後，論文表明這個模型可以學到多種embedding，從而可以在樂器之間轉化、在音色中做有意義的插值，創造出真實動人的新的類型的聲音。

• 論文地址：https://arxiv.org/abs/1704.01279

• 論文演講：Tuesday 08 August, 14:42-15:00 @ Parkside 1

• 海報地址：Tuesday 08 August, 18:30-22:00 @ Gallery #98

其它 16 篇演講論文

• Decoupled Neural Interfaces using Synthetic Gradients

• https://arxiv.org/abs/1608.05343

• Parallel Multiscale Autoregressive Density Estimation

• https://arxiv.org/abs/1703.03664

• Understanding Synthetic Gradients and Decoupled Neural Interfaces

• https://arxiv.org/abs/1703.00522

• Minimax Regret Bounds for Reinforcement Learning

• https://arxiv.org/abs/1703.05449

• Video Pixel Networks

• https://arxiv.org/abs/1610.00527

• Why is Posterior Sampling Better than Optimism for Reinforcement Learning?

• https://arxiv.org/abs/1607.00215

• DARLA: Improving Zero-Shot Transfer in Reinforcement Learning

• http://arxiv.org/abs/1707.08475

• Automated Curriculum Learning for Neural Networks

• https://arxiv.org/abs/1704.03003

• A Distributional Perspective on Reinforcement Learning

• https://arxiv.org/abs/1707.06887

• A Laplacian Framework for Option Discovery in Reinforcement Learning

• http://proceedings.mlr.press/v70/machado17a/machado17a.pdf

• Cognitive Psychology for Deep Neural Networks: A Shape Bias Case Study

• https://arxiv.org/pdf/1706.08606.pdf

• Count-Based Exploration with Neural Density Models

• https://arxiv.org/abs/1703.01310

• The Predictron: End-to-End Learning and Planning

• https://arxiv.org/abs/1612.08810

• FeUdal Networks for Hierarchical Reinforcement Learning

• https://arxiv.org/abs/1703.01161

• Neural Episodic Control

• https://arxiv.org/pdf/1703.01988.pdf

• Neural Message Passing Learns Quantum Chemistry

• https://arxiv.org/abs/1704.01212

對後16篇論文演講時間和海報地點感興趣的讀者，可以訪問 DeepMind 原博具體查看。這裡是論文清單3篇里第一篇的地址，在文末有指向另外兩篇的鏈接。

不能親臨 ICML 2017 的讀者，可以先看看以上的論文，並期待我們的會議相關報道；能夠到現場的呢，雷鋒網 AI 科技評論就跟你們現場見！

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！