ICLR 2017 特稿：谷歌和 Facebook 亮眼表現盤點

新智元原創

來源：Google Research、Facebook Research、Twitter

作者：文強

新智元啟動 2017 最新一輪大招聘：COO、總編、主筆、運營總監、視覺總監等８大職位全面開放。

新智元為COO和執行總編提供最高超百萬的年薪激勵；為骨幹員工提供最完整的培訓體系、高於業界平均水平的工資和獎金。加盟新智元，與人工智慧業界領袖攜手改變世界。

簡歷投遞：jobs@aiera.com.cnHR 微信：13552313024

【新智元導讀】備受矚目的深度學習&機器學習頂會 ICLR 2017 本周召開。新智元此前全面報道了 ICLR 的最佳論文及議程：ICLR 2017 最佳論文出爐，機器自主編程再稱雄。這次我們將介紹谷歌和 Facebook 兩家頂級實驗室在 ICLR 的表現。

本周 24 日到 26 日，素有深度學習屆頂會「無冕之王」之稱的第五屆國際學習表徵會議（ICLR 2017）在法國土倫舉行。

ICLR 關注如何學習對於機器學習重要有用的數據，雖然今年只是第 5 屆，卻已經是業內頂尖的機器學習會議。ICLR 彙集了頂級的人工智慧和機器學習專家，討論如何最有效地學習對視覺、語音、音頻和自然語言處理等應用領域有意義和有用的數據表徵。

本屆 ICLR 一共收到了大約 500 篇論文。與上屆的最大不同在於，本屆 ICLR 論文評審採用了 OpenReview 機制，也即全部公開透明，評論者可以匿名。在 ICLR 官網，不僅將被接收的論文列了出來（按口頭彙報、海報展示和研討會討論 3 種），被拒絕的論文也全部公布。具體的評審、討論，以及作者回復全都可以在 OpenReview 上查看：https://openreview.net/group?id=ICLR.cc/2017/conference

這樣做的目標是提高整體審核流程的質量。組委會介紹，通過使用 OpenReview，作者可以隨時更新他們的論文回複評論。此外，社區中的任何人都可以對提交內容進行評論，審核人員可以利用公眾討論來提高他們對論文的理解和評價。

ICLR 創始人 Yoshua Bengio 和 Yann LeCun 擔任 General Chair。Facebook 的 Marc" Aurelio Ranzato 是 Senior Program Chair。谷歌 Tara Sainath、Google DeepMind Oriol Vinyals，以及 Google Brain 蒙特利爾分部負責人 Hugo Larochelle 擔任 Program Chair。

最佳論文是由組委會決定——當然，其中一篇最佳論文也帶來了一定的爭議。不過，即使被拒絕的論文，如果想法創新，也會受邀在研討會 Track 做討論。

ICLR 會場盛況。圖片來源：Twitter 用戶 Abtin Setyani

谷歌在本屆 ICLR：50 多人蔘會，2 篇最佳論文，白金贊助商

一如既往，Google Research 官方博客介紹了 Google 團隊在 ICLR 的活動，而作者正是剛剛從 OpenAI 回到 Google Brain 的 Ian Goodfellow。據悉，Google 在本屆 ICLR 參加的活動包括會議和研討會，有特邀的講者發言，還有關於深度學習、指標學習（metric learning）、核學習（kernel learning）、組合模型（compositional model）、非線性結構預測（non-linear structured prediction）和非凸優化問題優化（non-convex optimization）的一些最新研究的口頭報告和海報展示。

Ian Goodfellow 介紹，在神經網路和深度學習領域尖端技術創新的前沿，Google 專註於理論和應用，開發學習方法理解並推廣上述技術。作為 ICLR 2017 的白金贊助商，今年 Google 有超過 50 名研究人員（許多來自 Google Brain 團隊和 Google Research 歐洲團隊）出席，提交了多篇論文並被接收，包括口頭彙報（三篇最佳論文中的兩篇）和海報展示。

Google 也組織並參與了多個研討會。其中，George Dahl, Slav Petrov, Vikas Sindhwani 擔任區域主席（Area Chair）；Hugo Larochelle 和 Tara Sainath 是擔任了程序主席（Program Chair）。

以下就是 Google 在這次 ICLR 上的論文，* 表示作者在 Google 工作/實習期間參與完成? 表示作者在 OpenAI 時完成：

• Contrbuted Talks

【最佳論文】理解深度學習需要重新思考泛化

Understanding Deep Learning Requires Rethinking Generalization

Chiyuan Zhang*, Samy Bengio, Moritz Hardt, Benjamin Recht*, Oriol Vinyals

【最佳論文】使用私密訓練數據的半監督知識遷移深度學習

Semi-Supervised Knowledge Transfer for Deep Learning from Private Training Data

Nicolas Papernot*, Martín Abadi, úlfar Erlingsson, Ian Goodfellow, Kunal Talwar

Ian Goodfellow 和他的合著者在現場免費發放他們獲最佳論文的 FATE-G（Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data）T 恤

Q-Prop: Sample-Efficient Policy Gradient with An Off-Policy Critic

Shixiang (Shane) Gu*, Timothy Lillicrap, Zoubin Ghahramani, Richard E.Turner, Sergey Levine

Neural Architecture Search with Reinforcement Learning

Barret Zoph, Quoc Le

• 海報展示

Adversarial Machine Learning at Scale

Alexey Kurakin, Ian J. Goodfellow?, Samy Bengio

Capacity and Trainability in Recurrent Neural Networks

Jasmine Collins, Jascha Sohl-Dickstein, David Sussillo

Improving Policy Gradient by Exploring Under-Appreciated Rewards

Ofir Nachum, Mohammad Norouzi, Dale Schuurmans

Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer

Noam Shazeer, Azalia Mirhoseini, Krzysztof Maziarz, Andy Davis, Quoc Le, Geoffrey Hinton, Jeff Dean

Unrolled Generative Adversarial Networks

Luke Metz, Ben Poole*, David Pfau, Jascha Sohl-Dickstein

Categorical Reparameterization with Gumbel-Softmax

Eric Jang, Shixiang (Shane) Gu*, Ben Poole*

Decomposing Motion and Content for Natural Video Sequence Prediction

Ruben Villegas, Jimei Yang, Seunghoon Hong, Xunyu Lin, Honglak Lee

Density Estimation Using Real NVP

Laurent Dinh*, Jascha Sohl-Dickstein, Samy Bengio

Latent Sequence Decompositions

William Chan*, Yu Zhang*, Quoc Le, Navdeep Jaitly*

Learning a Natural Language Interface with Neural Programmer

Arvind Neelakantan*, Quoc V. Le, Martín Abadi, Andrew McCallum*, Dario

Amodei*

Deep Information Propagation

Samuel Schoenholz, Justin Gilmer, Surya Ganguli, Jascha Sohl-Dickstein

Identity Matters in Deep Learning

Moritz Hardt, Tengyu Ma

A Learned Representation For Artistic Style

Vincent Dumoulin*, Jonathon Shlens, Manjunath Kudlur

Adversarial Training Methods for Semi-Supervised Text Classification

Takeru Miyato, Andrew M. Dai, Ian Goodfellow?

HyperNetworks

David Ha, Andrew Dai, Quoc V. Le

Learning to Remember Rare Events

Lukasz Kaiser, Ofir Nachum, Aurko Roy*, Samy Bengio

• 研討會論文

Particle Value Functions

Chris J. Maddison, Dieterich Lawson, George Tucker, Nicolas Heess, Arnaud Doucet, Andriy Mnih, Yee Whye Teh

Neural Combinatorial Optimization with Reinforcement Learning

Irwan Bello, Hieu Pham, Quoc V. Le, Mohammad Norouzi, Samy Bengio

Short and Deep: Sketching and Neural Networks

Amit Daniely, Nevena Lazic, Yoram Singer, Kunal Talwar

Explaining the Learning Dynamics of Direct Feedback Alignment

Justin Gilmer, Colin Raffel, Samuel S. Schoenholz, Maithra Raghu, Jascha Sohl-Dickstein

Training a Subsampling Mechanism in Expectation

Colin Raffel, Dieterich Lawson

Tuning Recurrent Neural Networks with Reinforcement Learning

Natasha Jaques*, Shixiang (Shane) Gu*, Richard E. Turner, Douglas Eck

REBAR: Low-Variance, Unbiased Gradient Estimates for Discrete Latent Variable Models

George Tucker, Andriy Mnih, Chris J. Maddison, Jascha Sohl-Dickstein

Adversarial Examples in the Physical World

Alexey Kurakin, Ian Goodfellow?, Samy Bengio

Regularizing Neural Networks by Penalizing Confident Output Distributions

Gabriel Pereyra, George Tucker, Jan Chorowski, Lukasz Kaiser, Geoffrey Hinton

Unsupervised Perceptual Rewards for Imitation Learning

Pierre Sermanet, Kelvin Xu, Sergey Levine

Changing Model Behavior at Test-time Using Reinforcement Learning

Augustus Odena, Dieterich Lawson, Christopher Olah

Facebook 在本屆 ICLR：18 篇論文，海報展示和研討會

Facebook Research 官方博客也將他們在 ICLR 上的成果展現了出來。

Facebook 會參加本屆 ICLR 的 18 場會議和研討會，分享他們的最新研究。值得一提的是，知乎上非常活躍的大牛，我們熟悉的田淵棟老師有 2 篇論文被接收（一共提交了 3 篇論文）。

Facebook 人工智慧實驗室（FAIR）在本屆 ICLR 提交的論文如下：

An Analytical Formula of Population Gradient for Two-Layered ReLU network and its Applications in Convergence and Critical Point Analysis

Yuandong Tian

Automatic Rule Extraction from Long Short Term Memory Networks

James Murdoch and Arthur Szlam

CommAI: Evaluating the Frst Steps Towards a Useful General AI

Marco Baroni, Armand Joulin, Allan Jabri, Germaan Kruszewski, Angeliki Lazaridou, Klemen Simonic, and Tomas Mikolov

Dialogue Learning With Human-in-the-Loop

Jiwei Li, Alexander H. Miller, Sumit Chopra, Marc』Aurelio Ranzato, and Jason Weston

DSD: Dense-Sparse-Dense Training for Deep Neural Networks

（原文沒有給出作者和論文鏈接）

Efficient Softmax Approximation for GPUs

édouard Grave, Armand Joulin, Moustapha Cissé, David Grangier, and Hervé Jégou

Episodic Exploration for Deep Deterministic Policies for StarCraft Micromanagement

Nicolas Usunier, Gabriel Synnaeve, Zeming Lin, and Soumith Chintala

Improving Neural Language Models with a Continuous Cache

Edouard Grave, Armand Joulin, and Nicolas Usunier

Learning End-to-End Goal-Oriented Dialog

Antoine Bordes, Y-Lan Boureau, and Jason Weston

Learning Through Dialogue Interactions by Asking Questions

Jiwei Li, Alexander H. Miller, Sumit Chopra, Marc』Aurelio Ranzato, and Jason Weston

LR-GAN: Layered Recursive Generative Adversarial Networks for Image Generation

Jianwei Yang, Anitha Kannan, Dhruv Batra, and Devi Parikh

Multi-Agent Cooperation and the Emergence of (Natural) Language

Angeliki Lazaridou, Alexander Peysakhovich, and Marco Baroni

Revisiting Classifier Two-Sample Tests

David Lopez-Paz and Maxime Oquab

Towards Principled Methods for Training Generative Adversarial Networks

Martin Arjovsky and Leon Bottou

Tracking the World State with Recurrent Entity Networks

Mikael Henaff, Jason Weston, Arthur Szlam, Antoine Bordes, and Yann LeCun

Training Agent for First-Person Shooter Game with Actor-Critic Curriculum Learning

Yuxin Wu and Yuandong Tian

Unsupervised Cross-Domain Image Generation

Yaniv Taigman, Adam Polyak, and Lior Wolf

Variable Computation in Recurrent Neural Networks

Yacine Jernite, Edouard Grave, Armand Joulin, and Tomas Mikolov

ICLR 2017 具體議程及最佳論文深入報道

關於 ICLR 2017 日程及最佳論文的詳細介紹，包括三篇最佳論文的相關討論及作者回復，請看新智元此前的報道：

??本文為新智元原創文章，未經授權請勿轉載。在新智元後台回復「轉載」了解轉載規則。

新智元招聘

職位：客戶總監

職位年薪：30 - 60萬（工資+獎金）

工作地點：北京-海淀區

所屬部門：客戶部

彙報對象：COO

下屬人數：8 人

年齡要求：25 歲 至 40 歲

性別要求：不限

工作年限：5 年

語 言：英語 + 普通話

學歷要求：全日制統招本科

職位描述：

1. 熱愛人工智慧，在行業內有一定的人脈資源和影響力；

2. 為客戶制定媒體關係策略和公關活動策劃，達成客戶的市場或傳播目標；

3. 負責監督公關項目的計劃和實施，使項目能按期在預算內完成；

4. 積極拓展客戶資源，開發公司業務，與既有客戶保持緊密的業務聯絡和溝通；

5. 監督、管理及考核客戶服務團隊，全面提升公司客戶服務質量；

6. 理工科背景優先，有知名企業或知名媒體機構工作經驗者優先。