ICLR 2017即將開幕，機器之心帶你概覽論文全貌

機器之心報道

參與：吳攀、李亞洲、蔣思源

當地時間 2017 年 4 月 24-26 日，第五屆 ICLR 會議將在法國土倫舉行。作為深度學習領域的盛會之一，ICLR 2017 有許多精彩的內容值得我們關注。在這篇文章中，機器之心梳理了 ICLR 2017 提交論文的特點、本屆會議的最佳論文以及機器之心過去一段時間報道過的有關 ICLR 2017 的文章。此外，去不了大會現場的讀者也不必感到遺憾，因為有以下大會 Oral Session 的直播。

直播地址：https://www.facebook.com/iclr.cc

ICLR 全稱為「International Conference on Learning Representations（國際學習表徵會議）」。2013 年，深度學習巨頭 Yoshua Bengio、Yann LeCun 主持舉辦了第一屆 ICLR 大會。經過幾年的發展，在深度學習火熱的今天，ICLR 已經成為人工智慧領域不可錯過的盛會之一。

機器學習方法的表現極大地依靠所應用的數據表徵的選擇，表徵學習領域的快速發展涉及到我們如何能夠最好的學習數據中有意義、有作用的表徵。ICLR 會議的關注點就包括深度學習、特徵學習、度量學習、組合建模、結構化預測、強化學習等領域與主題，以及大規模學習、非凸優化問題。而這些技術應用的領域也非常廣泛，從視覺到語音識別，到文本理解、遊戲、音樂等各個領域。

下面列出了 ICLR 會議涉及的相關主題：

• 無監督、半監督、監督式表徵學習

• 進行規劃的表徵學習，強化學習

• 度量學習和核學習

• 稀疏編碼和維度擴展

• 層級模型

• 表徵學習的優化

• 學習輸出或狀態的表徵

• 實現問題、並行、軟體平台、硬體

• 在視覺、音頻、語音、自然語言處理、機器人、神經科學或任何其它領域的應用

數個小時之後，ICLR 2017 即將在法國開幕。但在此之前，我們為你整理了以下內容，希望能為你參與此次大會（現場或看直播）提供幫助。

提交論文的可視化

在大會開始之前，我們覺得有必要了解下此屆 ICLR 大會所提交的論文的特點。不久之前，Carlos E. Perez 使用 OpenReview 上的公開數據，對 ICRL 2017 上提交的論文進行了可視化分析，這能幫助我們了解此次大會的一些概況，比如哪些論文文獻得到的評價好、作者以及引用量的分布。（註：文中作者使用 JavaScript 進行的可視化動態展示，此文不便於展示，感興趣的讀者可在這裡查看：http://prlz77.github.io/iclr2017-stats）

首先，他使用 GloVe 演算法對論文摘要詞語進行了可視化，詞語用 t-SNE 技術做了降維：

正如所料，網路、架構、數據、學習……是最常見的詞。除此以外，回饋值（award）、注意（attention）和對抗（adversarial）也出現在重要詞語的列表中，接下來是當前熱門模型，深度強化學習、記憶/注意模型和生成對抗網路（GAN）模型。

除了論文中的關鍵詞，哪家機構發論文最多？下圖是使用提交論文中的所屬機構（affiliation）欄位，繪製出的每個機構提交數量的直方圖：

可以看出，前 50 名最高產的機構中，谷歌一馬當先，下面依次是蒙特利爾大學、伯克利大學和微軟。有趣的是，排名靠前的有很多新公司，特別是像 OpenAI 這樣的新公司也能超過其它業已成熟的機構。

數量並不總是意味著質量，按照平均文獻評價得分排序，該分析畫出了以下論文數量氣泡圖（大小表示數量）。

可以看到，谷歌有 9 篇論文的平均得分達到 7.5 以上，最大的一個氣泡（論文數最多）包含了平均分為 6 的 13 篇論文。谷歌的論文包括 DeepMind、谷歌大腦和谷歌研究的論文。

考慮到 ICLR 2016 的接收率接近 30％，Perez 對每個分數值製作直方圖，以顯示接收閾值：

最後，看一下有什麼有趣的論文。在這裡，使用散點圖進行了表示，其中 y 軸表示論文的回複數量（作為「興趣度」的度量），x 軸表示平均評論者置信度（reviewer confidence），氣泡的大小和顏色反映論文的平均分數：

給定前面的三個參數，我們可以找到一些有趣的論文，如用於機器理解（Machine Comprehension）的雙向注意力流（Bidirectional Attention Flow）、使用強化學習的神經架構搜索（Neural Architecture Search）以及離散變數自動編碼器（Discrete Variational Autoencoders）。氣泡可點擊交互，鏈接到相應的 OpenReview 頁面，Perez 還添加了一些隨機抖動，以便在放大時它們能相互分開。

此外，Perez 還做了排名前 10 位的論文的可視化，排序先按照平均分數，然後按照置信度（分數是原始的平均分數）。

這裡給出了排名前 10 的論文，其中第一名是《Understanding deep learning requires rethinking generalization》，這也是本屆 ICLR 的最佳論文之一。

最後的論文接收分布類似於上面給出的分數直方圖（閾值是在 6.5 和 6 之間）：

最佳論文

這一節機器之心摘要介紹了 ICLR 2017 的三篇優秀論文（其中兩篇都有谷歌參與），據官網的日程安排，大會三天每天都安排了對一篇最佳論文的宣講。

最佳論文一：理解深度學習需要重新思考泛化（Understanding deep learning requires rethinking generalization）

• 論文地址：https://openreview.net/pdf?id=Sy8gdB9xx

儘管深度人工神經網路規模龐大，但它們的訓練表現和測試表現之間可以表現出非常小的差異。傳統的思考是將小的泛化誤差要麼歸結為模型族的特性，要麼就認為與訓練過程中的正則化技術有關。

通過廣泛的系統性實驗，我們表明這些傳統的方法並不能解釋大型神經網路在實踐中泛化良好的原因。具體而言，我們的實驗表明一個當前最佳的用於圖像分類的卷積網路（該網路是使用隨機梯度方法訓練的）可以輕鬆擬合訓練數據的隨機標籤。這個現象在質量上不受特定的正則化的影響，而且即使我們將真實圖像替換為完全非結構化的隨機雜訊，這個現象依然會發生。我們通過一個理論構建（theoretical construction）證實了這些實驗發現，表明：只要參數的數量超過了數據點的數量（實踐中常常如此），那麼簡單的 2 層深度的神經網路就已經有完美的有限樣本表達能力（finite sample expressivity）了。

我們通過與傳統模型的比較而對我們的實驗發現進行了解釋。

最佳論文二：基於隱私數據的深度學習半監督知識遷移（Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data）

• 論文地址：https://openreview.net/pdf?id=HkwoSDPgg

一些機器學習應用的訓練涉及到敏感數據，如臨床試驗中患者的病歷。而模型中可能會無意中隱含一些訓練數據；因此通過仔細分析該模型就能揭露一些敏感性信息。

為了解決這個問題，我們展示了一種能為訓練數據提供強健隱私保障的普適性方法：教師全體的私有聚合（Private Aggregation of Teacher Ensembles/PATE）。該方法通過黑箱的方式組合多個由互斥數據集（如用戶數據的不同子集）訓練的模型。因為這些模型都依賴于敏感性數據，所以它們並不會發布，但是它們還是可以作為「學生」模型的「教師」。學生在所有教師間的投票中選擇學習預測輸出，其並不會直接訪問單一的教師或基礎參數與數據。學生的隱私屬性可以直觀地理解（因為沒有單一的教師和單一的數據集決定學生的訓練），正式地即依據不同隱私訓練模型。即使攻擊者不僅可以訪問學生，還能檢查內部運行工作，這一屬性還將保持不變。

與以前的研究相比，該方法對教師的訓練只增加弱假設條件：其適應於所有模型，包括非凸模型（如深度神經網路）。由於隱私分析和半監督學習的改進，我們的模型在 MNIST 和 SVHN 上實現了最先進的隱私/效用（privacy/utility）權衡。

最佳論文三：通過遞歸使神經編程架構泛化（Making Neural Programming Architectures Generalize via Recursion）

• 論文地址：https://openreview.net/pdf?id=BkbY4psgg

根據經驗，想要從數據中學習程序的神經網路會表現出很差的泛化能力。而且一直以來，當輸入複雜度（input complexity）超過一定水平時，我們也難以推理這些模型的行為。為了解決這些問題，我們提出了使用一種關鍵抽象——遞歸（recursion）——來增強神經架構。在一個應用中，我們在一個神經編程器-解釋器框架中實現了遞歸——該框架可用於四種任務：小學加法、冒泡排序、拓撲排序和快速排序。我們表明該方法需少量訓練數據就能得到更優的泛化能力和可解釋性。回歸可將問題分成更小的組成部分，並能極大減少每個神經網路組件的域（domain），使得該問題可以解決，從而能夠保證整體系統的行為。我們的經驗表明為了使神經架構能穩健地學習程序語義（program semantics），有必要結合使用遞歸這樣的概念。