華為青年研究員獲NeurIPS最佳論文獎：4856篇投稿，僅有21％錄取率

科技 12-04

圖片來源於Facebook

譯者| 琥珀

出品| AI科技大本營

儘管經歷了審稿信息泄露、大會名稱更換、 200 多位黑人論文作者拒簽的種種風波，但依然抵擋不住今年 NIPS 大會 8400 名技術人的踴躍前來。

本周（12 月 3 日-12 月 8 日），神經信息處理系統大會（NeurIPS 2018）在加拿大蒙特利爾會展中心舉辦。作為年度最大的機器學習盛會之一，NIPS 最早成立於 1986 年，並於今年改名為 NeurlPS。截止目前，該會議已成功舉辦 32 屆，並成為在數據科學家、研究人員和學者等人工智慧社區中備受矚目的年度聚會。

據了解，

NeurIPS 2018 共收到 4856 篇投稿，創歷史最高記錄，最終錄取了 1011 篇論文，論文錄取率為 21%。其中 Spotlight 論文 168 篇，Poster 論文 812 篇，Oral 論文 30 篇。

接受的論文主題中排名第一的是演算法，其他依次為：深度學習、應用、強化學習與規劃、概率方法、理論、優化方法、神經網路與認知科學、數據及其他。

此次投稿的論文中，有 69% 的論文作者表示公布代碼，實際上只有 44% 的提供了代碼或數據。

此次參會註冊人數超過 9000 人。從現場活動值得關注的是，女性在機器學習領域的從業者開始逐漸增多。

今年共計有 7 場主題演講、9 場 Tutorial Session和 41 場 Workshop，本次會議主題演講範圍覆蓋演算法、機器學習、強化學習、神經網路等。同樣可以看到，這些主題也是目前學術界熱衷的研究方向。

當然，最值得一提的是，在大會首日的開幕式環節，4 篇最佳論文獎、1 篇時間檢驗獎等諸多獎項悉數揭曉。

除了Google AI、微軟研究院、多倫多大學向量研究所、INRIA 等我們所熟知的研究機構或院校外，來自華為諾亞方舟實驗室（法國）成員 Kevin Scaman 也榜上有名。根據領英上公布的簡歷，Kevin 於今年 1 月加入華為，此前工作於微軟研究院。如果年齡沒估計錯的話，他今年應該還不過 30 歲，可謂靠才華吃飯的一枚「小鮮肉」。

回歸此次大會主題，4 篇最佳論文分別是：

Neural Ordinary Differential Equations

Optimal Algorithms for Non-Smooth Distributed Optimization in Networks

Non-delusional Q-learning and value iteration

Nearly tight sample complexity bounds for learning mixtures of Gaussians via sample compression schemes

▌Neural Ordinary Differential Equations

神經常微分方程

作者：Ricky T. Q. Chen, Yulia Rubanova, Jesse Bettencourt, David Duvenaud（四人均來自多倫多大學向量研究所）

值得一提的是，Ricky T. Q. Chen 中文名為陳天琪，恰與 XGBoost 開發者華盛頓大學計算機系博士生陳天奇的英文名重名。

摘要：我們引入了一種新的深度神經網路模型家族。我們並沒有規定一個離散的隱藏層序列，而是使用神經網路將隱藏狀態的導數參數化。然後使用黑箱微分方程求解器計算網路的輸出。這些連續深度模型的內存成本是恆定的，並根據輸入調整評估策略和顯示地用數值精度換取運算速度。我們構造了連續歸一化流，一個可以使用最大似然度的方式訓練的生成模型，無需對數據維度進行分割或排序。對於訓練，我們展示了如何通過任何 ODE 求解器進行可擴展的反向傳播，無需訪問其內部操作。這使得可以在較大規模內實現端到端的 ODE 訓練。

論文地址：https://arxiv.org/pdf/1806.07366.pdf

▌Nearly tight sample complexity bounds for learning mixtures of Gaussians via sample compression schemes

利用樣本壓縮方案學習高斯混合的近似緊樣本複雜界限

作者：Hassan Ashtiani，Shai Ben-David，Nicholas Harvey，Christopher Liaw，Abbas Mehrabian，Yaniv Plan（來自加拿大麥克馬斯特大學、滑鐵盧大學、不列顛哥倫比亞大學、麥吉爾大學等）

摘要：我們證明了樣本對於學些中的 K高斯混合模型是充分且必要的，直至整體偏差距離誤差ε。這改善了該問題已知的上限和下限。對於軸對準高斯混合，我們證明了匹配一個已知的下限是足夠的。上限是基於樣本壓縮概念的分散式學習新技術。任何一類允許這種樣本壓縮概念的方案也可以通過很少的樣本來學習。我們的核心結果是證明了高斯混合類具有有效的樣本壓縮。

論文地址：

https://papers.nips.cc/paper/7601-nearly-tight-sample-complexity-bounds-for-learning-mixtures-of-gaussians-via-sample-compression-schemes.pdf

▌Optimal Algorithms for Non-Smooth Distributed Optimization in Networks

網路中非光滑分布優化的優化演算法

作者：Kevin Scaman, Francis Bach, Sébastien Bubeck, Yin Tat Lee, Laurent Massoulié （來自華為諾亞方舟實驗室、INRIA、微軟研究院、華盛頓大學等）

摘要：在這項研究中，我們利用計算單元網路的非光滑凸函數的分散式優化。我們兩個正則性假設下研究這個問題：（1）全局目標函數的Lipschitz連續性，(2)局部單個函數的Lipschitz連續性。在局部正則性假設下，我們提出第一個最優一階分散演算法——多步原對偶演算法(MSPD)，並給出了相應的最優收斂速度。這個結果的顯著影響是，對於非光滑函數，當誤差的主要項在 O(1/t) 中時，通信網路的結構僅影響 O(1/t) 中的二階項，其中 t 是時間。也就是說，即使在非強凸目標函數的情況下，由於通信資源的限制而導致的誤差也會減小。在全局正則性假設下，我們提出了一種基於目標函數局部平滑的分散式隨機平滑（DRS）演算法，並證明了 DRS 在最優收斂率的 d1/4 乘因子內，其中 d 為底層維數。

論文地址：

https://arxiv.org/pdf/1806.00291.pdf

▌Non-delusional Q-learning and value-iteration

非妄想 Q學習和價值迭代

作者：Tyler Lu，Dale Schuurmans，Craig Boutilier（均來自 Google AI）

摘要：在 Q學習（ Q-learning）和其他形式的動態規劃中，我們用函數逼近法確定了誤差的根本來源。當近似結構限制了可表達的貪婪策略的類別時，就會產生偏差。由於標準 Q-updates 對可表達的策略類做出了全局不協調的動作選擇，因此可能導致不一致甚至衝突的 Q 值估計，從而導致病態行為，例如高估/低估、不穩定甚至分歧。為了解決這個問題，我們引入了策略一致性概念，並定義了一個本地備份流程，通過使用信息集來確保全局一致性。我們證明了使用這種備份的基於模型和無模型的演算法可消除妄想（delusional）偏差，從而產生第一種已知演算法，可在一般條件下實現最優結果。這些演算法只需要多項式的一些信息集（來自潛在指數的支持）。我們建議嘗試使用其他啟發式方法如 Value-iteration 和 Q 學習減少妄想偏差。

論文地址：

https://papers.nips.cc/paper/8200-non-delusional-q-learning-and-value-iteration

時間檢驗獎

▌The Tradeoffs of Large Scale Learning

大規模學習的權衡

作者：Léon Bottou，Olivier Bousquet （分別來自 NEC 美國實驗室和 Google）