機器學習頂會 ICML 2018 斯德哥爾摩開幕，公平性研究戴上光環

雷鋒網 AI 科技評論按：經過 7 月 10 日的三個 Tutorial Session 和 Opening Reception 晚宴之後，在瑞典斯德哥爾摩舉辦的機器學習頂會 ICML 2018 正式進入第一天的正會。

開幕致辭 Opening Remarks

當地時間 7 月 11 日早上 8：45，北京時間 7 月 11 日下午 2：45 開始的 Opening Remarks 上先出現了點小意外，會議大廳兩塊幕布、兩台投影儀配置里的靠前的一台壞了，在大會主席 Francis Bach 的演講途中才亮起來 —— 當然，投影儀好起來的一瞬間，現場響起了熱烈的掌聲。

主席透露，明年 ICML 計劃和 CVPR 一樣在美國加州長灘舉辦，2020 年在奧地利維也納，2021 年在夏威夷火奴魯魯。

由於參會者眾多，加粗提醒 Do not enter a room when full

今年 ICML 的四個邀請演講分別為：來自 UC 伯克利大學電子工程與計算機系 Dawn Song 教授的《AI and Security: Lessons, Challenges and Future Directions》（AI 與安全：教訓、挑戰以及未來的方向），來自阿姆斯特丹大學機器學習學院研究主席、高通副總裁 Max Welling 教授的《Intelligence per Kilowatthour》（用千瓦時衡量的智慧），來自密歇根大學計算機科學與工程學院 Joyce Chai 教授的《Language to Action: towards Interactive Task Learning with Physical Agents》（從語言到行動：向著與真實機器人的互動式任務學習），以及來自 MIT 認知科學與計算學院 Joshua Brett Tenenbaum 教授的《Building Machines that Learn and Think Like People》（構建像人類一樣學習和思考的機器）。

雷鋒網 AI 科技評論了解到，今年的 ICML （機器學習國際會議）是與自主智能體與多智能體系統國際會議（AAMAS）以及人工智慧國際聯合大會（IJCAI）在同一地點舉辦的，在議程安排上有聯合的大會報告 session 和聯合的 workshop。後兩個邀請演講就是在聯合的大會報告 session 中的。

與其他機器學習會議一樣，今年 ICML 的投稿數量也是繼續暴漲。ICML 2017 的數字是 1676 篇投稿、434 篇接受論文，今年則是 2473 / 621，投稿數增加了 45%。對所有論文統計關鍵詞做成詞雲，毫不意外地看到 learning、Deep、Network、Model、reinforcement learning、optimization 等辭彙。

最熱門的投稿領域是神經網路架構，有超過 200 篇投稿。其後的大類依次是強化學習、深度學習理論研究、對抗性深度學習、凸優化、非凸優化、監督學習、在線學習、生成式模型、統計學習理論、無監督學習、遷移與多任務學習等。

之前 NIPS 由於投稿數量多、審稿人水平參差不齊，論文初審和 AC 審經常大相徑庭而引發討論，ICML 組委會此次也統計了 Rebuttal 前後的分數差異，給大家提供一個討論評審過程公平性的參考依據。經過 Rebuttal 後，審稿意見更新的比例有 45.7%，分數得到更新的論文有 9.2%。而在接收分數邊界線附近的論文有 16%。

最佳論文獎、最佳論文提名獎、時間檢驗將獲獎論文名單也在現場再次公布。

最佳論文獎（Best Paper Awards）獲獎論文兩篇

Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples

模糊梯度防禦帶來的只是安全的假象：繞過對抗性樣本的防禦

論文摘要：作者們提出，模糊梯度（obfuscated gradients）這種梯度遮蔽方法，對於對抗性樣本的防禦並不是真正的安全。雖然引發模糊梯度的防禦方法似乎能夠抵禦基於迭代優化方法的攻擊，但是作者們發現依賴這種模糊梯度效果的防禦方法其實可以被繞過。作者們描述了造成模糊梯度效果的防禦方法的特點，把它們分為了三類，然後針對每一類防禦方法設計了可以繞過它們的攻擊方法。作者們取 ICLR 2018 論文中的白盒防禦方法作為案例研究對象，他們發現梯度模糊是一種普遍的做法，那篇論文中研究的 9 種防禦方法中有 7 種都依靠的是模糊梯度方法。作者們提出的新的攻擊方法發可以完全繞過其中的 6 種方法，部分繞過 1 種。

論文地址：https://arxiv.org/abs/1802.00420

Delayed Impact of Fair Machine Learning

研究公平的機器學習的延遲影響

論文摘要：之前的研究者們主要是在靜態分類的場景下進行機器學習中的公平性問題研究，並沒有研究這些決定會如何隨著時間流逝而影響其中深層的人群分布變化。傳統觀念一般認為給機器學習模型施加公平性的限制以後能夠更好地保護受到不公平待遇的人群的長期利益。

這篇論文中，作者們研究了靜態的公平性限制與會隨時間變化的利益指標之間的相互作用，這些利益指標包括一系列研究變數的長時間尺度中的上升、停滯或者下降。作者們表明即便只是對於一階的反饋模型，平常的公平性限制總的來說都並不會提高利益；實際上，當一個完全無限制的目標能夠帶來正常的結果時，公平性限制施加以後在某些情況下反倒有可能造成傷害。

作者們完全分析了三種標準的公平性限制帶來的延遲的影響，三種環境中表現出了可以量化的不同行為。出自之外，作者們還發現了一種自然形式的測量誤差，它可以拓展環境，讓公平性限制的表現比較符合人意。

作者們的結果顯著體現出了公平性限制的評估中測量指標的選擇以及基於時間建模的重要性，這同時也揭示了一組新的挑戰和新的取捨。

論文地址：https://arxiv.org/abs/1803.04383

最佳論文提名獎（Best Paper Runner Up Awards）獲獎論文三篇

The Mechanics of n-Player Differentiable Games

可微分多玩家博弈的機制研究

論文摘要：深度學習最根本的基石是一個對象的梯度下降最終可以保證收斂到某個局部最小值。然而不幸的是，這種保證在某些設定下會失效，比如對抗性生成網路，其中有多個互相影響的損失函數。基於梯度的方法在博弈中的行為並沒有得到很好的研究，而隨著對抗性以及多目標的模型架構的發展，這方面的研究也越來越重要。在這篇論文中，作者們開發了一種新的方法以便理解與控制一般博弈中的動態表現。其中的關鍵成果是把二階動態特性分解為兩個項。第一項與可能的博弈有關，它可以根據隱式的函數梯度下降而減小；第二項與哈密頓博弈有關，這是一類新的遵循守恆定律的博弈，和經典機械系統中的守恆定律很類似。這種分解手段也帶來了辛梯度調節（Symplectic Gradient Adjustment）演算法，這是一種可以在普通博弈中尋找穩定固定點的新演算法。基礎性的實驗表明 SGA 與近期提出的在 GANs 中尋找穩定固定點的演算法有同等的表現，同時也可以運用於更多一般的博弈中，而且還有求解的保證。

論文地址：https://arxiv.org/abs/1802.05642

Near Optimal Frequent Directions for Sketching Dense and Sparse Matrices

用於密集、稀疏矩陣的接近最優的頻繁方向演算法

這篇論文的唯一作者是復旦大學大數據學院副教授黃增峰

論文摘要：對於一個大矩陣，我們考慮計算這個矩陣的梗概矩陣（sketch matrix）的問題。這個矩陣應當明顯更小，但同時也與 A 足夠接近。我們考慮最小化如下的協方差誤差

我們在流模型中考慮這個問題，在這裡演算法只有有限的工作空間，而且只能對輸入進行一次計算得到結果。流行的頻繁方向演算法（Frequent Directions）和它的各種變體在空間和誤差之間取得了最佳取捨。然而，演算法的運行時間是否可以得到改進還是一個尚未研究的問題。

在這篇論文中，我們幾乎解決了這個問題的時間複雜性。尤其是，我們提出了新的空間最優的演算法，它具有更快的運行時間。並且，我們展現了我們演算法的運行時間是接近最優的，除非目前最優的矩陣乘法的運行時間可以得到大幅度的提升。

論文地址：http://www.cse.ust.hk/~huangzf/ICML18.pdf

Fairness Without Demographics in Repeated Loss Minimization

在反覆的損失最小化中，無需人口特徵統計實現平等

斯坦福大學教授 Percy Liang 是這篇論文的作者之一

論文摘要：機器學習模型（比如語音識別模型）在訓練時通常都是要讓平均損失最小化，這樣會帶來表徵懸殊的問題 —— 少數群體（比如非母語的講話者）由於對訓練目標的貢獻較少，這些樣本的損失值也就更高。更糟糕的是，隨著模型的準確率下降而影響到用戶留存的話，使用模型的少數群體會越來越少。在這篇論文中，作者們首先展示了經驗風險最小化（ERM）的方法會讓表徵懸殊的問題變得越來越嚴重的狀況，這甚至會讓最初還平等的模型變得不平等。為了減緩這種問題，作者們開發了一種基於分布魯棒優化（DRO）的新方法，它會把所有數據分布中的最糟糕的情況風險都最小化到接近經驗分布。作者們證明了這種方法在每一個時間步中都控制了少數群體的風險，根據羅爾斯的分配正義思想評價的話，同時也能夠忽略不同組之間的身份差異。作者們展現了 DRO 能夠在 ERM 不能阻止表徵懸殊增大的情況下阻止它發生，同時也在真實世界的文本自動完成任務中成功增加了少數群體的用戶滿意程度。

論文地址：https://arxiv.org/abs/1806.08010

時間檢驗論文獎獲獎論文

A Unified Architecture for Natural Language Processing: Deep Neural Networks with Multitask Learning

一個自然語言處理的統一架構：多任務學習深度神經網路

這篇論文來自 ICML 2008

作者們描述了一種卷積神經網路架構，只靠一個語言模型網路就可以基於給定的句子輸出一系列語言處理預測結果，包括語句的一部分的標籤、語料段、可命名的實體標籤、語義角色、語義類似的詞，以及句子有意義的似然值（語法角度以及語義角度）。整個網路是在所有這些任務上以權重共享的方式聯合訓練的，這樣也成為了多任務學習的一個實例。所有任務都使用了標註數據，除了語言模型是從無標註文本學習的，並且它也為這些共享的任務提供了一種新的半監督學習形式。作者們展示了多任務學習和半監督學習都可以增加這些共享的任務的泛化性，最終帶來了頂級的表現。

資料地址：http://videolectures.net/icml08_collobert_uanl/（帶視頻和 PPT）

目前 ICML 2018 還在如火如荼地進行中，正會會進行到 7 月 13 日。雷鋒網 AI 科技評論會繼續發出相關報道，請繼續關注。前方照片感謝吳立偉。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！