AI頂會正變身商展，會將不會，還NeurIPS、ICML本來面貌！

新智元報道

來源：approximatelycorrect.com

作者：Zachary C. Lipton 編輯：文強，肖琴

【新智元導讀】CMU副教授Zachary Lipton認為，NeurIPS、ICML等頂會正逐漸被行業侵蝕，變得不再像學術會議，而成了行業貿易展，長此以往，會將不會！應該立即採取行動，鞏固會議學術性質，如果非學者搶到票而學者卻無法參會，這種會議就該降級！

2018年的 NeurIPS 參會人數多少？

超過 8000？可喜可賀——才不是！

出去刷個牙回來就沒了票，研究人員想參加參加不了，看熱鬧的外行人倒是擠來一堆。Poster Session 熙熙攘攘，但真正在談論文的人卻沒有幾個。Expo 行業展廳花枝招攬，企業酒會觥籌交錯……

是的，這就是現如今的人工智慧頂會，以 NeurIPS、ICML 為代表，參會人數越來越多，看似氣氛越來越火，連贊助商捧著給錢都要搶名額。

與此同時，會議的學術味卻越來越淡，真心搞研究的人都不想來參會了。

CMU 副教授 Zachary C. Lipton 參加完今年 NeurIPS 後，寫下了他的真實感受：學術會議究竟應該是什麼？不知不覺間，計算機科學領域的學術會議已被商業公司侵佔；參會人數和提交論文的數量並不能說明領域研究的真實發展情況，火熱的氣氛並不代表研究的突破。

把學術會議商業化容易，但反過來去很難。如果再不趕緊採取措施，遴選並發表業內最新研究的會議將成為各大公司花樣挖人的場所，NeurIPS、ICML 等人工智慧領域的學術頂會將變成 CES 般的行業貿易展。

作為研究者，Lipton 呼籲：趁還來得及，還學術會議一個本來的面貌吧！

Lipton 從「會議」的涵義講起，最終落腳到如何扭轉現狀，文章不短，但肯定說出了很多研究人員的心聲。

你有沒有想過，「會議」究竟指什麼？

「會議」是指什麼？一般的定義對這個詞只提供了一個模糊的概述：「兩人或兩人以上開會討論共同關心的問題」(韋氏詞典a)；「通常是正式的意見交流」(韋氏詞典b)；「正式的討論會」(谷歌a)。

怎樣才是會議？所有地方的所有集會都是會議嗎？會議需要有多正式？會議的邊界必須達成一致嗎？需要指定名稱嗎？什麼算是討論？一次會議可以容納多少討論？什麼是分會議?

NeurIPS 2018大會，一排屏幕讓人難以確定演講者到底站在哪裡。來源見原文。

沒有上下文，這個詞就近乎空洞。然而，在專業領域，例如在計算機科學背景中，這個詞被賦予了精確的含義。谷歌還提供了一個更通俗的定義：

通常會持續幾天的正式會議，參會者是有共同興趣的人，尤其指由一個協會或組織定期舉辦的會議。

然而，這個定義也太模糊了，它同樣適用於公司會議、貿易展覽、研討會和出版會議。它既涵蓋國際機器學習會議ICML，也可以指動漫展。

漫展

CS 學術會議變質了

甚至在學術界，這個詞的含義也大相徑庭，不同領域的學者在說「會議」的時候，經常是相互無法理解的。比如，在醫學專業人士中，「會議」是交流和繼續教育的論壇。

作為一名生活在經濟學家和商界人士中的計算機科學家，我發現，對我的同事們來說，「會議」是傳播研究、交流、教學和招聘的論壇。在展示論文時，它們是要在拓展論文摘要的基礎上被審查的。它們確切地說是計算機科學家所稱的「研討會」(workshop)。

在更廣泛的計算機技術行業中，「會議」往往意味著「貿易展」(trade shows)。其中最著名的CES, Amazon re: Invent，Google I/O, O "Reilly Strata等會議擁有龐大、廣泛、主動參會的受眾。除註冊費外，不設任何資格。它們是商業和業務拓展的專業聚會。雖然與會者和演講者宣揚創新和顛覆，但處於中心位置的創新和顛覆是產品和商業模式，而不是人類知識前沿的進步。學者們可能會發言，但只是為了把研究講得淺顯。

在計算機科學中，會議的形式和安排與其他學術領域的會議相同。學者們與工業界的同行分享主題。然而，在計算機科學中，會議的假定意義又有了新的意義。頂級會議的主要功能是作為該領域的主要學術成果發表場所。

最重要的會議籌備包括在開會前幾個月開展同行評審過程 (NeurIPS的評審過程提前8個月)。主會實際上是唯一重要的，每次會議最受關注的是該年發表的論文的介紹和認可。這些場所的存在是為了促進知識進步，其次才是專業發展，作為達到這一目的的一種手段。

學術界和技術界在會議的具體構成上存在著巨大的分歧。但是，在計算機科學會議的實踐和組織中，我們很少需要問——什麼是CS會議？它的目的是什麼？誰應該來參會？會上應該進行什麼活動？這些問題一直都有既定的答案，因此從不需要回答。

誰會來？那些總是來的人。他們為什麼來？為了來展示他們的最新作品，並觀看其他人展示他們的最新作品。應該進行哪些活動？吃東西，聽演講，吃東西，展示海報，吃東西……具體細節是由組織者決定的。有些會議有更好的食物。有些有更好的演講。但是，會議的本質很少需要考慮。

由於一直以來不需要提出這樣的問題，ML社區對最近的轉變感到驚訝。雖然我們繼續提供自由註冊，但參會人員的構成和目的已經發生了變化。隨著贊助攤位從2013年的特設摺疊桌發展到展覽大廳里的大型裝置，我們只是租用了更大的房間，然後收取更高的贊助費。

會議門票一年比一年更快售罄，我們不得不承認，手慢就無法出席，甚至是核心研究團體中的人 (被接收論文的作者除外) 也不會出席。

在計算機科學領域我們不習慣問「什麼是會議」，但我們突然發現這些會議發生了變化，卻不清楚是誰 (如果有人) 決定了這種變化。

短短几年，NeurIPS畫風突變

我開始接觸NeurIPS是在2013年，當時我是一年級博士生。那時會議已經在迅速發展，我遇到的幾乎每一個人都在從事這一領域的學術工作。贊助商部分只有不到10張摺疊式辦公桌，分別屬於亞馬遜、谷歌、微軟研究院、Facebook和Skytree。

這些公司似乎主要關注招聘研究實習生。扎克伯格好像出現在一場現場的私人活動上，引來了人們圍觀。

主要會議的參會人數變化。(來源: AI Index報告)

兩年後，我參加了在蒙特利爾舉行的NeurIPS 2015會議，雖然會議規模有了很大的增長，但絕大多數與會者仍然是活躍的研究人員。可以說，增長更多地歸功於規模，而非事件性質的根本性轉變。

作為會議增長的一個徵兆，一半的聽眾不得不在自助早餐室觀看大會特邀報告，而自助早餐室的面積增加了一倍，成為一個爆滿的觀看區。早期跡象不僅是規模增大，性質也在發生變化，贊助商攤位早已成為大會的一大特點，而且非官方的聚會開始主導會後的社交活動。

隨著這一變化而來的是免費飲料和無限享用的點心，但這也對會議作為一個純粹交流意見的場所的作用構成了威脅。聚會已經人為地劃分了社會結構。如果沒有有意識地反對聚會文化，那麼你在任何一個晚上看到的究竟是誰，首先取決於誰被邀請參加同一個聚會。那年，我在微軟研究實驗室舉辦的一次聚會上遇到了一位未來的研究導師。我們一邊談話一邊走到另一個由DeepMind主持的論壇上，但由於我們只有一個人在DeepMind的邀請名單上，談話不得不中斷。

然而，在那個時候，所有想要參加的學者至少都可以註冊(只要資金允許)。

從「會議」到「馬戲團」

第二年夏天，我的論文合著者David Kale邀請我在O"Reilly的Strata+Hadoop World大會上發表演講，這是一個大型的行業會議。雖然ML社區的成員可能已經開始抱怨NeurIPS變得越來越怪異，但在Strata這個會上，我看到了一個名副其實的馬戲團。

聽眾們的身份包括經理、開發人員、銷售人員、解決方案架構師、營銷人員和投資者。大多數談話都是些時髦的詞。大多數演講的技術深度還不如一份新聞稿。NeurIPS的贊助間里有大量的t恤和小禮物，看起來有些多餘，但在Strata，這樣的東西佔據了一整層樓。NeurIPS的贊助攤位雖然有些古怪。但在Strata，展覽室是會議的核心。公司的代表們在泡沫塑料搭建的展室里尋找銷售機會。霓虹燈和高解析度顯示器是標準配置。

第一次，研究人員被拒絕參加學術頂會

僅僅兩年後，在NeurIPS 2017(加州長灘)的前期，研究人員驚訝地發現，甚至在研討會論文的接收結果公布之前，註冊(越來越多地稱為「門票」)就已經售罄。雖然一些已被接受的研討會論文的作者最終獲得了額外的名額，但並非所有論文的作者都能參加。

也許是第一次，研究論文的作者(除第一作者外)被拒絕參加會議，而優先考慮的是一大批非學術界人士——招聘人員、經理、投資者、開發人員和記者——僅僅因為他們搶票反應更快。

受這一荒謬現象的啟發，我在不久後寫了一篇諷刺文章，宣稱ICML甚至在徵稿通知公布之前就已經售罄。雖然歸類為諷刺，但許多已經習慣這個領域的怪異現象的讀者還是以為是真事。這篇文章被一些AI通訊(包括紐約大學官方的數據科學通訊)轉載並作為新聞傳播。一些ICML的組織者誠懇地要求我撤掉這篇文章，他們擔心，儘管這篇文章帶有明顯的諷刺意味，但卻讓潛在的與會者感到痛苦。他們並不贊同我的觀點，即這就是諷刺作品的根本目的，促使讀者意識到現實已經如此地走向荒謬。

今年，從12月3日到8日，有8000名研究人員註冊參加了2018年的NeurIPS大會。同樣，由於供不應求，參會人經過了審查。

供需不平衡很嚴重，以至於會議門票在12分鐘內售罄了。

也許這是第一次，大多數沒有(任何)會議論文、沒有第一作者研討會論文或在社區中沒有高級地位的研究人員不能參加這個會議。一些初級作者拼湊出了研討會提交的材料，不是為了學術興趣，而是為了獲得一張彩票，這張彩票可能有40-50%的概率成為一個註冊機會。然而，由於許多研究人員在觀望，25%的空座中有許多被旁觀者搶購一空。

今年，我第一次發現在大廳里的研究人員比前一年要少。這可能是由於研究人員被拒絕入場，研究人員選擇不參加這次會議，以及參加會議的人數更多。許多受邀的演講，雖然還算吸引人，但卻相當大眾化，因此應該會在TED上很受歡迎。在我看來，這次會議的性質明顯地偏離了研究。

雖然NeurIPS在包容性上邁進了一大步——機器學習領域的女性和黑人依然是本次會議的亮點——但在傳統上沒有人需要擔心的維度上卻出現了巨大的缺陷。會議努力確保研究界本身的參與。隨著容量的限制和註冊量的增加，註冊變成了一個零和遊戲。

參會人數多不代表研究做得好；學術會議該把學者聚在一起

那些死氣沉沉的報道，媒體的也好，圈內人寫的也罷，比如AI Index 2018，通過參會人數、提交論文數量、投資額等數據來粗略總結人工智慧領域的發展。這些統計數據是很好，表明 AI 在發展，但其本身毫無意義。會議是什麼，論文代表什麼，AI 界同仁實際在做什麼，都在抽取這些指標的過程中丟失了，從這些指標里完全看不出來研究的真實情況。

我們應該把互聯網時代的新聞視為一個警示故事。隨著消費者轉向單點消費模式，我們突然之間就能跟蹤和觀察代表「成功」的量化指標（比如點擊次數、印象數、粉絲數），新聞媒體的特徵在迅速變化。

在追求這些短視數據指標的過程中，我們喪失了對新聞報道本質的理解。如今，單看衡量網路內容「成功」的關鍵指標，分不出來其內容是新聞還是色情，正如我們對人工智慧領域發展和成功的衡量標準無法區分機器學習和行業貿易展一樣。

學術會議在突然之間就變成了貿易展覽會，這應該引發 AI 領域所有成員的警惕，並確保立即採取行動，鞏固學術會議應有的性質——最重要的是將學界的人聚集在一起。

一個積極好學的博士生，不應該因為有外行人參展而被拒之門外。就連那些可以參會的人，如今學術會議的變味也讓他們中越來越多的研究人員不去參會，而是選擇將他們的時間分配給更小、更學術的小型論壇。

我們應該組建一個最高級別的工作組來關注這一事件，並且設定一個獎懲機制，當論文的第二、第三、第四作者無法參加一個展示自己工作的專業會議，而成百上千的非學者卻搶得門票時，堅決給這種會議降級。

再不採取措施就來不及了！

在 NeurIPS 和 ICML 被這股洶湧的洪流沖刷成行業貿易展的平灘之前，在本應必須出席的 poster session 不可逆地轉變為社交場所之前，我們只有非常有限的時間來採取措施，增強這些會議的學術性，將其還給學界，還原成研究者的聚會場所。

那麼，我們現在可以做什麼？這裡有一些建議：

1、設定兩個月僅對學界開放的註冊期限

在會議開放註冊後的 2 個月，只允許學者註冊。這裡的「學者」，可以是現在的學生和老師，也可以是過去論文的作者，這段時間應該一直到持續到確定會上將舉辦哪些 workshop 為止。

2、決定 NeurIPS（哪些部分）對外公開

今年的會議對媒體處理不當：媒體被禁止參加 workshop，搞得好像 NeurIPS 是什麼高端機密大會一樣，不是的！這是因為會務組沒有意識到，今年的會議已經成了一場公共活動。

簡而言之，會議的每個部分都必須是明確是面向公眾的還是僅面向學者的。向公眾開放的部分也必須向記者開放。如果我們對記者參會都不滿意，那為什麼我們不介意跟公司高管坐在一起講論文呢？

3、縮小或者放低 Expo 展覽的規模

展示行業相關內容的 Expo 大廳把人們對學術的大部分注意力都吸引過了。展廳里擺滿了免費的小玩意，免費的食物，舒適的座位，還有花費數百萬美元搭建的景觀。科學講座和 poster 沒辦法跟 CES 式的豪華展廳相競爭，也不應該跟這種展廳競爭。

一個可行的方法或許是，在某些日子或特定時間關閉 Expo 展廳。相比之下，今年的 EMNLP 就要好得多。休息的時候，人們會在展會廳里聚一起談東談西，但大多數的學術講座他們（包括公司代表）都參加了。

4、改革贊助商活動，向所有研究人員開放：

公司想在會議上招賢納士的想法是完全合情合理的。在每天的會議結束後和 after hour 時間段公司想要做什麼，也不是會務組能管得了的。但是，或許可以讓贊助商簽一份協議，改變他們的活動內容（可能需要共同努力），將所有的研究人員都納入進來。

當前的情況是，這些 party 上聚滿了有人脈的人（無論學科）、潛力股或好苗子（優秀且有些名氣的博士生和初級研究員），還有知名的研究人員。

但是，最應該從這些活動中受益的人，最應該通過這些活動結識潛在僱主、顧問和導師的年輕研究人員卻被排除在外。

參考鏈接：

http://approximatelycorrect.com/2018/12/22/the-greatest-trade-show-north-of-vegas-pressing-lessons-neurips-2018/

【加入社群】

新智元 AI 技術 + 產業社群招募中，歡迎對 AI 技術 + 產業落地感興趣的同學，加小助手微信號：aiera2015_2入群；通過審核後我們將邀請進群，加入社群後務必修改群備註（姓名 - 公司 - 職位；專業群審核較嚴，敬請諒解）。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！