亂！Bengio一席話引發Marcus與LeCun「舌戰」，還有DL帝國主義？

機器之心報道

機器之心編輯部

Gary Marcus 又雙叒叕吵架了！這位紐約大學著名心理學、神經科學家懟深度學習不是一天兩天了。今年年初，Marcus 發表了一篇長文對深度學習的現狀及局限性進行了批判性探討，當即引發了一場舌戰。近日，因 Yoshua Bengio 接受 MIT TR 的一篇採訪，Gary Marcus 再次舌戰群 DLer。這場隔空喊話略有失控的傾向。

在社交媒體上，Gary Marcus 的推特像點燃了火藥桶一樣引來了眾多人工智慧學者的評論。Marcus 對 Bengio、Hinton、LeCun 的指責更是讓 LeCun 本人與他進行了曠日持久的「切磋」。

在 MIT TR 這篇名為《人工智慧巨頭對 AI 未來的擔憂》的採訪中，Yoshua Bengio 發表了對未來研究的幾點看法：

談到「關於人工智慧的新研究，最讓你最興奮的是什麼？」Yoshua Bengio 說道：我認為我們需要考慮最困難的挑戰，而不應滿足於短期、漸進式的目標。我沒有要撇開深度學習的意思。正相反，我們應該將其擴展，使它能夠推理、學習因果關係、探索世界，從而學習和獲取信息。

如果我們真的想實現人類水平的 AI，那完全就是另一件事了。我們需要長期投資，而學術界才是保存火種的最佳場所。

因果關係為什麼這麼重要？Yoshua Bengio 表示，「如果你有一個很棒的推理模型，你甚至可以在信息不多的情況下進行推廣。這至關重要，因為人類是可以做到將自己的經驗投射到與日常生活體驗完全不同的環境中的。機器現在還不行，因為它們沒有因果推理模型。

我們可以手動設置規則，但這還不夠。我們需要能夠發現因果模型的機器。在某種程度上來說，這種機器永遠不會是完美的。因為我們永遠不會得到一個完美的現實因果推理模型；這就是為什麼人會犯錯。但是相比其它動物來說，我們做得更好。

當前，在這方面我們還沒有真正足夠好的演算法，但我認為如果有更多人在這方面進行探索，並認識到它的重要性，我們終將獲得進步。」

對 Bengio 的言論，Marcus 翻起了舊賬，發推特評論道：

「我沒有要撇開深度學習的意思……但我們應該將其擴展，使它能夠推理、學習因果關係、探索世界。」Yoshua Bengio 的這番話與我 2012 年在《紐約客》上發表的言論並沒什麼不同。

此番酸味十足的話，先是引起了 CMU 助理教授 Zachy Lipton 的回應：這句話問題太多了。1）說話聲音大不等於是第一個說的。你不能自居為區分了推理和模式識別。2）說「X 無法解決 Y」簡直太容易了，但你能不能提出 Y 的解決方案呢？

重點來了！隨著激辯的的升級，Yann LeCun 直接懟了回去，斥其光說不練：

你所說的這番話，Yoshua 和我還有其他人已經說了很長時間了。與你不同的是，我們為此去做了一些嘗試，而不是批評別人沒有這麼做。

Gary Marcus 避重就輕，反擊道：

以下是我 2001 年就一直在說的話：「為了捕捉語言和思維的合成性（compositionality），神經網路必須輔以符號操作的關鍵組成部分。」這話你同意嗎？在我們的辯論中，你說過「反對」。你現在的立場呢？

AI 的真正問題是：我們能在沒有符號操作的情況下進行因果關係推理嗎？當時 Yann LeCun 和 Hinton 等深度學習創立者認為能，而我覺得不能。

加州大學洛杉磯分校助理教授 Guy Van den Broeck 的回復：

這有什麼值得討論的？至少從 1986 年開始，幾十年來人工智慧的整個子領域都致力於符號推理，包括結合統計推斷的混合方法。

對此，Gary Marcus 把矛頭轉向了深度學習先行者們對於話語權的把持：

你說的沒錯。問題在於那些深度學習先驅們的「帝國主義」，比如，Lecun 等人 2015 年發表在《Nature》上的文章就呼籲「用大向量運算取代符號表達式基於規則的操作」。這種尖銳的觀點與混合模型背道而馳。

Yann LeCun 回應道：

聯結主義的帝國主義？在符號主義統治了半個世紀之後？搞笑吧？我並沒有因為人們研究我覺得不對的方法而去批評他們。我只是用自己認為正確的方法去做研究，並在該方法起作用之後向世人展示結果。這就是工程，好的結果勝於雄辯。

Gary Marcus 的回復：

別急著反對，但有時候有些工具需要重新研究或者發明，如果不首先考慮清楚，很難知道什麼時候該這麼干。任何時候，科學和工程領域的主導思想並不意味著它是最好的。更重要的是要知道我們是否步入了正軌。

不，Lecun 你想抑制人們對混合深度學習-符號模型的興趣。你主張用無監督學習來推理，但卻沒有任何實際結果來證明它有效。但你卻因為符號主義缺乏結果而否定它。# 雙重標準

Yann Lecun 2018 年發表了這樣的言論：「我並沒有因為人們研究我覺得不對的方法而去批評他們。」2017 年 LeCun 也曾發表這樣的觀點：「我並不否定 DeepMind 的朋友們對 AlphaGo 所做的工作，但把它作為通用智能的一大進步卻是不對的，事實並非如此。」

是的，聯結主義的帝國主義是存在的，就像早期的符號主義帝國主義一樣。一個例子是：「如果要解決任何舊有的預測問題，你現在有很多數據，那麼深度學習可能會比已有技術更加有效。」

MLWave 表示：

Yann LeCun、Yoshua Bengio 和 Geoffrey Hinton 發布在 Nature 上的文章結尾是「我們需要作用於大向量的新範式來替代基於規則的符號表達式操作」。Bengio 提倡深度學習和無監督學習至少有 10 年了。From Machine Learning to Machine Reasoning，https://arxiv.org/abs/1102.1808 (2011)。

Gary Marcus 的回復這次更加充滿了火藥味：

我最近挑戰了 Hinton 和 Yann LeCun 2015 年 Nature 論文中的觀點。我仍然保持我的論斷，即他們的觀點抑制了深度學習的發展，Edward Grefenstette 等人的勇敢研究除外。

有人也在指責這次討論的必要性，AI 數據公司 Corto 首席執行官 Yves Bergquist 表示：

難以相信我們還在爭論這麼明顯的事實，只要環顧四周就能清楚地發現對象內的對象、符號內的符號的超參數結構。我們需要解決的是如何計算系統的系統（降維是關鍵）。

發酵了 2 天，這場論戰還未看到平息的跡象。

在人工智慧順著深度學習的軌道快速發展的今天，一些先驅者還在不斷思考著「我們是否在走正確的路」。但在社交媒體的環境中，這些論戰看起來就在我們眼前。滿足人們好奇心的同時，這些觀點孰是孰非還有待時間的驗證。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！