「深度學習三巨頭聚首」Hinton堅持10年內機器會掌握常識，Lecun說20年

新聞 10-13

【AI WORLD 2017世界人工智慧大會倒計時26天】

「深度學習三巨頭聚首」Hinton堅持10年內機器會掌握常識，Lecun說20年

昨天，在RE?WORK蒙特利爾深度學習峰會上，「AI三巨頭」Geoffrey Hinton、Yoshua Bengio和Yann LeCun有史以來頭一遭，不僅出現在同一個活動中，而且聚集在同一個panel里，分享了他們對前沿研究進展的展望，並討論了加拿大人工智慧和深度學習生態系統的格局。

來自麥吉爾大學的Joelle Pineau主持了這場討論，她以十分有趣的方式開場，請三大神介紹站在自己旁邊的人，整個禮堂立馬充滿了笑聲。

Yoshua Bengio率先開了頭，他說：「這是Yann，我在讀碩（Master）期間遇到了他，當時他正跟著Geoff一起做博士後，後來Yann請我去和他一起工作，開始研究卷積神經網路，到今天這仍然是個熱門課題！」

接著，Yann LeCun介紹Geoffrey Hinton，LeCun說：「我也來回顧一下歷史，我還是本科生的時候研究了神經網路，發現在上世紀70年代這方面沒有研究發表。我看到一篇題為《優化感知推理》（Optimal Perceptual Inference）的文章，Geoff是三位作者之一。我讀了這篇論文，知道我必須見見Geoffery。」

最後輪到Hinton，他開玩笑說，他或許是Bengio論文的導師（supervisor），但他實際上已經不記得了。Hinton繼續說：「那是一篇非常好的論文，將神經網路用於語音識別。Yoshua和我在加拿大做得很好，因為加拿大支持基礎研究。如今領域發展得非常快，我現在已經跟不上Yoshua的節奏了！每個星期都有好幾篇arXiv論文出來，Yoshua在attention方面的工作令我印象非常深刻。我感覺Yoshua年紀是最小的，他還有一些路要走，但不幸的是我認為他已經追上我們了！現在Yoshua在他的領域裡已經做出了跟Yann在CNN上同樣大的影響力。」

「深度學習三巨頭聚首」Hinton堅持10年內機器會掌握常識，Lecun說20年

以下是現場討論實錄：

能談一下現在和上世紀八九十年代研究深度學習，在深度學習領域工作的區別嗎？

Bengio：在那時，你可以全身心投入研究，一點干擾也沒有。當時的環境跟現在完全不同。當我們幾個遇到彼此的時候，情況跟現在還是有一些類似的，但神經網路還是邊緣研究，才開始了5到10年的樣子。上世紀90年代初，神經網路火過一陣子，企業也是真的大力投入，有過一些炒作，所以跟現在還是有些類似的。但是，現在神經網路是真的能用了。

LeCun：我認為神經網路在當那時候也能用啊！但是，60年代研究感知的人認為神經網路不是一個有價值的方向，所以他們開始各種改名字改叫法，按他們的方式去做，造成了巨大的實際影響。

Hinton：他們都太年輕啦，根據不記得這回事！

LeCun：現在的AI教科書里，還有很多那時候的東西，上世紀90年代的神經網路，早就過時了，但現在還被當做參考，它們是有用，但是它們不是通往AI的路徑。很多我們今天使用的技術，也將以同樣的方式廣為傳播，也將以同樣的方式傳給下一代、下下一代，除非我們找到讓這些技術能夠繼續有用、往前發展的下一步，否則現在的很多技術也將會死亡。

Hinton：同意Yann的觀點！

在你的眾多論文中，有什麼是我們應該注意但卻忽略了的嗎？

Hinton：比h-index少一個引用數的那篇吧（笑）。我在2008/9年寫了一篇文章，使用矩陣來對關係（relationship）和概念（concept）建模。給定3個東西，你要根據前兩個推斷出第3個。我在2000年初做了很多工作，基本上是早期的嵌入。有人說我該放棄這項工作，因為整篇論文中只有一個非自我引用！我的想法是，不是用向量表示對象，矩陣表示概念，而是用矩陣來表示這兩者，這樣就能表示關係的關係。我們教它 3 + 2 等於 5，然後教它 2 和 + 在一起是 +2，系統產生的輸出從來沒有見過「+」這個概念，所以它必須學習自己。這篇論文得了個 2、2、3的評分（滿分10分）。後來，我把論文發給認知科學那邊，他們也不喜歡，說：「如果我對論文的理解是正確的，那這篇論文真是太棒了，但我認為我們的讀者不會對這個感興趣！」

Bengio：我都沒有提交我的論文，因為我知道肯定會被拒！那篇論文的想法是，為了學習我們需要其他人的指導，這裡就不多說了。

隨著時間的推移，你們幾位取得的共識似乎越來越多。現在你們被稱為「深度學習三巨頭」，但還有什麼是你們彼此之間存有巨大分歧的？

Bengio：這是坑嗎？我不跳哦！

Hinton：政治！但我們對美國的政治看法都相同。

LeCun：相比問題本身，或許我們對解決問題的方法有不同的意見。有段時間，Geoff用概率……

Bengio：凡是有關概率的事情，Yann一點都不想知道，他把Geoff叫做概率警察。

現在有很多人在做深度學習和神經網路，深度學習會在AI里一直存在嗎，還是說其他領域會興起？

Bengio：我們絕對需要在現有基礎上發展新的想法。這些想法將受到我們現有技術和概念的啟發，並將成為創造新東西的基礎。

LeCun：這些概念將被參數化並且繼續發展——它們不會消失，但光是現在這樣顯然是不夠的，所以我們需要考慮新的架構——很多人都在積極探索動態架構（dynamic architecture），自然語言處理也有很多有趣的事情發生。我們還需要更多的訓練超大規模學習系統的方法——這可能不是最終的答案，還可能有舊的想法再次火起來。接下來還會出現這樣一些方法，那就是將深度學習和推理這樣更離散的東西連接起來。

Bengio：我們需要找到方法，讓ML和DL重新拿起目標函數，並用新的方法來訓練和教育這些目標函數，這對AI來說是至關重要的。

Hinton：Yann和Yoshua還認為——最大的困難並不是找到一個無監督學習的目標函數。我在92年發表了一篇將空間一致性作為目標函數的論文。有了這個以後，我們能夠學習更多的層，了解更多的東西。我們還能訓練自編碼器。

雖然具體解決時間我們還不知道，但你們認為下一個挑戰和我們會解決的下一個問題是什麼？

LeCun：在Facebook，有一個團隊是做星際爭霸的。這個遊戲比圍棋更難，因為它使用戰略，有多個智能體，各種技術——你不知道你的同伴在做什麼，在韓國星際是職業競技的一種，非常具有挑戰性。現在有一些玩星際的bot，但都不在人類的水平。Facebook和DeepMind的團隊正在使用機器學習玩星際，我認為我們會在這方面看到一些進展。但是，下一個真正改變人類生活，並且我們可以解決的問題，是如何訓練一輛汽車自動駕駛——有沒有辦法做到完全自動並且安全？

Bengio：我實際上最近也在做這樣一個項目。一個AI遊戲，裡面有一個人和一個AI嬰兒。人需要使用自然語言來教育這個AI，告訴它什麼是什麼，總之做所有一般父母都會做的事情。這些都在虛擬環境中發生。這個遊戲是為了讓人用最好、最快捷的方式來訓練AI，而不必擔心其他太多問題。這個項目很棒，因為是遊戲，對於參與的人而言很有趣，也有助於收集大量的數據，讓我們了解如何使用強化學習來確定自然語言和環境之間的相關性。

在AI中，有沒有一些問題，讓你覺得如果把它們都解決了，你就可以退休了？

Bengio：有一些真正困難的問題還有待解決，這很有趣！我想知道機器如何發現高表徵（High Representations）來解釋世界。關於解釋世界，現在有一些通用的假設，它們短期內在統計學意義上是有效的，這非常簡單，但是要真正解決起來就沒那麼簡單了。

Hinton：對我來說，會產生影響的一個特殊的事情是自然語言處理和語言理解。有一些句子，像「獎盃放不到手提箱里，因為它太小了」或者「獎盃放不到手提箱里，因為它太大了」，在第一個是「它」指手提箱（太小），而後面的「它」指獎盃（太大了）。因為語言結構的原因，我們能推斷出這一點，但如果你把這些句子翻譯成法語，還有其他一些因素要考慮：機器是否正確區分和使用了陽性和陰性詞？所以它必須理解背景。如果一台機器可以成功地完成這些翻譯，那麼就說明它們真正了解發生了什麼。但是我認為，這需要比現在的機器翻譯大約大1000倍的性能才能正常工作。如果我們能夠做到這一點，機器會掌握所有的常識。它會說服那些固守傳統的人，AI的成功並不是偶然，而是機器真的了解發生了什麼。我認為可能在10年內可以做到這一點。

Bengio：我想我們應該讓機器學習解釋什麼是睡覺和為什麼要睡覺。我覺得很奇怪，人們不會質疑為什麼我們要把生命的三分之一以上的時間花在睡覺上。但如果你剝奪了人們睡覺的權利，他們會發瘋的！我們喜歡8個小時的睡眠，但是我們卻不知道為什麼。我強烈地認為，睡覺會這一活動會告訴我們，究竟人們是如何進行學習的。

LeCun：我們如何讓機器獲得常識？無監督學習？代表空間的目標函數？可能需要10或20年，我們不知道。

Hinton：又或者只需要一周的時間。

拋開技術問題，談談倫理——哪些倫理方面的問題最有可能讓你夜不能寐？

Bengio：對我來說，是對AI 和我們所開發的產品的錯誤使用。例如，我對在智能武器裝備中使用AI特別敏感，這可能是非常危險的。我認為政府應該簽署條約。此外，以操縱AI的方式進行廣告宣傳，對民主來說可能是真正危險的。最後，AI落在錯誤的人手中的問題真的很麻煩。

LeCun：如果被心懷惡意的用戶使用，這可能是非常糟糕的。事實上，機器學習方法確實可能會被用在一些糟糕的場景中，造成損害。例如，當你使用有偏見的數據訓練機器時，機器會有偏見，當你訓練系統時，會複製訓練它的人的行為。這是技術問題，也是道德問題——我們如何消除偏見？AI在公眾中的形象可能會因此變得黯淡，所以我們必須積極主動做出改變。我正在與「The Partnership in AI」合作，我們一起提出了部署測試的指導綱要，以保證安全。

對於從事AI工作的年輕人，有什麼建議？

Hinton：如果你有一個強烈的直覺，認為自己有一個很好的主意，但其他人都說「不」。那麼注意，它不是一個壞的想法，它實際上是一個原創的想法。然後想想，你應該好好研究你的這個「好主意」嗎？如果你有良好的直覺，那麼就在你的想法上開始工作。如果你沒有良好的直覺，你做什麼都不重要！

Bengio：我的建議是，聽Hinton的。

LeCun：我們三個人非常直觀，我們通過直覺提出了概念和想法，雖然有時其他人告訴我們這是不可行的。所以一些最有趣的想法不是最複雜的，但是要實現它的方式可能是。令人驚訝的是，人們需要這麼長時間才能認識到一些事情是好的想法！

原文鏈接：https://re-work.co/blog/interview-yoshua-bengio-yann-lecun-geoffrey-hinton

「深度學習三巨頭聚首」Hinton堅持10年內機器會掌握常識，Lecun說20年