Hinton、Bengio、Sutton等巨頭聚首多倫多：通過不同路徑實現人工智慧的下一個目標
機器之心原創
作者：機器之心編輯部
技術顧問：Yuxi Li
當地時間 10 月 27 日，Creative Destruction Lab 在多倫多舉辦了 2016 機器學習與智能市場（2016 Machine Learning and the Market for Intelligence）會議。會議雲集了人工智慧投資及科研界眾多世界級明星。在下午的科研分論壇上 Yoshua Bengio、Geoffrey Hinton、Richard Sutton 和 Ruslan Salakhutdinov 等機器學習領域的巨星人物聚首於此，以接下來 1-5 年的人工智慧方面的前沿科研方向為主題進行了公開探討，並分享了很多有價值的知識和經驗。機器之心現場觀摩了這些大師級人物對機器學習技術、應用和未來的探討。未來一段時間，機器之心將陸續發布對本次會議內容的獨家整理報道。
以下為機器之心的分論壇現場整理。
Yoshua Bengio、Geoffrey Hinton、Richard Sutton 和 Ruslan Salakhutdinov 同台共同探討人工智慧這一研究領域的接下來 1-5 年的人工智慧方面的前沿科研方向。
這個明星小組論壇的主持人是科技領域的明星風投公司 DJF（Draper Fisher Juvetson）的合伙人 Steve Jurvetson。Steve 曾經投資過 Hotmail、Tradex、SpaceX、Nervana、D-Wave 和特斯拉等眾多明星科技創業公司，他還擁有世界上第一輛 Tesla model S 和第二輛 Tesla model X（第一輛在 Elon Musk 手裡）。但是，即使是 Steve，主持這場大師雲集的小組論壇還是很有壓力。
本次小組論壇的主題是「What s Next?The Research Frontier（接下來是什麼？研究前沿）」。論壇開始，Steve 先請每位小組成員分別討論自己對人工智慧領域，其是機器學習領域下一階段的科研方向的看法。
下一步，去向何方？
在未來的一年裡 Bengio、Hinton、Sutton 和 Salakhutdinov 教授認為都有哪些問題需要解決？我們會在哪些方向取得進展？
Yoshua Bengio
Yoshua Bengio 教授與 Hinton 教授和 LeCun 教授是深度學習崛起背後的領軍人物。從 20 世紀 80 年代到 90 年代再到 21 世紀前幾年，在那段很少有其他人看到深度學習的發展潛力的時間裡，他們三位一直在培養和孕育深度學習。
Bengio 教授列出了兩個方向：
1. 解釋性的無監督學習（Explanatory Unsupervised Learning）
1）當前的模型通過提取表面的規律來解決表面的問題。Bengio 教授給出了一個圖像識別系統的例子。該系統可以被各種各樣的色調愚弄，比如背景綠化仍會增加物體被識別成野生動物的可能性。
2）機器無法做到人類非常擅長的無監督學習。即使兩歲孩童也能理解直觀的物理過程，比如丟出的物體會下落。人類並不需要有意識地知道任何物理學就能預測這些物理過程。但機器做不到這一點。
3）處理罕見的危險狀態所需要的帶有隱變數（latent variable）的預測 (（predictive）,，因果（causal）和解釋性（explanatory）模型
a. 研究和開發帶有隱變數的模型非常重要
b. 為什麼帶有隱變數的模型很重要？因為在可觀察到的事物與觀察不到的事物之間存在因果關係
c. 除了要有更好的模型，處理無標籤數據也很重要。無標籤意味著沒有進行人類解讀。
d. Bengio 教授給出了一個關於開發安全的自動汽車的例子：自動汽車應該要能搞清楚其在訓練過程中從未見過的危險狀況。
4）基於模型的強化學習、域適應（domain adaptation）、半監督學習、多任務學習等的應用。Steve 問 Bengio 教授因果模型（causal model）是否能以一種無監督的方式衍生出來。Bengio 教授認為無監督將會是一個關鍵的組成元素，但我們必須使用所有的信息源。我們既應該使用有標籤數據，也需要無標籤數據。事實上，我們遇到的數據大多是無標籤的，也就是說沒有提供人類的註解。
2. 記憶（Memory）
Bengio 教授還提到未來幾年記憶（memory）將成為一個熱門的研究領域。為什麼記憶會在這個領域如此重要呢？因為記憶與推理存在緊密的聯繫。從本質上講，推理就是各種信息的組合過程。為了能夠得出能夠準確預測未來的結果，你需要有合理的預測步驟。這個過程會在很大程度涉及到記憶。
Geoffrey Hinton
Hinton 教授是第一批使用反向傳播演算法來訓練多層神經網路的研究者之一，他也是深度學習社區的一位重要大師。
Hinton 教授用一個他常開的玩笑開場。他對醫學院學生說不要去當放射科醫生，因為這個工作在未來 5 年內就會被深度學習應用取代。Hinton 教授指出，通常而言，如果你有大量數據和高速的計算晶元，並且需要解決預測問題，深度學習基本上都能派上用場。
Hinton 教授認為未來可能會實現的兩件事：
1. 發現比 ReLU 效果更好的「神經元（neurons）」模型
發現比我們的標準 logistic 單元或修正線性單元（ReLU）效果更好的「神經元（neurons）」模型。
為了解釋這個問題，Hinton 教授首先簡要談論了自 50 年代以來人工神經元（artificial neuron）的定義的發展史。
50 年代的時候，人們認為神經元是邏輯門，是確定性的和二進位形式的。然後人們發現它實際上是隨機的二進位（stochastic binary）。然後到了 80 年代，Hinton 教授那一代人對神經元的理解從確定性的邏輯門轉變成了 S 型的 logistic 單元（sigmoid logistic units）。此後 30 年來，人們一直在使用 logistic 單元；直到 2011 年，修正線性單元隨 AlexNet 被引入，進而帶來了革命性的影響。
2. 在相對較小的數據集上訓練帶有大量參數的神經網路。
相較於探索無監督學習，Hinton 教授相信監督學習領域仍然還有一些工作要做。計算能力將越來越便宜，數據集將越來越大，這是如今的趨勢。Hinton 教授認為計算能力降價的速度將會超過數據集增長的速度。也就是說，更多的參數可能將不再是噩夢。
數周前，在 Hinton 教授為多倫多大學研究生做的一次講演中，他表達了自己關於如何做出好成果的觀點，他認為可以在網路中利用我們擁有的計算能力並注入儘可能多的參數來獲取數據的規律（包括可靠的與不可靠的），並結合所有這些意見來做出預測。這個觀點已經在許多任務的完成中得到了成功的證明。
為了解釋更多的參數能打造更好的模型，他舉了一個關於人類的例子：
我們每個人都有 100,000,000,000,000 個突觸。一個人在一生中大概要進行 1000 萬次注視（fixation）。以每 5 秒一次計算，就是 200 萬秒。如果我們將每次注視都看作是一個數據點，那麼參數的數量和數據的數量之間就存在大約 10,000 倍的差異。如果你一次處理一個數據，那麼當你有更多的參數時，你所得到的模型的效果就越好。
對於這個例子，Hinton 教授繼續指出人腦處理的數據比注視過程中接收的數據多 10,000 倍，但仍然可以處理。而我們的計算機能力不足的原因很可能是因為我們還沒有提出一種用於 dropout 的規範化的方法。
Steve 提出對是否可以使用機器學習來優化參數，同時是什麼讓 Hinton 相信參數是解決問題的關鍵的疑問。對於 Steve 的這個問題，Hinton 表示贊同可以將其轉變成一個機器學習問題，而且這能給科學研究帶來很大的裨益。但同時，Hinton 也並未過多深入探討參數的問題，反而指出人們實際上仍然不知道神經元實際的工作方式，但在研究上我們甚至有避免將我們在生物神經元上觀察到的基本性質應用到人工神經元上的趨勢。當前的人工神經元仍然還存在諸多限制，還只能計算一些非常簡單的問題。為了解決更複雜的問題，我們還需要繼續改變基本的神經元。
Richard Sutton
Richard Sutton 教授被認為是現代計算強化學習之父，他在該領域有幾個重要貢獻，包括時間差分學習（temporal difference learning）、策略梯度方法（policy gradient methods）和 Dyna 架構。
Sutton 教授的興趣點在於智能本身，以及學習的本質。Sutton 教授並沒有探討接下來一年什麼會幫助公司企業獲得利益，而是探討了接下來一年裡，他認為機器學習最重要的進展。主要有以下三個方面：
1. 從普通經歷中規模化學習的能力
2. 將機器學習擴展到下一階段
3. 使用深度強化學習進行長期預測，（可能）進行無監督學習
現在的機器學習過程和人類學習的方式並不相同。
Sutton 教授提到了經驗學習法，比如人類和動物會通過生活經驗來學習知識。在最近的深度學習方法種借鑒了這種經驗法，我們用經驗構建起巨大的訓練集。能像人類那樣學習是件非常重要的事情。不過在機器學習中，這種經驗學習的方法還關涉到訓練集的可擴展性和限制。這就是為什麼現在的系統只能「被動學習（learned）」無法「主動學習（learning）」的原因。一個被動學習的系統建立在訓練數據之上，而在主動學習系統中，系統能隨時能通過新的經驗不斷提高。對於未來一年機器學習領域的發展，Sutton 總結道：了解世界的運行規律、可擴展的深度學習方法、用於長期預測的深度強化學習以及無監督學習。
在 Sutton 教授看來，學習應該源自與世界交互的過程，而不需要使用有標籤的數據集進行訓練。它應該是一種更加自然的方式，就像人類小孩與動物的方式一樣。它應該有關世界的運行規律和因果規律。Sutton 教授認為他和 Bengio 是在用不同的術語和方法討論同一個問題。他在用強化學習的方法，而 Bengio 則用的是無監督學習。
他最後說，人工智慧目前還有很長一段路要走，我們還僅僅出於旅程的起點，我們將會找到一個穩定的方式趕上甚至超越摩爾定律。
當 Steve 問到這和人類與大腦連接的類比時，Sutton 只是微笑著把問題讓給了 Bengio 教授。Bengio 提到 logistic 單位模型受神經元科學假說的影響很大。我們還需要探索更多，才能消除神經科學與機器學習之間的差距。
Ruslan Salakhutdinov
Ruslan Salakhutdinov 教授是卡耐基梅隆大學計算機科學院機器學習系的副教授，之前是多倫多大學的教授，也是 Hinton 的博士生。
Salakhutdinov 教授最近作為機器學習研究的負責人加入了蘋果。他說他們正在組建一個頂級科學家團隊。有很多棘手的項目和研究要做。他的工作是確保他們能開發出新的優秀演算法。因為機器學習正在被應用到蘋果內部的每個角落。他很高興能夠兼顧到所有的地方。
Salakhutdinov 教授說，人工智慧與機器學習在未來一到三年內存在四大挑戰：
1. 無監督學習/一次性學習（One-Shot Learning）/遷移學習
Salakhutdinov 教授表示他在卡內基梅隆大學的實驗室里已經利用數據進行了大量研究，已經可以使用監督學習從數據中提取結構，這是一個新進展，但計算機距離無監督學習還很遠。他還提到了一次性學習，Bengio 和 Hinton 也提到過這種方法。只是目前的機器還不能像人類一樣從少數例子中學到新的知識與概念。
2. 推理、注意和記憶
Salakhutdinov 教授沒有深入探討這一部分，但他提出了一個問題：如何讓系統具有內建記憶，幫助我們進行決策。
3. 自然語言理解/對話與提問/自動應答系統
即使我們在自然語言的推理中取得了很大的進展，但我們距離人機自然交互仍然有很長的一段距離。Salakhutdinov 在被問及建立嵌入記憶是否是讓自然語言理解語境和長對話的關鍵時回答說：需要有正式的記憶網路，能在神經網路中進行讀取和存儲。建立和設計新的神經網路架構是我們要探索的問題。
Steve 還問到了人機交互自然對話界面建立的時間表，Salakhutdinov 則說，我們仍需在有限的環境中做很多工作，而不是在通用人工智慧上。Bengio 則開了個玩笑：「嚴肅的科學家從不給出時間表。」
4. 深度增強學習
Salakhutdinov 推薦對這一話題感興趣的人們閱讀 Sutton 的著作。他認為認真總結上個世紀 80 到 90 年代增強學習的成就之後，人們將會取得更偉大的進步。
討論花絮
除了討論這一個領域未來的展望，教授們還探討了很多有趣的想法，互相開了開玩笑，與 Steve 進行問答，下面是從討論中摘錄的部分有意思的花絮。
Hinton 教授的靈感之源：「它（大腦）是如何工作的？」
待四位教授說完自己對未來科研風向的觀點後，Steve 問了一個問題，是什麼讓教授們堅信，並且在不知道什麼時間才會出成果的情況下，全身心將事業投入於此？（在會議中 Bengio 教授曾笑言：「（對科研態度）嚴肅的教授是不會給你（出成果的）時間線的。」）
Hinton 教授談到自己的堅持是希望探索出大腦是如何工作的。Steve 追問，「這個強烈的興趣就在於我們對大腦真實工作情況理解的越多，模擬就能做的越好。」
Hinton 教授：「不，我不關心這個。我只關心大腦如何工作。」
關於智能，存在一個簡單的解釋嗎？
在討論到自由意志這個主題時，Bengio 教授還聊了聊自己正在思考怎樣才能簡單的解釋智能。他提到 Pedro Domingos 教授在書中寫過，很多機器學習（和深度學習）都有基礎假設。有一些可以理解的簡單原理能解釋我們的智能以及我們大腦理解世界的能力。如果這個方法複雜到我們無法理解，那就不好玩了。
Geoffrey Hinton 最近的工作
Yoshua Bengio 教授 :「自由意志是一種錯覺！」
當 Steve 問 Bengio 教授他如何看待自由意志和計算決定論時，Bengio 教授並沒有正面回答，而是給出了一個引人深思觀點：「自由意志是一種錯覺！」
深度增強學習漸熱
Sutton 教授和 Salakhutdinov 教授都在強調深度強化學習。這種方法會催生通用人工智慧嗎？我們還不知道。但我們明白目前還有很多工作要做，而在這條路上我們將會有很多收穫。
我們需要知道大腦的運作機制
在會議和討論中，Hinton 教授不斷地講述他關於神經、突觸、脈搏、電流和其他工作的進展。他同時提到了圖靈對神經網路的觀點，並多次強調我們其實還是不明白它（人工神經網路以及大腦）的具體機制。
Bengio 教授與 Hinton 分享了類似的觀點，他認為將大腦運作機制研究清楚是非常重要的——「如果我們不這麼做一定是瘋了」。
Hinton：「我們不知道它的工作機制。」
Bengio：「或者說，我們不知道我們大腦的工作機制！」
本文是機器之心對 2016 機器學習和人工智慧市場會議的第一篇小組論壇要點報道。該會議由多倫多 Creative Destruction Lab 於 2016 年 10 月 27 日在多倫多舉辦。我們希望本篇總結可以讓大家從這些研究者的觀點中受益。隨後的一段時間裡，機器之心將會陸續發出該會議的其他精彩小組論壇總結報道。請鎖定機器之心，第一時間獲得感興趣的小組論壇總結報道。
本文由機器之心原創，轉載請聯繫本公眾號獲得授權。
------------------------------------------------
※人工智慧開發者的入門指南
※牛津大學開放一千公里RobotCar數據集
※MIT 新型神經網路訓練技術，讓模型決策不再黑箱
※腦芯編：窺腦究竟，結網造芯
※人工智慧法官：科學家開發出用於審訊的計算機程序
TAG:機器之心 |
※不是冤家不聚首 Intel和AMD生出個Kaby Lake-G？
※《Game of Thrones》Stark 家族成員重新聚首
※冤家聚首 Windows和Linux竟然是以這種方式走到一起的
※「Angelababy」「新聞」161230 跑男團再聚首 Angelababy別樣方式陪你跨年
※深度學習三巨頭聚首：Hinton堅持10年內機器會掌握常識，Lecun說20年
※「深度學習三巨頭聚首」Hinton堅持10年內機器會掌握常識，Lecun說20年
※劇場版《魔法少女奈葉 Reflection》正式預告PV2出爐，三巨頭再聚首！
※4minute再聚首！但是泫雅去哪了？
※4minute一年後再聚首，唯獨不見泫雅
※韓眾星將聚首麗水開唱 男團Wanna One助陣
※TFBOYS會是下一個小虎隊？183club再聚首重溫經典舞步，偶像團體
※DC.DuBu曬TI7全明星選票，MVP戰隊再聚首
※今夕何年？Anisama 2017 第一天SOS團重聚首
※BigBang正式回歸歌壇全員齊聚首爾秘密拍MV
※韩庚金在中十年又聚首，吴亦凡新歌再冲iTunes榜首
※今夕何年？Anisama 2017 第一天 SOS 團重新聚首演唱《晴天好心情》
※韓庚金在中十年又聚首，吳亦凡新歌再沖iTunes榜首
※Kendall新戀情曝光？劉濤帶「五美」重聚首，「關關」這大長腿可一點也不路人！
※LCK今日看點：LZ大戰SKT，老ROX隊友再聚首