深度學習的「教父」Geoff Hinton：從神經科學適應AI的想法

來自大腦的靈感與人工智慧極其相關，現在是我們進一步推進的時候了。

根據Geoff Hinton的說法，更好地理解神經元飆升的原因可能會導致智能AI系統更加高效地存儲更多信息，而Geoff Hinton通常被稱為深度學習的「教父」。

Geoff Hinton是多倫多大學名譽教授，也是Google的一名工程師。他是神經網路的先驅之一，並且是一小群學者的一部分，他們通過一段時間的不溫不火的興趣、資金和發展來培養技術。

通過像奧巴馬政府的「大腦計劃」這樣的研究計劃，對大腦進行大規模的分析，有望揭示大腦的新方面，給人工智慧設計師帶來新思路。

您可以將來自神經科學的想法轉化為與AI相關的想法 - 儘管需要一些時間。 Hinton在1973年首先想到的是，實現一個系統的能力與突觸事件在多個時間尺度上發生變化的能力相似，但直到2016年才在這一領域發表了一篇重要論文。

開發強大的感知系統相對容易，但我們需要新技術來構建能夠推理和語言的系統。

傑克克拉克：為什麼我們應該在開發AI系統時著眼於大腦，我們應該關注哪些方面？

Geoff Hinton：主要原因是它是有效的。這是我們唯一知道的非常聰明並具有通用智能的東西。第二個原因是，多年來，一部分人認為你應該看看大腦，試圖讓AI更好地工作，而且他們並沒有真的走得太遠 - 他們在80年代推動了它，但隨後它他們對AI中的每個人都有些嘲笑，他說：「你不用看大黃蜂去設計一個747」。但事實證明，他們從大腦中獲得的靈感是非常相關的，沒有，他們可能不會朝這個方向走。這不僅僅是我們有一個聰明的例子，我們也有一個可行的方法的例子，我認為我們應該進一步推進。

JC：今天，像神經網路這樣的現代分類器的方面看起來與我們對大腦視覺系統所知甚少。我們也在開發受海馬啟發的記憶系統。還有其他領域我們可以看到大腦，並開始採取元素，如峰值神經元？

GH：我們不知道為什麼神經元會飆升。一個理論是他們想要喧鬧以便正規化，因為我們擁有比我們有數據點更多的參數。輟學的想法[一項旨在幫助防止過度配合的技巧]是，如果您有嘈雜的激勵，則可以使用更大的模型。這可能是他們為什麼飆升的原因，但我們不知道。他們為什麼會飆升的另一個原因是，他們可以使用時間的模擬維度，在峰值時刻編碼一個真實值。這個理論已經存在了50年，但沒有人知道它是否正確。在某些子系統中，神經元肯定會這樣做，就像判斷信號到達兩隻耳朵的相對時間一樣，這樣就可以得到方向。

另一個領域是在各種記憶中。突觸適應許多不同的時間和複雜的方式。目前，在大多數人工神經網路中，我們只是有一個適應突觸的時間尺度，然後是一個激活神經元的時間尺度。我們沒有所有這些突觸適應的中間時間尺度，我認為這些對於短期記憶非常重要，部分原因是它為您提供了更好的短期記憶能力。

JC：我們理解大腦的能力是否存在障礙，這可能會減慢我們在AI的啟發下開發創意的速度？

GH：我想如果你把一個電極放在一個電池裡面並記錄下來，或者把一個電極放在一個電池附近並記錄下來，或者靠近一堆電池，並試著從其中的一半中記錄下來，了解光學染料很容易理解的事情，讓您了解一百萬個細胞在做什麼。奧巴馬腦科學計劃中會出現各種各樣的事情，為我們提供新技術，使我們能夠看到（並且明顯）那些難以建立的事情。我們不知道他們會怎樣，但我懷疑這會導致一些有趣的事情。

JC：那麼，如果我們有足夠大的神經網路，那麼在任何給定的任務中能夠匹配一個人還是缺少我們需要的組件？

GH：這取決於你在說什麼特定的任務。如果你採用語音識別這樣的東西，如果一個真正的大網路與人類完全匹配，我會感到非常驚訝;我認為它要麼會變得更糟，要麼會變得更好。人不是限制。我認為實際上在語音識別方面，如果在10年的時間裡，神經網路不能比人們做得更好，我一點也不會感到驚訝。對於其他領域，例如從很少的例子中推理和學習，開發匹配或超越人的系統可能需要更長的時間。

JC：現代強化學習系統似乎有一個問題，就是要知道問題的哪些部分要專註於探索，因此您不必在圖像的不太有趣的部分浪費時間。

GH：這在視覺上完全一樣。人們做出非常聰明的注意。幾乎所有的光學陣列都不會以高解析度進行處理，而在計算機視覺領域，人們通常只是以低解析度，中等解析度，高解析度拍攝整個陣列，並試圖合併信息，所以它們也是一樣的問題在我們。你如何聰明地專註於事物？我們將不得不面對同樣的問題。這是一個基本問題，我們還沒有解決。

JC：您最近在您發表的關於神經網路中權重的短期變化的論文中發表了演講。你能解釋這篇論文嗎？為什麼你認為這很重要？

GH：在循環神經網路中，如果他們正在處理一個句子，他們必須記住有關到目前為止在句子中發生的事情的東西，並且所有的記憶都在隱藏的神經元中的激活中。這意味著那些神經元不得不被用來記憶東西，所以它們不能用於當前的處理。

一個很好的例子是，如果你有一個嵌入式句子，如果有人說，「約翰不喜歡比爾，因為他對瑪麗無禮，因為比爾對瑪麗無禮」 - 你處理句子的開始，然後你使用完全相同的知識處理來處理「，因為比爾對瑪麗不禮貌。」理想情況下，您希望使用相同的神經元和相同的連接以及相同的連接權重進行處理。這就是真正的遞歸會是什麼，這意味著你必須把你迄今為止在句子中的東西拿走，你必須把它放在一邊。問題是：你怎麼把它放在一邊呢？在計算機中，這很容易，因為您擁有隨機存取內存，所以您只需將其複製到其他位的內存以釋放內存。在大腦中，我不認為我們複製了神經活動模式;我認為我們所做的是對突觸強度進行快速改變，以便我們可以在需要時重新創造記憶，並且當情境適合時我們可以重新創建它們。

我最近和Jimmy Ba以及DeepMind的一些人一起展示了我們如何才能完成這項工作。我認為這是一個例子，突觸在多個時間尺度上發生變化的事實可能是有用的。我在1973年首先想到了這個問題，並創建了一個可以對一個非常簡單的問題進行真正遞歸的小模型。一年前，我回到了DeepMind，並在框架內工作，以便了解所有內容。回想起來，電腦有64k的記憶，我們不知道如何訓練大神經網路。

JC：您認為人工智慧代理需要以某種形式體現，無論是在機器人還是足夠豐富的模擬中，才能真正變得智能？

GH：我認為有兩個方面，一個是哲學方面，另一個是實踐方面。在哲學上，我沒有看到為什麼必須要體現它的理由，因為我認為你可以閱讀維基百科並理解這個世界是如何運作的。但作為一個實際問題，我認為體現是一個很大的幫助。這裡有一個馬克思的話：「如果你想了解這個世界是如何運作的，試著改變它。」只是尋找並不像理解事物那樣有效。所以，哲學問題是：行動至關重要？如果行動對理解世界至關重要，那麼天體物理學就陷入困境。所以，不，我不認為體現是必要的。

JC：如果您能夠複製尖峰神經元的某些特性並將其與可形成暫時記憶的系統結合，那麼您將能夠構建什麼？

GH：我認為這可能會讓我們今天的所有工作都變得更好。因此，對於自然語言理解，我認為擁有一個權重快速變化的聯想記憶是有幫助的，對於這些前饋網路，我認為巧合探測器在濾除背景中的混亂方面要好得多，所以它們會很多更好地關注信號並濾除噪音。這也可以幫助從小數據集中學習。

作者： Jack Clark

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！