對話Jack Gallant「大腦語義地圖」之後的研究進展

機器之心原創

記者：趙雲峰

編輯：孫睿、微胖

2016年4月的《Nature》封面文章《Semantic information in natural narrative speech is represented in complex maps that tile human cerebral cortex》中，加州伯克利大學的 Jack Gallant 和他的團隊（Gallant 認知、計算和系統神經科學實驗室）終於成功繪製出大腦語義地圖（985 個英語常用辭彙語義）。我們可以清楚看到大腦如何根據更深一層的辭彙含義，將辭彙安置到諸如數字、地點或其他基於共通主題的子類別當中。

點擊播放 GIF/1438K

2016年5月26日（當地時間），腦科學領域的頂級峰會 Brain Forum 2016在瑞士洛桑的瑞士科技會議中心舉行，腦科學領域的世界級專家、研究者、工程師、醫療健康專家、創業企業家、產業專家和投資人集聚一堂，共同探討如何將腦科學轉變成觸手可及的解決方案。

機器之心是唯一一家獲邀參會報道的中國媒體。會議期間，機器之心記者趙雲峰專程採訪了也來參加這次峰會的 Jack Gallant 教授。

採訪開始

機器之心：在發表了論文《Semantic information in natural narrative speech is represented in complex maps that tile human cerebral cortex》之後，您的團隊開始探索新的地圖（atlas），大腦如何保存語言其他方面的信息，比如句法（syntax），目前在這些方面上有什麼新進展？

Jack Gallant：用 Moth 的故事（ The Moth Radio Hour，也就是 Nature 封面研究中使用的故事——編輯）做完上次研究後，我們給所有其他水平的信號進行了建模，包括音素（phonemes）、詞素（morphemes）、句法（syntax）、語義等。我們沒有做敘述，因為給敘述建模過於爭議，目前還沒有統一標準。

語義目前是探討的最廣泛的話題，最容易發表這方面的文章，所以我們將這方面的論文發表了。這周我們還會發出另一篇論文，主要關於句法、音素等。結果要幾個月後。這項研究和之前的研究是一回事，只不過針對的是不同信號特徵。

處理這些對象的難點在於，它們發生時間都是很短的，而功能性磁共振成像更善於記錄發生速度慢的信息，對於快速發生的事件效果很差。因此，儘管我們能夠選擇其它特徵來進行建模，但是它們並不都是效果最好的。

機器之心：你們繪製完成的地圖，讓我們看到大腦不同區域如何表徵 958 個常見英語辭彙意義...

Jack Gallant:我們選取了英文中最常用的 985 個單詞，並嘗試在一個含有 60 億單詞之多的語料庫中，尋找它們之間的關係。這個過程與語義分析很像，是一個共向變數空間。 所以這些特性是詞義上（meaning）的特性，它更像是詞義連成的關係網，其中每一個詞義都能夠通過其與附近詞義的關係推導得出。

機器之心：下一個研究目標是什麼？

Jack Gallant：我們近期快要完成的是一項比較聽力與閱讀過程的實驗，例如，同樣一個故事，你可以通過閱讀文字和圖片的形式了解，也可以通過聽音頻的方式。但是，二者的語義地圖幾乎是一樣的。另一個我們感興趣的主題是雙語現象（bilingualism）。拿漢語和英語舉例，我們的語義空間是一樣的嗎？我們的語言空間自然是完全不同的，所以我對漢語的語義一無所知。在雙語研究上，最有趣的組合可能是漢語與任意一種歐洲語言，因為它們在語言學中屬於兩種完全不同的分支，許多意群的發展形式也是完全不同的。目前我們主要重心在英語和漢語上，未來也可能比較英語和西班牙語，等等。

機器之心：你認為你們的研究成果會給人工智慧領域一些靈感，讓機器學習表現更好嗎？

Jack Gallant：谷歌翻譯很贊！在實驗室我們大量地使用人工智慧應用，如獲得事物特徵等。我們會將自然語言處理應用到故事上。例如，當你玩電腦遊戲的時候，遊戲中的所有你能看見的、你的目標等等信息，都一定能夠在你的大腦中被表現，但是我們怎樣才能知道這些特徵是什麼？

有一種你能想像的方法是，我們乾脆讓一個人工智慧來玩這個遊戲，然後讓其內部顯現的特徵帶入到大腦中。因此，我同時也感到，因為我們對大腦的認知如此有限，所以其實很多時候我們是將人工智慧上的信息應用到大腦上，而不是將大腦上的內容轉移到人工智慧上。

另外，有一點我認為值得討論的是，近期大熱的神經網路其實也只是受人類大腦的啟發而已，而並非高度的模仿。因為在大腦中的神經網路里，信息是雙向流動的，前饋與反饋是並存的，如果你完全關閉了反饋的通道，整個系統就會崩潰。然而在計算機領域的神經網路中，信息是單向流動的，也就是只有正饋。因此，我相信，這種含有正反饋的動態的神經迴路機制會在計算機領域變得十分重要。

機器之心：你的研究很棒，看起來就像一個平台，未來這個平台會向其他人，比如科學家、研究人員開放嗎？

Jack Gallant：會的。我們希望人們了解我們在做什麼。SPM 是一種進行功能製圖的傳統工具，在使用 SPM 的時候，你必須先獲得平滑數據。但是將數據平滑化的原因不是因為這樣對數據好，而是因為這樣使得統計參數圖在統計意義上更具有合理性。這種做法事實上對研究是有害的，因為在這一過程中，為了使統計方法運作良好，你事實上丟失了很多信息。而在我們的框架中，你不需要平滑數據，除非你必須這麼做。我們希望更多人能有機會使用這一平台，但我們可能不會自己提供軟體上的支持。目前，我們會一點點地開放。但是像 Brain Viewer 這樣的工具已經是完全開放的了，任何人都可以在上面對大腦結構進行剖析和觀察。你可以直接到 GitHub 下載。

在學校內部，我們也將我們的軟體開放給伯克利的情緒研究室的研究人員們，他們能夠使用我們的軟體和系統完成自己的實驗。此外，我們也正在和加州理工的實驗室進行合作。

機器之心：您這項研究的最終目標是什麼？您希望能在多大程度上了解大腦理解語言的方式？

Jack Gallant：語言只是作為人類的一個組成部分，當我們在做功能性磁共振成像語言實驗的時候，我們不是在理解語言，而是試圖理解大腦是如何理解語言的。我認為這二者是不同的，所以我更關注的是研究大腦是如何理解語言的。所以我們努力在做的唯一一件事情是，將大腦所有區域中的所有信息還原出來。假設有 500 個在運作的大腦區域，其中每一個區域代表 15 個維度（dimensions），那麼現在我們就很清楚有 7,500 個維度是我們需要還原的，那麼我們就有了大腦中全部 7,500 個維度的信息。而這些只是名義上在不同大腦空間中被轉譯的信息，其中還有很多子空間，我們現在在座的就是儘可能多地將這些信息還原。

機器之心：假如我們完全了解了大腦對語言的理解機制，未來我們是否有可能實現無需對話，而直接在人腦間進行交流？

Jack Gallant：這個問題很有意思，我想這最終是可能會發生的。但是，現在我們還有很長的路要走。可能很多人小的時候都有這樣的經歷：你將收音機拆開試圖了解它的工作原理，然後你發現其中一個迴路是調節音量大小的——可能電壓越大音量越大。下一次，當你覺得音量太小的時候，你會嘗試增加電壓，而這可能導致整個收音機直接報廢了。理解一樣東西總是比修改一樣東西要容易得多，大腦也是這樣。即使我們能夠很好地掌握大腦理解語言的機制，但如果真要實現大腦間直接的交流，我們需要在大腦中植入外部工具，甚至是改變大腦的結構，而一點點細微的差錯或噪音就可能產生難以預料的後果，所以我想實現這一點，我們還需要很長一段時間。

採訪結束

Jack Gallant：你竟然穿著我們死對頭（斯坦福）的T恤採訪我。（玩笑）

機器之心：Go bears！

本文由機器之心原創，轉載請聯繫本公眾號獲得授權。

------------------------------------------------

請您繼續閱讀更多來自 機器之心 的精彩文章:

※CMU聯合Petuum提出contrast-GAN：實現生成式語義處理
※SAP的Cloud Platform增加了多雲支持和商業語義
※谷歌I/O走進TensorFlow開源模型世界：從圖像識別到語義理解
※小i機器人開放中文深度語義平台，並發布Machine Mind OS|數博會2017
※Web 語義化
※發布了 1000 種語義技能的 DeepBrain，想做一個能與萬物對話的大腦
※三角獸：依靠語義理解，這個鎚子 BigBang 的幕後功臣搞定了 8000 萬融資 | 創業
※HTML5基礎教程之語義化標記
※MIT 新發布大型數據集 ADE20K：用於場景感知、語義理解等多種任務
※谷歌I/O走進TF開源模型世界：從圖像識別到語義理解
※谷歌IO走進TF開源模型世界：從圖像識別到語義理解
※他的法律諮詢AI能深度學習語義 用戶3s獲回復 正確率92％
※「語義機」：計算主義的「新方向」
※版式設計中的圖形語義功能！
※百度NLP｜神經網路語義匹配技術
※研究人員探索由語義布局合成的攝影圖像
※NLP大突破：語義角色標記深度模型，準確率提升10％
※軍語在商業用語中語義泛化的認知
※「第二信使」的語義構建與科學修辭