第一次，腦機介面可以實時讀取人類語言了

機器之心報道

機器之心編輯部

再過不久，我們僅靠意念就可以打字聊天、向計算機發出指令了。今天，Facebook 與加州大學舊金山分校（UCSF）發布了有關腦機介面研究的最新進展，其論文出現在了最新一期的自然雜誌子刊《Nature Communications》上。

「今天我們分享的新工作有關構建非侵入式可穿戴設備，讓人們只需通過想像要說的話即可完成『打字』動作，」Facebook 副總裁 Andrew Bosworth 表示。「這一進展顯示了未來 AR 頭戴設備輸入和互動能力的新潛力。」

這項研究證明了人們在對話時大腦產生的活動可以實時解碼為電腦屏幕上的文字——而在此之前，這樣的工作都是離線完成的，實時「翻譯」文字是腦機介面研究領域的第一次。研究人員表示，他們的演算法目前為止還只能識別一小部分單詞和短語，但正在進行的工作旨在翻譯更多辭彙，並大幅降低識別錯誤率。

這一研究的主要作者，加州大學舊金山分校副教授 Edward F. Chang 和他的博士後 David A. Moses。

新研究展示的可能性或許離我們還很遙遠，Facebook 在隨後發布的官方博客中表示：「這可能還需要十年時間……但我們認為可以縮小這個差距。」

Facebook 與 UCSF 的研究致力於通過實時檢測大腦活動中的預期語音來幫助神經損傷的病人能像正常人一樣交流。有趣的是，與很多檢測大腦神經電流的方法不同，Facebook 與 UCSF 正在探索的策略是使用脈搏血氧儀，檢測神經元的氧氣消耗，從而檢測大腦活動。這種間接、非入侵式的方法看起來安全很多。

2017 年，Facebook Reality Lab 腦機介面項目的研究主管 Mark Chevillet 給了自己兩年的時間，證明利用非侵入式技術從人類大腦中每分鐘讀取 100 個單詞的可行性。

兩年過去了，結果也已經出來：「承諾言猶在耳，」Chevillet 表示，「我們確實認為這是可行的。」他計劃繼續推進該計劃。該團隊的最終目標是開發一種無需大聲說話就能控制的 AR 頭戴設備。

加州大學舊金山分校的神經外科醫生 Edward Chang 是作者之一，他表示，該結果是邁向神經植入物的重要一步，可以幫助因中風、脊髓損傷等失去說話能力的人恢復正常交流。今年四月，Chang 的團隊打造了一個不同的腦機介面，可以直接從大腦信號中解碼語音。

提高解碼準確性的法寶：添加語境

此次公布的這項工作的目標是提高解碼大腦活動的準確性。研究者表示，他們正在解碼來自大腦兩個不同部位的兩種信息，並將它們作為語境，結果對解碼的準確性產生了相當大的影響。

解碼準確性的提升基於一個簡單的概念：添加語境。利用植入三名癲癇患者腦部的電極，研究者記錄下他們在聽一組錄音問題時的腦部活動，並讓他們把自己聽到的東西大聲說出來。

然後，他們利用這些大腦數據來訓練機器學習演算法。然後，當參與者再次被要求對問題作出回應時，演算法僅利用腦部活動來判斷參與者是否在聽或說，然後嘗試解碼這些語音。

多數語音解碼器的工作原理是猜測人想要說出什麼話，因此常規的大腦解碼器可能會被「synthesizer」（合成器）、「fertilizer」（肥料）這種發音相似的詞搞混。

但本文提到的新系統加入了語境來區分這些容易混淆的內容。首先，該演算法從一組已知的問題中預測聽到的問題，如「你在田裡撒了什麼？」。然後將該信息作為語境來幫助預測答案：「肥料」。

問（藍色）答（紅色）任務中實時語音解碼原理圖。

Chang 表示，通過添加語境，腦機介面預測答案會更加容易。藉助於一組受限制的特定問答，該系統能夠解碼感知到（聽到）和生成（口語）的語音，準確率分別達到 76% 和 61%。但團隊希望將來可以擴大系統的辭彙量。

他還表示，演算法效果越好，計算機速度越快，解碼速度也會越快。過去需要花費數周甚至數月時間進行離線處理的內容現在可以實時完成了。

Facebook vs. Neuralink：兩條不同的腦機介面路線

Facebook 此次低調發布腦機介面新突破與前不久馬斯克高調公布其腦機介面公司 Neuralink 新進展形成了鮮明對比。

Neuralink 發布的腦機介面「縫紉機」。

與馬斯克的侵入式腦機介面不同，Facebook 想要製造一種藉助於紅外光從外部接收大腦信號的 AR 頭戴設備（相關技術細節的描述參閱 Facebook 博客），而 Neuralink 正開發包含 3000 個柔性電極的可植入陣列，以增強腦功能。

這兩種不同的開發模式似乎昭示著兩家公司展開競爭，從而能夠率先提供能夠解碼腦活動的商用腦機介面。但是，達成這一目標可能是一個緩慢發展的過程，並不能一蹴而就。

Chevillet 對此表示：「由於這項技術依然處於早期研究階段，所以我們並沒有任何實際的產品規劃。」

與此同時，Chang 希望可以儘快為那些無法開口講話的病人帶來有意義的改變。截至目前，團隊所有工作都是與那些能夠開口講話的志願者一道完成的。所以，團隊將花費一年時間對那些語言能力缺失的單一研究參與者們展開研究，以在電腦屏幕上生成相關文本。

所有數據將由加州大學舊金山分校收集，並存儲在學校伺服器中，施以嚴格保密。同時，與 Facebook 合作獲得的所有研究成果將進行發表，並向學界開放。Chang 強調稱：「我希望這不僅有益於我們正在從事的研究，還將使整個領域獲益。」

華裔教授團隊

這項研究的大部分工作是在 UCSF 完成的，美國加州大學舊金山分校華裔科學家 Edward F. Chang 的團隊近年來因為腦機介面的研究而被人們所熟知。今年 4 月，該團隊使用人工智慧識別大腦電信號並將其輸出為合成語音的工作登上了《自然》雜誌。

Edward Chang 教授。

Edward Chang 是加州大學舊金山分校的神經外科和生理學副教授。他的研究方向主要是人類語言、運動和認知的大腦活動機制。他還是加州大學伯克利分校和加州大學舊金山分校的神經工程與義肢中心的聯合負責人。

今天發表的研究結果是加州大學舊金山分校大型研究項目 Project Steno 的一部分。據介紹，Project Steno 的最後階段將涉及為期一年的研究，以確定人類能否利用大腦活動來恢復殘疾人的交流能力。除了提供資金外，一小組 Facebook 研究人員正在與 Chang 和他的實驗室直接合作，以提供工程支持。

增強現實技術的願景是讓人與人、人與世界無縫連接起來，讓我們可以在交流的同時無需將目光轉向手機屏幕，這將會是一種頗具未來感的方式。不久之後，從大腦實時讀取文字信息的技術或許就會出現在我們的生活中。

參考內容：https://spectrum.ieee.org/the-human-os/biomedical/devices/brain-implant-decodes-dialogue-from-neural-activityhttps://www.nature.com/articles/s41467-019-10994-4https://tech.fb.com/imagining-a-new-interface-hands-free-communication-without-saying-a-word/

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！