「雞尾酒會效應」的神經機制
日常生活中的人際交流經常發生在嘈雜的多人環境中。當你進入這樣的場景時,耳中會迅速的灌入各種交談聲。但是,這些雜訊似乎並不會顯著的影響你跟朋友間一對一的言語交流。這種現象——選擇性的加工目標對象的言語,同時忽略掉其他背景雜訊——被稱為「雞尾酒會效應」。我們都知道,作為物理的波動,各種聲音信號是重疊在一起的。將重疊在一起的聲音信號分離開來並不像表面看起來那樣容易。雖然近年來人工智慧(AI)技術迅速發展,但是目前尚無法實現語音的有效分離。令人驚奇的是,人腦似乎可以較為有效的解決「雞尾酒會問題」。那麼,人腦是如何做到的呢?
圖1聚會場景通常充斥著各種雜訊。
在長達半個多世紀的時間裡,來自各個領域的研究者對「雞尾酒會問題」進行了大量的研究。但是迄今為止,人們仍然無法解釋「雞尾酒會效應」的神經機制。這一問題的關鍵是人腦如何對混疊在一起的、來源不同的信息進行選擇性加工。6月19日,Nature Communications雜誌在線發表了北京師範大學認知神經科學與學習國家重點實驗室盧春明課題組的研究論文Neural mechanisms for selectively tuning in to the target speaker in a naturalistic noisy situation。該研究利用基於功能性近紅外光譜成像(fNIRS)的多人同時腦成像技術(hyperscannig),在相對自然的人際交流情境下對這一問題進行了回答。
圖2傾聽者與說話者間的腦活動同步。a腦間同步在選擇對象和非選擇對象間進行比較的矩陣。bFDR矯正後在選擇對象和非選擇對象間出現顯著差異的腦間同步。
與以往研究不同,該研究充分發揮了fNIRS技術靈活、便攜等特點,並利用了多人同時腦成像技術在研究自然情境下人際互動問題時的獨特優勢,創設了較為自然的多人對話情境。在實驗過程中,兩個說話者同時對著傾聽者講話,但是傾聽者只選擇其中一人作為注意對象,同時忽略另一個人。研究實時記錄了三人的腦活動,並計算了傾聽者與說話者的腦活動信號隨著時間發生共同變化的趨勢,即腦活動同步。結果發現,傾聽者與其所選擇的注意對象之間出現顯著的腦間同步(brain-to-brain synchronization),其同步強度顯著高於傾聽者與非注意對象間的腦活動同步強度。並且,該結果只出現在雜訊情境中,在沒有雜訊的雙人交流情境中卻沒有出現。雖然以往研究發現人腦的神經振蕩與言語信號在時間維度上出現選擇性耦合,但是由於言語信號與說話者自身的神經振蕩也存在密切關係,因此,人際間的腦活動同步可能是解決「雞尾酒會問題」的重要機制。本研究的發現為這一假設提供了關鍵的支持性證據。
該同步出現在傾聽者和說話者左腦的顳頂聯合區(temporal–parietal junction, TPJ)。為了檢驗該腦區的腦活動同步是與交流內容有關,還是與聲音的物理特徵或發音動作有關,該研究進行了一系列的深入分析。結果發現,傾聽者與選擇對象間的腦活動同步在雙方出現話輪轉換前大約4-5秒左右達到峰值,並與交流質量有顯著相關。特別是,當傾聽者的腦活動領先於說話者的腦活動1-3秒時,腦間同步達到最強。這些結果表明,傾聽者可能通過提前預測說話者的言語內容來調節互動的節律,從而實現對言語的選擇性加工。因此,交流內容,而不僅僅是感覺運動信息,在「雞尾酒會效應」中可能發揮著重要的作用。
該項研究與盧春明課題組的其他工作一脈相承。近年來,課題組採用最新的多人同時腦成像技術,深入探討了自然情境下人際交流的認知神經機制。課題組此前的研究發現,在自然的交流環境中,面對面交流比背對背交流出現更強的腦活動同步(Jiang et al., 2012)。本研究則將腦活動同步在人際交流中的作用拓展到了雜訊背景下。盧春明課題組的系列工作還探討了人際間腦活動同步在社會關係形成和發展過程中的重要作用。研究發現,在交流過程中自發產生的領導者與追隨者產生更強的腦間同步(Jiang et al., 2015);老師通過腦活動同步對學生知識掌握程度的預測越準確,對教學效果的促進作用就越顯著(Zheng et al., 2018)。課題組的其他相關研究工作也在一一展開。
該項研究的第一作者代博涵於2011-2014年在北京師範大學認知神經科學與學習國家重點實驗室跟隨盧春明教授攻讀碩士學位(本研究是代博涵碩士期間的工作)。此後,代博涵赴荷蘭馬普心理語言學研究所及荷蘭唐德斯腦、認知與行為研究所攻讀博士學位(導師為美國科學院外籍院士、著名心理語言學家和神經科學家Peter Hagoort教授)。代博涵目前的工作主要採用腦磁圖(MEG)技術探索大腦如何分離和編碼雜訊環境中的語音信息(Dai et al., 2017; Dai et al., submitted)。
該項研究是盧春明課題組與加州大學爾灣分校的陳傳升教授以及重點實驗室語言認知與障礙研究團隊的同事共同完成。該研究得到了國家自然科學基金(31622030 和 31421130158)和中央高校基本科研業務費專項基金(2017EYT32 和2017XTCX04)等基金項目的資助。
TAG:天大神經工程 |