聽覺與視覺存在相互干擾嗎？

如題，聽覺和視覺可以互相干擾嗎？如：聽覺或視覺的突然衝擊會對另一種知覺產生怎樣的影響？

這是個認知心理學中被廣泛研究的問題。已有研究表明，視覺與聽覺是會互相影響或者說交互（audio-visual interaction）的。所謂「交互」就是說聽覺與視覺不一定是要互相干擾，他們相互作用、互為補充，最終的目的是讓我們的知覺更加準確。下面先鏈接一個視頻，著名的McGurk effect，它說明視覺與聽覺共同影響對語言的知覺（speech perception）。

McGurk Effect—在線播放—優酷網，視頻高清在線觀看http://v.youku.com/v_show/id_XMjUzMTI3ODY4.html?spm=a2h0j.8191423.module_basic_relation.5~5!2~5~5!3~5~5~A&from=y1.2-1-176.3.視頻中一分二十秒左右，左側人做出「fa」的口型，右側人做出「ba」的口型。如果盯著左側人看就會覺得聽到了fa， 如果盯著右側人看就會覺得聽到了ba，雖然其實聽到的聲音是不變的。

另一個我更喜歡的demo，但不確定國內是否能看：

The McGurk Effect

在這個視頻里，女士做出的是「ga」的口型，聲音是「ba」，但如果看著她就會覺得聽到的是「da」或「tha」的音。

除了McGurk effect，還有一些研究更直接地證明了視覺與聽覺會互相影響。比如在Kording等人的實驗中，他們給被試同時呈現一個亮光（視覺刺激）和一個聲音（聽覺刺激）。亮光和聲音可能出現的位置有五個，它們可能出現在相同或不同的位置。如下圖，最左側一列表示的是亮光位置，從左至右共五個，最上面一行是聲音位置，也是五個。被試的任務是判斷亮光和聲音分別出現在哪兒。

藍線和紅線表示的是結果。左側第二列（no audio）表示在沒有聲音的情況下，被試對亮光位置的判斷。第二列第一個圖，藍線在最左邊最高，表明被試判斷亮光在最左邊的概率最高，向右依次降低。比如第二列第四個圖，我們看到藍線在第四個位置達到最高，說明被試更多地判斷亮光在第四個位置。同理，上面第二行的紅線是在沒有亮光時被試對聲音位置的判斷，雖然出現的失誤比判斷亮光時多，但還是相對準確的。

那麼在亮光和聲音同時出現時呢？這裡的結果是說對亮光位置的判斷沒什麼影響，但對聲音位置的判斷有。我們看最右邊一列從下往上第三個圖（亮光在中間，聲音在最右邊），紅線表示被試對聲音位置的判斷，我們可以看出正確率明顯比沒有亮光的情況下低。沒有亮光時（最上面那個只有紅線的圖），被試們更多地認為聲音在最右的位置。但有亮光切亮光在中間時，被試更多地認為聲音出現在第四個位置。這說明對聲音位置的判斷被「拉」向了亮光的位置。不過亮光對聲音的影響也有可能是促進，比如從下往上第二行，從右往左第二個圖，亮光和聲音都出現在左數第四個位置時，被試判斷正確的概率比沒有亮光時更高。這說明與聲音出現在同一位置的亮光促進了對聲音位置的判斷。

那麼，為什麼聲音位置對亮光位置的判斷幾乎沒有影響，而亮光對聲音的判斷則影響比較大？這是說明相對於聽覺來說視覺佔主導嗎？我與老師交流後覺得未必如此，觀察到的「不對等」可能與這個任務有關。在這篇文章里被試判斷的是亮光和聲音的空間位置，對空間位置的知覺上確實視覺比較佔優。比如我們用眼睛對一個物體定位很容易，但用耳朵對一個聲音定位就相對不準確。但對於另外一些任務，比如時間上的定位（temporal localization，如兩個出現時間間隔很小的物體/聲音出現的先後順序），聽覺就比較佔優。所以，視覺能「影響」聽覺可能是因為在聽覺這個維度上信息不確定性比較大。

Heron等人（2004）的實驗就研究了不確定性對視聽覺交互的影響。在他們的實驗里（如下圖），屏幕上一共有三個白色刺激（文中成為blob，可以理解為三個外周模糊的白色圓）。中間的圓（運動圓）可以水平運動，兩邊的圓（靜止圓）靜止。被試眼睛盯著屏幕中央，運動圓每次會隨機出現在一個位置，然後往左或往右運動。當運動到屏幕中間某一個位置時，運動圓就會被彈回去（即往回走）。在圓彈回時或在此之前的20ms或40ms或80ms或160ms，會有個聲音出現。被試要判斷這個被彈回去的點是在靜止圓「連」成的分界線之前還是之後。如果視覺信息會被聽覺信息影響，那麼對彈回點的判斷就會受到聲音出現時間的影響。也就是說，如果聲音出現時間比彈回時刻早，那麼被試判斷出的彈回點就會比實際的彈回點更「早」。

研究者控制的是視覺信息和聽覺信息的相對不確定性（uncertainty）。比如，運動圓有時比較大（不確定性高）有時比較小（不確定性低）**。根據假設，不確定性高時容易被聽覺信息影響。於是，圓比較大時，如果聲音早於彈回點出現，被試知覺到的彈回點就會比實際彈回點早。而圓比較小時不確定性低，受到的影響就比較小，判斷就會比較準確。實驗結果也的確如此。

以上這些實驗給以下觀點提供了證據：

1，視覺與聽覺可以互相影響，且它們進一步影響了其它認知功能（如對語言的知覺）

2，其互相影響的程度可能與信息不確定性有關，如果一個感覺通道獲得的信息比較不確定，那麼人們對於這一感覺通道的知覺更容易被其它感覺通道獲得的信息影響。

我個人覺得，不同的感覺通道是協同工作的，根本目的是讓生物對周圍環境的知覺更為準確。所以這些結果也是情理之中，如果看到的東西比較讓人難以判斷，那麼自然會整合聽到的東西來幫助自己判斷。不過這與因果推斷（causal inference）也是有關的。在上面這個實驗里，聲音與彈回很接近，所以人們才會把兩者關聯起來。想像一下如果聲音很早就出現了，比如在運動圓一出現時就出現了，那人們也不會因此就覺得圓很早就彈回了，因為此時聲音顯得與彈回一點兒關係都沒有。

** 圓的大小與不確定性有關這一點也是有實驗證明的，具體請參考Heron這篇文獻。

參考文獻

Heron, J., Whitaker, D., & McGraw, P. V. (2004). Sensory uncertainty governs the extent of audio-visual interaction.Vision research,44(25), 2875-2884.

K?rding, K. P., Beierholm, U., Ma, W. J., Quartz, S., Tenenbaum, J. B., & Shams, L. (2007). Causal inference in multisensory perception.PLoS one,2(9), e943.