斯坦福新研究：更逼真的VR聲音模擬演算法，效率提升千倍

VR最大的優勢就是沉浸式，沉浸不僅僅在於視覺方面，聽覺方面同樣極為重要。良好的聽覺反饋能夠給我們帶來更為逼真、身臨其境的效果，這一點相信大家在日常觀看電影、玩遊戲時也有體會。

聲音在VR中的重要性

很多時候，我們也在驚嘆一些電影良好的配音，甚至還有一檔主打配音的娛樂節目《聲臨其境》在網路上受到不少網友們歡迎。

不過，電影或其它影視節目的配音往往是預先錄製好的，而VR應用/遊戲中則沒有腳本。也就是說，到目前為主想要在VR中實現電影版的音效似乎是不可能的。

因此，為了讓VR場景實現更逼真的聽覺效果，工程師們就要建立大量的「聲音模型」，這也就相當於進行預先錄製一個電腦版本。

正由於VR這種自由非固定腳本程序的交互特點，也很難預測一個物體可能產生哪些聲音，或者你位於什麼位置，會以何種效果聽到，因此建立聲音模型時就必須要求：每個聲音模型在特定時間、特定位置、能夠合成預想中聲音效果。

此前，即便只是一組聲音模型，也需要大量計算機組花費幾個小時進行創建。由於一個VR場景中需要大量的聲音模型綜合機型模擬，因此在VR這種強交互場景中建立全面的聲音模型一直以來都是一個難以實現的目標。

快速高效的聲音模型演算法誕生

近期，斯坦福大學計算機科學家研發了一套創建聲音模型的演算法，這套演算法的優勢是只需幾秒鐘即可創建一套聲音模型，這比以往需要大量計算機組花幾個小時時間模擬一組聲音的演算法，在綜合成本上大大降低，也使得在VR中創建一套複雜的綜合聲音模擬系統變得更容易實現。

該演算法由Doug L. James教授和博士生Jui-Hsien Wang參與研究，並且已在Siggraph 2019進行發表。

Doug L. James是斯坦福大學計算機科學系的全職教授，也是皮克斯動畫工作室的資深科學家顧問。目前，其擁有三個應用數學方面的學位。他的研究興趣包括計算機圖形學、計算機聲音、物理建模和動畫、物理模型降階。

Jui-Hsien Wang是Doug L. James的一名博士研究生，他的研究興趣是開發高效且逼真的基於物理動畫和聲音的合成演算法。此前，其從事海洋地理、生物力學、燃料電池方面的研究，並且此前分別在迪士尼研究院和Adobe Research進行實習。

據青亭網了解，當有一個動作發生時需要配套的聲音，新模型即可快速合成一個聲音，並且效果和此前在實驗室通過多計算機組生成的同樣逼真。

James教授講到：新的演算法可以更輕鬆、更容易的創建一個模型，並且由此創建一個具備交互的複雜環境下真實聲音模擬系統變得更為實際，更為簡單。

KleinPAT演算法優勢

據系，現有的創建聲音模型的演算法基於19世紀科學家Hermann von Helmholtz的研究成果，他用自己的名字命名了一種聲音傳播方式的方程組。基於這一理論基礎，科學家們設計了不同的演算法去創建3D聲音模型，軟體系統會根據不同的方向和位置，模擬出更為真實的聲音效果。

目前創建3D聲音模型的最佳演算法基於邊界元法(BEM)，不過該方案製作成本太高，商業化進展緩慢。

為此，Doug L. James教授和Jui-Hsien Wang共同開發了這套新的演算法，該演算法避開了Helmholtz方程和邊界元法。相對於現有的聲音模型，新方法的效率可提升數百倍到數千倍。

James教授研發的這套新演算法，靈感來自於20世界奧地利作曲家Fritz Heinrich Klein。Klein最著名的研究成果是將多個鋼琴音調和音符混成一個單一的、令人感到愉悅的聲音，也被稱為「Mother Chord」。為了向Klein致敬，James教授還將這套新演算法命名為「KleinPAT」。

James教授講到：我們認為KleinPAT演算法將是互動場景音頻領域的遊戲規則變革者。

簡單來講，KleinPAT演算法將振動的三維物體的不同模擬音調進行最優排列成和弦，然後通過時域矢量波束器同時播放，從而有效的將所有聲場信息進行融合傳遞出來。

KleinPAT演算法可以快速估計線性震動模型的所有聲場，從而大幅降低聲音模擬過程的成本。

通過視頻來看，KleinPAT演算法已經可以逼真的模擬不同材質、不同位置的聲音效果模擬，而且從音色、聲音大小等方面效果足夠逼真。

有了更高效且效果同樣逼真的演算法，接下來自然需要商用市場來推進。當然這也意味著，高度逼真的聲音交互VR應用將會變得越來越普及，尤其是像模擬器類應用，例如VR模擬物理、化學實驗等等。

當然，面向遊戲娛樂領域的應用將更為廣泛。我們不再想要聽到那些千篇一律的「滴」、「噔」等反饋聲，那些更逼真結合虛擬場景聲音才是會讓VR體驗提升到新的層級。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！