Oculus揭秘VR中的近場3D音效和Volumtric Sounds技術

沉浸感按：最近 Oculus 發表官方博文，詳細介紹了近場 3D 音效技術和立體聲效 （volumetric sounds）。沉浸感編譯如下。

雙聲道3d立體聲的原理是通過為左右耳朵提供基於聲源3D位置的經過特殊「濾波器」處理的聲音而實現的。術語「濾波器」可用於描述從小到簡單均衡器EQ，大到複雜混響的所有相關事物。那麼我們接下來說什麼呢？

正如混響濾波器通過雙通道脈衝響應（IR）的方式，捕獲的聲音可以在到達聽眾耳朵的途中與周圍環境進行交互，而雙聲道空間環繞濾波器捕獲的聲音可以在到達聽眾耳朵的途中與聽眾的身體進行交互。

在混響的情況下，由於環境的大小和複雜性，脈衝響應IRs時間較長而且秩序混亂。多年來，我們一直在利用這個優勢，以單一的雙聲道混響脈衝響應IR來模擬近似的環境，因為聲音脈衝響應經過了最初的幾次反射後，空間感逐漸削弱，最終完全消失，使得我們無意識地認為聽到的聲音就是與我們的周圍環境融在一起的。

在雙聲道3D空間立體聲案例中，脈衝響應IRs很小，但是極其具有方向性。即便超過幾英尺的距離，脈衝響應IRs也不會有很大變化。我們一直在利用這一點，對3D立體聲音頻進行另一種近似模擬，這種技術與距離無關，我們稱之為「遠場」。我們的HRTF資料庫在頭部如同一個有序的球型網格空間內進行捕獲/採樣，而不是堆在一起。

我們沿方位角和仰角空間化，而不是沿距離方向。

距離在單獨的專用模型中解決：

高低頻衰減曲線

介質吸收濾波

處理/原始音頻信號平衡

近場渲染技術的理論基礎是，當從聽眾的距離縮小到與人類頭部的大小相當時，該模型不起作用。在這種情況下，空間化和距離建模變得密切相關，並且在從以耳為中心的參考空間內，要比以頭為中心的空間合成效果要好。在遠場，聲音世界的中心是以我們的頭部為中心。而在近場，聲音世界的中心是耳道入口，我們有兩隻耳朵，這使得近場比遠場更為「雙通道」。

近場距離（圍繞聽者頭部的近場球體的半徑）通常定義為約0.5 - 1.0 m（或3英尺，「在一臂的距離範圍內」）。我們目前的遠場HRTF技術的演變是通過向資料庫添加更多的濾波器樣本（紅點）將其擴展應用到近場之中，以將整個近場球型空間與頭部邊界之間的所有空隙填滿：

這種方案可能會降低R＆D的水平，但同時也需要佔用更多的硬體資源。同時，就像混響和遠場空間化案例一樣，我們正在尋找一種在有限資源的硬體上快速運行的能取得相似效果的方案。

那麼近場音頻有什麼特別之處？

對於我們的近似模擬工作，我們首先必須確定近場渲染的主要感知線索：

越來越近，意味著自由場中的平方反比律更大。

但是響度增加主要表現為ILD（雙耳聲級差），因為頭部對聲音傳播的干擾，聲音可以比另一隻耳朵更接近一隻耳朵，從而產生比遠場更高的ILD。

增加頭部陰影/衍射：在相反（遮擋）側，高頻比低頻衰減更多。

總體而言，在增加的ILD之上，能帶來微妙的低音體驗提升。

原始信號：開始的聲音反射和漫反射會給人帶來強烈的距離感，因此必須控制在最小水平。

由此，這種近似模擬將在側面位置（遠離中間平面）帶來更好的效果，在這個位置ILD和環繞濾波器效果最強，並且我們需要完全控制反射信號增益（前期反射和後期混響）。

還值得注意的是缺少ITD（Interaural Time Difference，雙耳時間差）特定的線索：較近的距離不會以可感知的方式影響每個耳朵之間的時間差異，但是確實要比它們忽遠忽近的移動時，會產生更大的ITD和ILD變化（例如晚上那個討厭的蚊子！）。

近場渲染模型

az：方位角

el：仰角

d：到聆聽者的聲音距離

a：頭直徑

第一步採用我們的遠程HRTF資料庫（像往常一樣），但是從兩耳而不是頭部中心的幾何空間內重新解釋它。

下一步是像往常一樣卷積我們的源信號，但現在結合上我們剛剛建成的近場HRTF。在這一點上，我們已經補償了HRTF查找中的方向誤差，因此空間化更準確，但是由於我們使用遠場HRTF，我們仍然聽起來有種很「遠」的感覺。

最後，我們應用實時頭影效應的物理建模。

這裡發揮的關鍵物理現象是聲學衍射：圍繞剛性障礙物，如頭部，產生的聲波彎曲。

這種現象是頻率依賴的：

低頻可以繞障礙物彎曲

高頻不能

截止頻率取決於障礙物的大小

這可以認為是雙耳（每個耳朵會得到不同的濾波效果）定向低通濾波器，截止頻率與頭部大小，方位角和仰角直接相關。其中一些濾波已經被捕獲在我們的遠場HRTF（頭衍射不僅僅限於近場使用），所以我們使用一組在距離，方位角和高度參數化的實時濾波器來微調效果。

以下內容涵蓋立體聲效技術（Volumetric Sounds）以及通過各種聲學設計實現更好的聆聽效果。

使用HRTF的空間音效（Spatial sound）對於表現點源是非常好的，這是它的設計目的，你可以通過點源獲得很好的效果。然而，在現實世界中，並不是所有的聲音都來自於空間中的某一點，有時候你希望的聲音來自於更大的發聲空間。當聽眾附近有一個較大的物體或對象時，這一點尤其如此。在這些情況下，使用點源可能聽起來不那麼自然，就像聲音只來自對象的中心。

工作環境

有一些辦法可以解決點源問題，但各有自己的優點和缺點。一種常見的方法是混合一些原始信號以減少方向性，這通常被稱為「擴散（spread）」或「2D混合（2D blend）」。這種方法來自傳統的遊戲音頻解決方案，其中通過平移實現音頻空間化，做法是混入原始信號用來柔和平移中產生的刺耳雜訊以實現聲音環繞感。但這種方法在基於HRTF空間化的VR中，不起作用的。具有HRTF的3D空間化包括兩耳時間差（ITD），模擬雙耳的聲音延遲也被加入到了信號之中。當延遲的空間化信號與原始輸入信號混合時，由於延遲，可以產生梳狀濾波偽影。

另一種方法是用很多點源發聲。這種方法可以合理地工作，但這將涉及發聲源數量安排，你需要為聲源數量找到恰當的平衡。如果多個源產生完全相同的信號，那麼會有潛在的相位相干性問題。

Volumetric Sounds

為了獲得更大的聲音，Oculus研究人員開發了一個基於距離和半徑來計算投影的過程，並在運行時構建空間濾波器。當聲音很遠時，投影很小，聽起來像點源。當聲音靠近收聽者時，投影更大，聲音變得更寬廣渾厚。

圖1：球體聽眾空間上具有小投影面積的遙遠聲音

圖2：球體聽眾空間上具有較大投影面積的更接近的聲音

這提供了一種實際上正確和高性能的方式來模擬大型聲源。當聽眾在聲源的半徑內時，他們會被聲音包圍環繞。隨著聽眾接近聲音的中心，它從空間聲音順利地過渡到環繞聲。

這種新技術類似於圖形社區在全球照明和光傳輸問題上所做的工作。主要思想是使用像立體函數這樣簡潔緊湊的基礎功能來表示球體上的光滑函數，如漫射照明。該基礎表示法具有雙重優點：（a）它節省了內存（b）它將複雜的積分表達式簡化為簡單的向量點積計算。這能夠實現對大型複雜虛擬環境的漫射照明和全局光照明的實時計算。

這裡的基礎技術是球面調和函數理論，也是實現立體聲的基礎，但對於大體積聲源，它的應用略有不同。HRTF濾波器存儲在球面諧波域中，這使得我們可以計算點源的濾波器或球體聽眾空間的任何形狀的投影。最初可以應用於球狀發聲體，這是通過投影到球型聽眾空間上的圓形投影來計算HRTF濾波器的。

大型音源允許聲學設計師對物體進行大型建模和小型建模，它基本上是分散於空間音頻上。值得強調的重要一點，大型音源的作用只是將聲音傳播出去，而不是提供一種規模感。藉助混響平衡和混合動力這樣的方法，讓聲音聽起來「大」仍然是聲音設計師的工作。最後，Volumetric僅是工具帶中的一個能得到準確混合結果的額外工具而已。

Via developer.oculus 沉浸感編譯

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！