HTC Vive發布空間音頻SDK,帶來身臨其境的聽感
原標題:HTC Vive發布空間音頻SDK,帶來身臨其境的聽感
聽覺是VR體驗中不可或缺的一部分,真正沉浸式的體驗除了視覺外也要讓聽覺符合場景的設定。為了幫助開發者更方便的創造自然的立體音效,HTC Vive推出了3DSP音頻SDK。
3DSP是一款音頻SDK,可以為應用程序提供具備空間音效的音頻。影響人類對於音頻空間化感知的因素有很多,比如聲音傳入兩隻耳朵的時間差,兩耳之間的水平差異,人體耳廓、頭部等部位的差異、環境因素(例如房間聲音反射和混響)以及從聲源發出聲音到人耳接收到聲音之間遇到的障礙物阻擋,都會影響人的聽感。
為了讓用戶在VR中聽到的聲音儘可能的真實,就需要考慮到聲音發出到被聽到之間的種種因素,讓VR中的聲音儘可能接近真實空間中人們聽到的聲音,以增加從沉浸感。
高階Ambisonics(高保真立體聲)
傳統的雙聲道立體聲利用兩個揚聲器,通過人的雙耳效應使聲音達到空間立體的效果。
而隨著技術的不斷進步,在VR中我們常用一種音頻技術Ambisonics,相當於讓聲源遍布球狀的內表面,環繞用戶的頭部。
Ambisonics使用「球諧函數」描述聲場,使聲音從四面八方傳來,帶來更好的沉浸感。
不過迄今為止簡易的基本型Ambisonic系統只能在一個中心位置創建一個精確的聲場。隨著聽眾遠離中心並隨著頻率的增加,誤差水平逐漸增加。
為了減少誤差,可以採用增加球面的階數來描述更加複雜的諧波。
HTC在對3DSP SDK的展示中便展示了3階Ambisonics模型。
房間音頻
當用戶處在虛擬房間中時,就要考慮房間的複雜情況,對聲音做出相應處理。
3DSP從早期反射、後期混響、背景雜訊、環境材料等方面模擬房間音頻,讓用戶獲得更具空間感的聲音。值得一提的是,3DSP同時保證了該技術在低計算量的情況下運行,減少設備的計算負擔。
距離模型
空間中真實傳播的聲音會隨著傳播距離的增長而發生衰減,但是在不同的情況下衰減的變化是不同的。
在HTC Vive 3DSP SDK中,提供了幾種情況下聲音的衰減模型,採用基於現實建模的距離模型。
阻塞效應
當聲音從聲源發出遇到障礙物再被用戶聽到的時候,會因為障礙物的阻擋而發生改變。
分析物體的幾何特點來計算遮擋物對聲音的遮擋能力。
為了計算障礙物的遮擋能力,是通過在空間中投射大量射線,並列舉有多少被障礙物遮擋。
無需使用Unity對撞機,根據不同障礙物的具體面積以及形狀計算得到聲源經過障礙物後被聽眾聽到的實際情況。
其他特性
除了上述的幾點外,HTC Vive 3DSP SDK還具備以下特性
·基於對真實世界精確建模(包括水平和垂直方向)的頭相關變換函數(HRTF),可以得到適用於所有聲音的濾波器進而還原空間音頻。(關於HRTF我們在被我們所忽視的音頻增強現實 曾經提到過)
·原聲和回放均採用高解析度音頻。
※ARKit 2.0如何讓虛擬對象看起來更加真實
※Adobe教你用傳統2D開發平台創作AR內容
TAG:AR醬 |