如何才能為VR製作沉浸聲頻？

VR和360度視頻的前提是模擬另一個現實。為了能夠實現真正的沉浸，它需要立體的聲音來配合強大的視覺效果。人類很依賴於聲音定位來確定我們所在的環境，這就是為何沉浸圖形同樣需要沉浸3D音頻來再現自然的聆聽體驗。如何能夠在每個方向都有連續圖像的情況下將觀眾吸引到一個特定的地點是一個巨大的挑戰，而聲音就可以做到。

創造逼真音頻的關鍵是根據用戶的頭部方向實時定位以及實時視角來同步音頻。這有助於再現現實中的人類聽覺機制，讓聆聽體驗更加現實。創建真正的沉浸音頻需要幾個步驟。首先，你必須要捕捉音頻信號，然後混合信號，最後是為聽眾渲染聲音。

捕捉

為了能夠在線自然聆聽體驗，必須使用到兩個音頻信號——高保真度立體音頻信號以及對象音頻信號。

高保真度立體音頻利用球形麥克風來捕獲所有方向的聲場，包括聽眾上方的聲音和下方的聲音。這就需要將聲場麥克風放置在聽眾所想要聆聽的位置。這些麥克風將完整地記錄放置地點的所有聲場，所以放置他們的地方需要精心考量。還有一點，內容創作者的場景中並沒有麥克風，所以我們需要在360度相機底下安放一個麥克風。

除了捕捉來自聲場麥克風的音頻，內容創作者還需要獲得來自每個單獨對象的聲音作為音頻來源。當畫面中的物體移動的時候，內容創作者可以將聲頻附加在這些物體上並且隨著物體移動，這能夠增加可控度以及靈活性。通過這個對象音頻技術，內容創作者可以控制場景中每個物體的聲音，並且根據用戶的視角來調整這些聲音。

捕捉單聲道聲音也很棘手，因為傳統的懸掛式麥克風所捕捉的單聲道並不能用在VR中。在同步360聲音記錄中，沒有空間可以懸掛麥克風，所以內容創造者可以使用環形微音器並將其隱藏在說話者的衣服中。

混合

以前聲音混合通常是由它的目標揚聲器來合成，不過現在的基於對象的音頻技術，目標對象的聲音可以獨立於屏幕，比如當觀眾看見一直恐龍的時候，恐龍的聲音是獨立於場景、聽眾位置，甚至是聲音空間。這是有可能實現的，因為你能夠將所有的追蹤對象通過聲頻傳送到聽眾那裡。而在傳統的聲頻混合中，內容創造者可能還會需要額外的Foley、ADR以及背景音樂追蹤才能完成聲波場景。

如果你所拍攝的對象和高保真度立體聲頻是在一起的，請確保高保真度立體聲頻信號能夠涵蓋拍攝對象。內容創造者可能還需要額外的工序來移除或者平衡這些對象的聲音軌道，以確保他們不會被算兩次。

傳統上，內容創造者只需要將聲頻和拍攝圖像實時同步即可，這個被成為唇同步。不過電影VR和360度視頻中，內容創造者還需要處理聲音和圖像之間的空間同步關係。比如傳統的電影聲頻中，內容創造者只需要看演員的唇部運動來匹配聲頻即可。

【913VR原創內容，轉載請註明及回鏈】