研發實戰：如何用AMD TrueAudio Next加速音頻渲染

文章相關引用及參考：映維網

本文來自原Impulsonic的工程副總監Lakulish Antani

（映維網 2018年02月27日）Phonon這組軟體工具可以幫助開發者和音效設計師為各個平台的遊戲和VR應用添加基物（physics-based）環境音頻。從本質上講，Phonon利用虛擬世界的布局和構成每個對象的材料來確定聽眾（用戶）對不同聲音來源的知覺。例如，Phonon可以確定玩家和NPC之間存在隔牆，這樣來自NPC的聲音聽起來應該像是通過開著的大門或窗戶進來。此外，Phonon可以自動改變聲音，使它們在鋪有地毯的走廊更安靜，而在大教堂中則更加迴響。Phonon是作為一組遊戲引擎（如Unity或Unreal）和音頻中間件（如Wwise或FMOD Studio）的插件起作用。我們可以將其簡單類比為圖形渲染技術：幾何聲學之於聲音，就像是基物照明之於圖形。

TrueAudio Next這個API可以幫助開發者利用GPU來執行音頻渲染。基物音頻由兩個主要部分組成：音頻模擬和音頻渲染。音頻模擬涉及捕獲每種聲音是如何受環境影響，即所謂的脈衝響應（IR）。我們需要為每個聲源生成一個IR。這種IR可以含有多個通道，例如立體IR可以含有2個通道，或Higher-Order Ambisonics IR可以含有4個，9個或16個通道。根據性能限制，這可以遊戲運行或預先計算時生成。音頻渲染涉及使用IR來修改由每個聲源發出的音頻，利用一個名為卷積的過程。簡而言之，TrueAudio Next是一個可以幫助你利用GPU進行卷積的API。在本文中，我們將重點介紹TrueAudio Next如何加速Phonon的音頻渲染部分。

卷積的計算成本取決於兩個主要因素：聲音來源數量和IR的長度。較長的IR用於描述包含長時間回聲和迴響的環境，如大教堂或峽谷。許多聲音來源都出現在逼真的，聲學複雜的環境中。造成這種挑戰的原因是，所有這些計算都必須在嚴格的時限內完成：等同於音頻引擎處理的音頻幀大小，一般約為20毫秒。這為CPU的使用提出了一個限制。我們通常不能使用大量的CPU內核，因為這可能會影響其他遊戲引擎和操作系統任務，對繪製調用提交造成潛在的影響。TrueAudio Next則可以支持我們利用GPU，從而在音頻渲染中獲得巨大的速度提升。

通常情況下，Phonon都會利用卷積在CPU中處理每個音源發出的音頻。隨後，音頻將發送至音頻管道以實現進一步的效果處理或最終混音。藉助TrueAudio Next，Phonon在接收到音頻數據後即可馬上將其發送至GPU。每個音頻幀一次，GPU將對大批音頻數據進行卷積運算，並將結果發送回CPU。這不僅可以將GPU的大規模並行計算能力帶給音頻渲染，而且TrueAudio Next還可以幫助Phonon在用戶移動並與環境交互時持續更新IR，同時不會影響GPU卷積的性能。

Phonon的未來更新將令這一切變得公開透明：如果他們擁有一枚支持TrueAudio Next的AMD顯卡，而且遊戲開發者已經將Phonon設置為使用TrueAudio Next，則Phonon將在可用時自動使用TrueAudio Next，並且在物理上建模額外的聲音（在以往，這將不得不轉而依靠非配備系統上的傳統聲音渲染）。

下圖比較了在不同IR長度下，CPU和GPU在不同數量的聲音源上運行卷積所需的時間。黑線為音頻幀的持續時間，而且是所有音頻必須完成的時限。我們從圖中可以看出，CPU耗費的時間遠高於GPU。例如，對於2秒的IR，CPU在音頻幀的21ms預算內只成功渲染了約20個聲音源。與之相比，GPU在4秒IR內就渲染了64個聲音源，而且仍然維持在時間限制以內。這表明TrueAudio Next能夠幫助Phonon渲染更多的聲音源或更長的IR。

系統配置

CPU：英特爾酷睿i7 4770（3.4 GHz）

內存：16GB

GPU：AMD Radeon R9 285（「Tonga」），2GB VRAM

操作系統：Windows 8.1

驅動程序：Catalyst 15.7.1

對於VR音頻，設計師正在創造更複雜的聲學環境，希望只有這樣才能創建更優秀的臨場感。由於VR和360度視頻的出現，Ambisonics等格式的使用也增加了卷積的計算成本。TrueAudio Next代表了我們向高性能音頻渲染邁出的重要一步，而這也是VR音頻未來幾年創新的關鍵基礎。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！