迪士尼新技術：給CG動畫或者虛擬人物實時配音

迪士尼研究院協同幾所大學的研究人員，最近發表論文，介紹了一項最新研究成果：通過機器深度學習，模擬真實人類語言和發音與口型之間的關係，實時為VR中的虛擬人物或者動畫CG角色配音。

從視頻來看，不僅聲音是原裝的，而且口型也是基本吻合的。

在上面提到的論文里，研究人員闡述了這個「深度學習／神經網路」（deep learning / neural network）系統，通過同一位演講者的8小時共2543個句子講話的訓練，習得口型與不同音節之的匹配，並且能夠將不同的發音與口型實時對應起來。

從迪士尼發布的視頻看到，經過訓練，這套系統可以分析來自不同人說的不同語種的語言（中文那個有驚喜）。自動匹配好相應的口型。並且自動關聯到動畫或者虛擬人物的面部動作。

迪士尼在演示視頻中介紹，通過深入學習的系統具有下列幾個很具吸引力的特性：實時運行，極少需要修正參數，輕鬆調整語言邏輯，易於編輯，創建個性化和帶有情感的語言，並且與現有的動畫重定向方式兼容。

目前給動畫片的CG角色配音都是由技術熟練的動畫師手工完成。比如我們此前介紹過今年奧斯卡最佳視效提名影片、迪士尼的《奇幻森林》中，為猩猩王Louie配音的是大家熟悉的老戲骨Christopher Walken（蝙蝠俠、斷頭谷等，1978年奧獎最佳男配）。觀眾會覺得他的樣貌特徵有一種與Louie合體的感覺，這也是這部影片特效團隊的傑作——把為動物角色配音的明星們的面貌特徵與動物角色融合在一起，創建CG的明星「動物形象。 比如為那隻熊配音的老比爾·莫瑞。但是這麼做需要付出的代價（技術、資源和預算）都是超高的，否則也不會贏得奧斯卡提名。這對於高票房回饋的好萊塢當然是可行的，但更大範圍的普及應用就不能都指望用得起特效團隊了。

目前迪士尼的這套最新機器神經系統，雖然暫時還無法實現大銀幕上那種，配音與角色表情合二為一的清晰逼真效果。但是它的自動合成和實時配音還是在很多場合都有很實際的應用。比如大型角色扮演的遊戲直播、沒錢請動畫師手工製作或者受時效性限制（直播）的項目等。

在VR里，這個系統可以為用戶的虛擬形象實時配音。不僅保持現實中的聲音，甚至還有口型。這似乎解決了目前VR社交中虛擬阿凡達與現實角色「同步開口」的問題。雖然面部動作捕捉技術實際上是跟蹤口型最準確的方式，但就目前的情形看，想要這一技術普遍進入市場應用仍然需要一個較長的時間，在此之前，迪士尼的這個機器神經系統還是能頂上用場的。

從視頻演示的demo來看也是非常輕鬆的。只需要錄製一段話，然後系統就會自動匹配到選定的動畫角色上。而且並不界定語種，你說什麼語言，都可以實時配音。雖然略顯粗糙，但的確很好玩。不管是看著一個模擬真實人類的虛擬人開口說跟自己一樣的話、還是看著一頭猩猩模仿你的語言。都又驚悚又好笑。

另一方面，即使不能用在大銀幕上，這個系統其實對於動畫和VR內容的創作、甚至社交平台上的應用都是很吸引人的。

相關閱讀：

5部特效巨制 誰將獲得89屆奧斯卡最佳視效獎

迪士尼最新混合現實技術：無需頭盔手控直接與CG電影角色互動

實戰經驗：迪士尼設計師教你VR交互設計

[IN2原創資訊微信轉載請註明來源及鏈接 視頻｜圖片來自YouTube]

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！