動態捕捉＋虛擬現實，看「芒果台」怎樣用最「潮」的電視技術玩齣節目新花樣
影 丨 視 丨 制 丨 作
Audio & Video Production
作者 | 湖南廣播電視台 舒嘉
來源 | 2018.5期《影視製作》雜誌
通過湖南電視台《快樂大本營》20 周年特別節目、2017 中秋之夜晚會等具體案例，詳細描述動態捕捉技術是如何結合虛擬技術在節目當中使用。
動態捕捉(Motion capture) 技術，即在運動物體的關鍵部位設置跟蹤器，由Motion capture 系統捕捉跟蹤器位置，再經過計算機處理後得到三維空間坐標數據的一整套軟、硬體系統。當數據被計算機識別後，可以應用在動畫製作、步態分析、生物力學、人機工程等領域。而虛擬技術，則包括增強現實技術(AR) 和虛擬現實技術(VR)。
增強現實技術是一種實時的計算攝影機影像的位置及角度並加上相應圖像、視頻、3D 模型的技術，這種技術的目標是在屏幕上把虛擬世界套在現實世界並進行互動；虛擬現實技術是一種可以創建和體驗虛擬世界的計算機模擬系統，它利用計算機生成一種模擬環境，是一種多源信息融合、互動式的三維動態視景和實體行為的系統模擬，使用戶沉浸到該環境中。
這是兩種當前最為流行和先進的電視技術。在一般常規的運用中，動態捕捉技術多用於影視後期製作和合成；而虛擬技術多運用於影視節目直播當中的實時圖形渲染。而對於在多個大型直播節目當中使用虛擬技術的湖南廣播電視台虛擬團隊而言，如何將這兩種先進的技術結合起來，提供給節目更多更新的製作手段，成為我們近年來研究的課題。通過大膽假設、小心求證、反覆測試，我們掌握了一整套在虛擬植入當中運用動態捕捉技術的方案。
圖1 動態捕捉現場人員和相關技術設備
圖2 最終呈現效果
1.技術準備
我台所採用的動態捕捉系統是Vicon光學運動捕捉系統，其系統構成包括24個MX-T40S紅外攝像機、動態捕捉服、Vicon Cara面部捕捉頭盔以及相關的數據連接器和工作站主機；而虛擬系統主要包括多台渲染工作站、帶跟蹤數據輸出的固定腳架、搖臂、軌道機器人等，軟體是Vizrt 實時渲染引擎。對於動態捕捉結合虛擬的應用，我們考慮的主要是兩個方面：一個是真實演員與虛擬人偶的互動，另外一個是真實演員與虛擬物體、虛擬道具的互動。
由於Vicon動捕系統並不能夠直接將數據傳輸給Vizrt引擎，所以我們聯合Vicon系統工程師一起，開發了Vicon的數據傳輸插件，通過插件將Vicon動捕軟體Blade所採集的數據用IP數據流的方式發送，同時Vizrt渲染引擎打開數據埠進行接收，並用Vizrt腳本進行數據解析，將其轉化為Vizrt系統可識別的物體位置、旋轉、縮放信息，再將數據信息關聯到虛擬物體之上，即形成了一整套Vicon實時動捕驅動虛擬場景的技術流程。
圖3 工作人員正在做設備調試
我們也測試通過了由動捕演員身著動捕服裝驅動虛擬人偶以及Vicon系統綁定單個道具驅動虛擬物體的技術流程。
考慮到日常的虛擬實施工作絕大多數是在大型場館內舉行的演唱會當中進行，我們也將虛擬系統以及動捕系統架設到大型演播廳內，模擬現場環境，進行了包括光學動捕極限捕捉範圍、現場燈光干擾、被跟蹤物體最大運動範圍、系統長時間運行的可靠程度等等測試。經過多次反覆的試驗，以及對日常情況的模擬模擬，確定整套系統安全、可靠，可以投入使用。
2. 應用案例
快樂大本營20周年
「一千零一奇妙夜」特別節目
此次項目的思路是把四位主持人的父母年輕時候的形象用虛擬的方式在舞台上重現，具體技術設計是將四位主持人的父母形象用3D 的方式重建並年輕化，然後由動捕演員實時驅動，並用投影技術將四個虛擬形象呈現在舞台上，與現場的主持人和舞蹈演員互動。我們首先對四位父母本人進行了三維掃描，生成了完整的身體三維模型，隨後根據節目組提供的四位父母年輕時的照片對三維模型進行了處理，使之「年輕化」並且對模型做了骨骼綁定。在節目錄製的後台，我們搭建了一塊專門用來進行動態捕捉的技術區域，將整套動捕系統搭建起來，四位舞蹈演員穿上動捕服裝驅動虛擬人偶，並將實時驅動人偶畫面的視頻信號送到投影機伺服器，將其投射到現場投影幕上，完美的實現了真人和虛擬人偶的同台表演。
這是首次在晚會上同時實時驅動4個人偶與主持人互動，是電視上實時人偶驅動最複雜的一次應用。
2017《 中秋之夜》 晚會
晚會打算啟用一位動畫主持人，將藍月打造為一個現場的副主持，並設計出一張藍月的臉，同時在現場使用到 Vicon 實時臉部動態捕捉技術，利用同人同聲的配置達到聲臉同步。呈現方式是將虛擬角色面部表情、聲音同時由同一個配音演員驅動、輸出，動畫視頻信號在現場大屏幕上播放，聲音則由現場實時收聲。
基於以上需求，我們提供的技術方案是自主設計虛擬藍月主持人動畫角色3D 模型，後期表情實時驅動使用硬體設備為Vicon面部捕捉頭盔和MAYA實時渲染引擎；音頻為配音演員頭戴式麥克風輸出，如圖4、圖5所示。
前期完成了虛擬主持人面部模型的動作綁定並進入晚會現場進行設備系統搭建，由於考慮到聲音延時和實時交互的問題，我們將系統放在舞台右側，靠近現場。在虛擬模型定版通過上線測試，導演組表示滿意之後，與大屏、音頻一起進行了聯排。考慮到播出安全的問題，我們對虛擬動捕系統做了備份，準備了兩套同樣的硬體系統並且把相關內容渲染輸出成視頻素材交大頻幕伺服器備份。系統一切正常，達到了預期效果。
這是第一次將Vicon面部捕捉頭盔用於晚會直播的現場實時輸出。
金鷹卡通宣傳片錄製
這一次的節目錄製，除了常規的虛擬背景摳像之外，一個重要的技術難點就是讓金鷹卡通頻道的虛擬人偶形象麥咭和主持人一起實時同台表演。為此，我們提供的解決方案是使用Vicon動態捕捉系統配合身穿動捕服的演員直接驅動麥咭人偶模型並將其放置在虛擬場景中與主持人一起同步錄製。
圖4 藍月幕後真面目——陳奕雯
圖5 藍月在晚會中的播出效果
在這個技術方案確定之後，我們又需要著手解決以下幾個問題：
（1） 我們所使用的VIZRT 虛擬系統渲染引擎只能支持剛體模型，無法支持類似於麥咭這樣的柔體模型。
（2） 動捕系統和虛擬綠箱使用的是同一個演播廳空間，進行拍攝時動捕演員有可能會出現在畫面當中，發生「穿幫」。
對於第一個問題，我們決定使用MOTIONBULIDER軟體來做模型的驅動渲染，同時將MOTIONBULIDER生成的實時畫面作為視頻信號輸出到Vizrt渲染引擎，但是這樣一來又產生了新的問題。MOTIONBULIDER 軟體視頻信號輸出無法同時輸出鍵信號，不能把單獨的麥咭虛擬形象輸出到虛擬引擎。
對此，我們決定把畫面背景設置為全藍，將帶藍色背景的視頻信號輸出到VIZRT引擎然後用軟體色鍵進行摳像合成的方式解決。對於動捕演員可能發生的穿幫問題，我們使用VIZRT引擎的遮罩功能進行屏蔽解決。
錄製當天，我們為動捕演員穿好動捕服裝，貼好跟蹤點，預先錄製好ROM數據，將Vicon動捕實時數據流傳輸至MOT IONBULIDER進行實時渲染，並將視頻信號輸出至渲染引擎，打開軟色鍵，調整好參數，保證摳像效果完美。同時，調整好3 個虛擬機位的虛擬場景並根據主持人的位置擺放好麥咭虛擬人偶在場景中的位置；根據動捕演員的站位確定了虛擬場景遮罩的位置，避免穿幫，如圖6-8 所示。
圖6 節目錄製現場
圖7 動捕數據採集以及視頻信號輸出
圖8 虛擬背景合成
一切就緒，錄製也正式開始。由於前期準備充分，錄製非常順利，可愛的麥咭卡通形象和主持人在萌萌的虛擬場景中實時互動，一起唱歌舞蹈。現場的金鷹卡通頻道欄目導演、編導、攝像和技術人員都表示對效果非常滿意。
3.前景展望
虛擬AR 技術，是目前電視行業所運用的最新、最高端技術之一，加上動態捕捉技術之後，更是如虎添翼，在項目的實時性、交互性、觀賞性等各個方面都有極大提升，也是當前虛擬技術的發展方向，唯一的缺陷是目前常用的虛擬實時渲染引擎如VIZRT、ORAD 等渲染效能不夠，不足以展現複雜的三維模型、場景和細節，將來虛擬技術和實時動態捕捉技術的結合，必須藉助高效率的渲染引擎。可以斷言，以UNREAL、UNITY 為代表的高效實時3D 渲染引擎，將是未來虛擬技術的趨勢，我們期待將UNREAL、UNITY 等等強大的渲染引擎技術引入到虛擬以及動態捕捉技術當中來，帶給電視觀眾完全不一樣的視覺體驗。
TAG:影視製作 |