Facebook的AI能讓你把視頻中的人變成3D交互對象

4月19日消息，Facebook最新在Arxiv發布了一片名為「Vid2Game: Controllable Characters Extracted from Real-World Videos」-將實拍視頻中但各角色變為可交互對象的論文。該論文由Facebook AI研究院提交，描述了一個將視頻中虛擬角色變為可交互對象的方法。

Vid2Game: Controllable Characters Extracted from Real-World Videos

論文的作者表示：該方案可從一個不受控制的視頻中提取一個角色，然後我們還能夠控制他的動作。該模型特點是生成了這個角色的新圖像序列，可應用在任意視頻背景中，同時有效的捕捉到人的動態和外觀。

據悉，該方案依託於兩個神經網路，或者以生物神經元為模型的數學函數層Pose2Pose和Pose2Frame。

Pose2Pose：將當前姿態和控制信號映射到下一個框架。

Pose2Frame：將當前姿態和下一個輸出姿態合成。

然後我們就可以以簡單的動作（例如鍵盤左右）來控制該合成的對象。

據悉，為了訓練該AI系統，研究人員通過三個5-8分鐘的視頻進行分析，一段戶外網球運動員視頻、一段室內舞劍的視頻、一個人走路的視頻。

據了解，這套系統因為可生成逼真的動態虛擬對象，可在遊戲領域、VR、AR中有廣泛的應用前景。

Photo Wake-Up

實際上，在Facebook之前也有類似的AI模型，例如此前和華盛頓大學合作研發的Photo Wake-Up項目。此外，其它公司也有類似場景，例如Promethean AI就通過AI幫助藝術家為遊戲進行藝術創作，NVIDIA展示過生成虛擬環境的模型。

參考：VentureBeat、Arxiv

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！