英偉達MIT黑科技：用AI生成模型快速構建虛擬世界

新智元報道

來源：Venturebeat

編輯：大明

【新智元導讀】英偉達與MIT合作推出視頻合成AI新技術，直接用現實視頻生成逼真的虛擬世界。未來或許只需一段手機視頻，你就可以真正進入心儀的遊戲中去當英雄了！

最近英偉達的黑科技有點多。

英偉達的研究人員打造出一個新的AI生成模型，可以使用來自YouTube等來源的真實視頻創建虛擬環境，這可能影響遊戲開發和人工智慧的未來。

「這是一種新的渲染技術，基本上只需使用草繪圖作為輸入，可以處理對象的高級表示以及它們在虛擬環境中的交互方式。由模型實際上處理細節、細化紋理和照明環境等等，最後輸出完全渲染的圖像。「英偉達應用深度學習副總裁Bryan Catanzaro在接受採訪時表示。

Bryan Catanzaro，看扮相就像是搞黑科技的

這一系統使用百度的自動駕駛項目的Apolloscape採集的視頻進行訓練。系統將這些視頻的草繪圖，比如樹木、建築物、汽車和行人等都輸入到模型中。

Catanzaro和其他英偉達的研究人員與MIT CSAIL的學生們合作，撰寫了題為"Video-to-Video Synthesis"的論文，文中對這一技術做了詳細闡述。

論文地址：

Video-to-Video Synthesis

https://arxiv.org/pdf/1808.06601.pdf

該模型可以實現快速生成合成環境，可用於訓練強化學習的智能體，或讓遊戲中的玩家產生身臨其境之感。

由輸入分割映射視頻生成的逼真輸出視頻。左上為輸入，其餘為不同模型的輸出，右下為英偉達和MIT最新模型vid2vid的輸出

「想像一下，如果你能在電子遊戲中扮演自己的角色。而且，只需要一段自己手機中的視頻，就能讓你進入虛擬環境，穿上閃亮的盔甲，像騎士一樣去做偉大的事情。

「英偉達長期以來一直致力於圖形處理技術，因此我們非常高興能夠將圖形技術帶入AI時代，並使用AI技術生成圖形，我們可以從現實世界的視頻中了解事物的運作方式，然後根據學到的知識，合成出逼真的、基於實際內容的虛擬圖像。」

系統能夠考慮諸如對象位置，對象之間的關係以及用於定義對象邊緣的映射之類的要素。

英偉達將於NeurIPS 2018大會上演示視頻並分享該技術的其他細節。

左側為樣例面部圖像輸入，中間為草繪圖，右側為輸出

Nvidia團隊最初的靈感來自於Alexei Efros和加州大學伯克利分校的其他研究人員的Pix2Pix系統的成果。英偉達在此基礎上與加州大學伯克利分校的AI研究人員合作，打造了Pix2PixHD系統作為回應。

今年早些時候，加州大學伯克利分校的研究人員還製作了能夠跳舞、翻轉以及其他20種複雜動作的模型。

樣例舞蹈動作——動作提取——輸出

「這是我們第一次實現互動式的人工智慧場景渲染，我們為此感到自豪。但這項技術目前還處於早期階段，未來的目標是提供更高質量、通用性更好的輸出，以便能夠處理更多種類的場景。我對這一技術未來的發展方向感到非常興奮。」Catanzaro說。

論文鏈接：

https://arxiv.org/pdf/1808.06601.pdf

【加入社群】

新智元 AI 技術 + 產業社群招募中，歡迎對 AI 技術 + 產業落地感興趣的同學，加小助手微信號：aiera2015_2入群；通過審核後我們將邀請進群，加入社群後務必修改群備註（姓名 - 公司 - 職位；專業群審核較嚴，敬請諒解）。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！