谷歌NeurIPS 2018論文：GAN生成3D模型，圖像自帶逼真效果

新智元報道

來源：venturebeat

編輯：三石

【新智元導讀】人工智慧合成的3D物體模型不夠逼真？谷歌團隊最近開發了一個AI系統——視覺對象網路（VON），不僅生成的圖像比當前最先進的方法還要逼真，而且還可以做一系列3D操作。

合成現實3D物體模型的人工智慧，看上去並沒有那麼遙不可及。

在2018年蒙特利爾NeurIPS大會上，麻省理工學院計算機科學與人工智慧實驗室（MIT CSAIL）和谷歌的研究人員發表了一篇論文，描述了一個能夠生成具有逼真紋理的人工智慧系統。

論文名稱：

Visual Object Networks: Image Generation with Disentangled 3D Representation

論文地址：

https://papers.nips.cc/paper/7297-visual-object-networks-image-generation-with-disentangled-3d-representations.pdf

人工智慧系統VON，生成最逼真3D圖像

該人工智慧系統——視覺對象網路（Visual Object Networks，VON），不僅生成的圖像比當前最先進的方法還要逼真，還可以進行形狀和紋理編輯、視角轉換以及其它3D調整。

研究人員寫到：「現代深層生成模型學會了合成較為逼真的圖像。大多數計算模型只專註於生成2D圖像，忽略了世界是3D的本質。這種2D視角不可避免地限制了它們在許多領域的實際應用，比如合成數據生成、機器人學習、視覺現實和遊戲行業。」

VON通過聯合合成三維形狀和二維圖像來解決這個問題，研究人員將其稱為「disentangled object representation」。圖像生成模型被分解為形狀、視點和紋理三個要素，在計算「2.5D」草圖和添加紋理之前，首先學習三維形狀的合成。

重要的是，因為這三個要素是條件獨立的，模型不需要在二維和三維形狀之間配對數據。這使得該團隊能夠對二維圖像和三維形狀的大規模集合進行訓練，比如Pix3D、谷歌圖像搜索和ShapeNet，後者包含了55個對象類別的數千個CAD模型。

為了讓VON學習如何生成自己的形狀，該團隊訓練了一個生成對抗網路（GAN），試圖在上述三維形狀數據集上區分生成樣本和真實樣本。紋理生成被「降級」到另一個基於GAN的神經網路。

經過大約兩到三天的訓練，人工智慧系統產生了逼真的128×128×128模型，具有真實的反射率、環境照度和反照率。

為了評估圖像生成模型，團隊計算了用於生成三維模型的Fréchet初始距離 。此外，他們還向亞馬遜的Mechanical Turk上展示了200對由VON和最先進的模型生成的圖像，被試者的任務是在每對圖像中選擇更加真實的結果。

VON的性能表現非常突出。與其它AI模型相比，它的Fréchet初始距離最低。Mechanical Turk被試者更喜歡VON生成的圖像，比例高達74%至85%。

研究人員將專註於更加精細化的建模，以更高的解析度生成形狀和圖像，將紋理分解為光照和外觀，併合成自然場景。

研究團隊寫道：「我們的關鍵思想是將圖像生成過程分解為三個要素：形狀、視角和紋理，這種分離的3D表示方式使我們能夠在對抗學習框架下從3D和2D視覺數據收集中學習模型。與現有的2D生成模型相比，我們的模型合成的圖像更加逼真；它還允許3D操作，這用以前的2D方法是無法實現的。」

突飛猛進的GAN

近年來，對GAN的研究突飛猛進，尤其是在機器視覺領域：

Google旗下的DeepMind去年10月推出了一個基於GAN的系統，可以創建非常逼真的食物、風景、動物等照片；

今年9月，英偉達的研究人員開發了一種AI模型，可以對腦癌進行合成掃描；

今年8月，卡內基梅隆大學（Carnegie Mellon）的一個研究小組展示了如何利用人工智慧將一個人錄製下來的動作和面部表情在轉移到另一張照片或視頻中的目標對象；

最近，愛丁堡大學感知研究所和天文學研究所的科學家設計了一種可以產生高解析度的星系圖像。

https://venturebeat.com/2018/12/04/google-ai-generates-images-of-3d-models-with-realistic-lighting-and-reflections/

【加入社群】

新智元 AI 技術 + 產業社群招募中，歡迎對 AI 技術 + 產業落地感興趣的同學，加小助手微信號：aiera2015_2入群；通過審核後我們將邀請進群，加入社群後務必修改群備註（姓名 - 公司 - 職位；專業群審核較嚴，敬請諒解）。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！