塗鴉秒變真實風景，NVIDIA GauGAN讓你也可以擁有天才之筆！

雷鋒網 AI 科技評論按，一個新手畫家可能會用畫筆在畫布上畫畫，目的是創作一幅壯美的日落景觀圖——崎嶇的、白雪覆蓋的山峰倒映在清澈的湖泊中——但最終畫出來的只不過是一些看起來更像多色墨水點的東西。

但是，由 Nvidia Research 開發的深度學習模型卻恰恰相反：它可以輕鬆地將粗糙的塗鴉變成照片級的寫實傑作。該工具利用生成的對抗網路（GANs）將語意分割圖轉換為逼真的圖像。

這款使用該模型的互動式應用程序，輕輕鬆鬆地就達到了後印象派畫家的水平，它被命名為 GauGAN。

後印象派畫家 Paul Gauguin 畫了幾幅自畫像，包括這幅自 1885 年起就收藏在 Kimbell 藝術博物館的作品（照片來自 Wikimedia Commons）。

GauGAN 可以為從建築師、城市規劃者到景觀設計師和遊戲開發商的每個人提供一個強大的工具來創建虛擬世界。有了一個能夠理解現實世界的人工智慧，這些專業人員可以更好地設計出想要的原型，並快速改變它們。

NVIDIA 應用深度學習研究院副總裁 Bryan Catanzaro 說：「用簡單的草圖進行頭腦風暴設計要容易得多，而且這項技術能夠將草圖轉換成高度逼真的圖像。」

Catanzaro 將 GauGAN 背後的技術比作「智能畫筆」，它可以在粗略的語意分割圖（即顯示場景中對象位置的高級輪廓）中填充細節。

GauGAN 使用戶可以畫出語意分割圖，併合成自己需要的場景，其中，這些分割圖都需要相應的標籤，如天空、大海或者雪。

經過 100 萬張圖片的訓練，深度學習模型通過結果來填充景觀：在池塘中畫畫，附近的元素如樹木和岩石將在水中映射。將一個段標籤從「草地」換成「雪」，整個圖像將變為冬季場景，原來枝繁葉茂的樹木則變成了不毛之地。

Catanzaro 說：「這就像一幅彩色的圖畫，描繪了一棵樹在哪裡，太陽在哪裡，天空在哪裡。」然後，神經網路能夠根據對真實圖像的了解，填充所有細節和紋理，以及反射、陰影和顏色。

由於 GANs 是由一對網路——生成器和對抗器組成的，因此，儘管缺乏對真實世界的了解，但它仍然可以生成讓人滿意的圖像。生成器創建圖像並呈現給對抗器。對抗器在真實圖像上訓練後，反饋給生成器如何逐素提高合成圖像的真實性。

經過對真實圖像的訓練後，對抗器知道真實的池塘和湖泊是包含反射的——因此生成器學會了創造令人驚嘆的逼真圖像。

該工具還允許用戶添加樣式過濾器，更改生成的圖像以適應特定畫家的風格，或將日間場景更改為日落場景。

Catanzaro 說：「這項技術不僅僅是將其他圖像拼接在一起或者剪切和粘貼紋理，它實際上是合成新的圖像，這和藝術家創造新東西的方法非常相似。」

雖然 GauGAN 應用程序專註於陸地、海洋和天空等自然元素，但底層的神經網路也有能力填充其他景觀特徵，包括建築物、道路和人等。

關於 GauGAN 的研究論文已被 6 月的 CVPR 會議評為 Oral 論文——而獲得這一殊榮的論文不到提交論文總數的 5%。

在此之前，雷鋒網也報導過一篇 ICCV 2017 論文，關於用端到端網路生成非常逼真的高解析度圖像的文章，文中的方法卻並沒有用到 GANs。查看這篇文章可以點擊：如此逼真的高清圖像居然是端到端網路生成的？GANs 自嘆不如 | ICCV 2017。

via：https://blogs.nvidia.com/blog/2019/03/18/gaugan-photorealistic-landscapes-nvidia-research/?ncid=so-twi-gj-78527

雷鋒網

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！