逼真照片隨手畫，馬良神筆已上線

魚羊 發自 紐凹非寺

量子位 報道 | 公眾號 QbitAI

有一種神奇的力場，它能憑空造物：

還能扭轉時間：

它專註于山和大海：

你也可以試著造一造人潮人海。

你是否還記得它的名字？

沒錯，就是英偉達在上個月公布的，致敬印象派大師高更的GauGAN。

現在，這個能讓普通人秒變神筆馬良的神器終於開源啦！

怎麼用

首先克隆這個repo：

然後備好PyTorch 1.0和python 3 ，安裝requirements.txt：

還需要：

別忘了數據集和預訓練模型

這一次隨代碼公布的還有數據集和預訓練模型。

在下載數據集時，記得下載train2017.zip，val2017.zip，stuffthingmaps_trainval2017.zip和annotations_trainval2017.zip。

要特別注意的是英偉達使用了一個生成實例的腳本datasets/coco_generate_instance_map.py。

準備好了數據集，就可以用預訓練模型生成圖像了。

從Google Drive Folder下載預訓練模型，存成『/checkpoints』：

開始生成圖像：

輸出的圖像默認存儲在 ./results/[type]_pretrained/

當然你也可以訓練新的模型：

不過想要真正利用GauGAN成為一名「造物主」，你還需要一台配備8個V100 GPU的NVIDIA DGX1。此外，該代碼僅供學術研究使用。

為何與眾不同

GauGAN合成的圖像明顯要比此前的圖像合成方法逼真得多，NVIDIA應用深度學習研究副總裁Bryan Catanzaro就說，這項技術不是簡單地將其他圖像拼接在一起，它是在合成新的圖像——像個藝術家那樣。

而GauGAN之所以能有如此神奇的手筆，當歸功於空間適應標準化（SPADE）演算法。

SPADE不單單使用隨機的輸入圖像，它還採用了被稱作分割圖的圖像，在分割圖中，每一個像素都會被歸類。這樣一來，SPADE就能生成更接近於真實的圖像，這種模式被稱作「圖對圖翻譯」。

並且SPADE不再將分割圖輸入到第一層，而是使用它的下採樣來調整每一層的輸出，這樣就不會在生成圖像中丟失語義信息。

在這樣的訓練之下，生成器不會將草放在天空的位置，因為鑒別器能判斷出這樣的圖像是假的。

也就是說，SPADE解決了對pix2pixHD來說最大的難題。

傳送門

GitHub地址：https://github.com/NVlabs/SPADE

項目地址：https://nvlabs.github.io/SPADE/

論文地址：https://arxiv.org/abs/1903.07291

—完—

活動報名|多模態視頻人物識別

加入社群

量子位AI社群開始招募啦，量子位社群分：AI討論群、AI 行業群、AI技術群；

歡迎對AI感興趣的同學，在量子位公眾號（QbitAI）對話界面回復關鍵字「微信群」，獲取入群方式。（技術群與AI 行業群需經過審核，審核較嚴，敬請諒解）

喜歡就點「好看」吧 !

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！