神經網路P圖新神器：摘墨鏡戴美瞳都能搞定，加首飾換髮型真假難分

乾明 安妮 發自 凹非寺

量子位 出品 | 公眾號 QbitAI

城裡新來了個AI修圖師，可以說有求必應。

拍了一張美美的照片，但是我還不滿意。想瘦臉，想按照我想要的弧線瘦臉；還想讓眉毛俏皮上挑、鼻子也挺一點。

AI修圖師，行不行？

行。

簡單。把不滿意的地方塗掉，接著想怎麼改，就怎麼簡單勾勒一下線條。

然後，點一下按鈕。效果你看看，行不行？

求大神幫忙：幫我P成咧嘴微笑，以及眼珠換個顏色。

行。

世間P圖的要求不過爾爾，對於這個AI修圖師來說，簡直信手拈來。只要你提好需求，然後一鍵就能完美實現。

來個實戰演示，譬如給美女加個劉海、畫個眼影。也是輕輕鬆鬆快速完成。

給小伙去掉墨鏡、露出眼睛。沒問題，分分鐘搞定。

真的，這都不算難事兒。

加首飾、換髮型、補全臉

其實，過去我們也介紹過一些類似的神經網路P圖大師。

不過這次的AI修圖師，還有一些新本領。

例如，對於色彩的掌握。

可以根據要求，改變眼球的顏色，輕鬆告別美瞳或者紅眼。

還能改變髮型。

甚至，給光頭P上秀髮，而且頭髮可以是不同顏色的混搭，直接生成一種挑染的風範~

不僅如此，這個AI還能按照需求，定製生成搭配的首飾。

耳墜啊什麼的，全都不在話下。

當然，以上種種還都是小兒科。

這個AI能腦補的範圍可不只是一點點，而是一大片。

即便你給它這樣一張圖片。

只要給出要求。

AI修圖師也能很好的重建出來。

左邊是腦補的結果，右邊是真實的照片，對比一下，你會點贊的……

再展示一組。

甚至，只給一個帶顏色的簡筆畫，AI修圖師也能生成接近原照片的結果。

你看：

這是怎麼做到的？

原理解讀

其實這個最新出現的AI修圖大師，來自韓國電子通信研究院（ETRI）。背後是一個名叫SC-FEGAN的模型，可以分為生成器、鑒別器兩大部分。

輸入一張不完整的圖片，加上蒙版、線稿或者顏色信息，生成器就能推斷出編輯後的照片。然後，鑒別器來判斷這張照片是不是P得天衣無縫。

生成器基於英偉達推出的圖像修復模型U-net，一共有16個卷積層，所有卷積層都使用3x3大小的門控卷積（gated convolution）。

除了輸入和輸出之外，所有卷積層之後都應用英偉達在2017年提出的局部響應歸一化（LRN）。

生成器中還引入了各種損失訓練，包括每像素損失、感知損失、風格損失、總方差損失以及通用的GAN損失函數。

鑒別器，使用的是伊利諾伊大學厄巴納-香檳分校（UIUC）和Adobe研究團隊在2018年提出SN-PatchGAN中的架構。

使用了3x3大小的卷積核並應用了梯度懲罰損失項，並沒有將ReLu函數應用到GAN損失之中。

數據集

在這項研究中，訓練使用的是香港中文大學湯曉鷗組收集的人臉數據集CelebA-HQ數據集。

在其中隨機選擇兩組共29000張圖像用於訓練，1000張圖像用於測試。

將圖像統一調整為了512x512像素之後，通過自由蒙版和加州大學聯合Adobe推出的面部圖像生成演算法GFC創建對應的草圖和顏色數據。

創建顏色數據時，使用直方圖均衡化來避免光反射和陰影造成的顏色污染。

然後，使用加州大學HED邊沿檢測器，來生成與用戶輸入相對應的草圖數據，修改面部圖像，然後平滑曲線，並擦除修改圖像產生的細小邊緣。

效果怎麼樣？

研究中，與伊利諾伊大學厄巴納-香檳分校和Adobe研究團隊的網路Deepfillv1進行了對比。

在對人物面部進行了大面積胡抹亂畫之後，Deepfillv1雖然對整體進行了復原，但是各種塗抹痕迹，以及細節處理，都遠遠不及新提出的SC-FEGAN。

此外，與其他的研究相比，SC-FEGAN對數據的依賴並沒有那麼高。

哪怕是是輸入一幅完全塗抹掉的圖像，也能生成一些頭髮絲出來。

傳送門

這篇論文，來自韓國電子通信研究院，作者是Youngjoo Jo和Jongyoul Park。

這項研究的模型代碼，已經在GitHub上開源了，並且提供了帶有圖形界面的Demo，但需要下載安裝。

如果你對這項研究感興趣，請收好傳送門：

SC-FEGAN: Face Editing Generative Adversarial Network with User』s Sketch and Color

https://arxiv.org/pdf/1902.06838.pdf

GitHub項目地址：

https://github.com/JoYoungjoo/SC-FEGAN

作者系網易新聞·網易號「各有態度」簽約作者

—完—

加入社群

量子位現開放「AI 行業」社群，面向AI行業相關從業者，技術、產品等人員，根據所在行業可選擇相應行業社群，在量子位公眾號（QbitAI）對話界面回復關鍵詞「行業群」，獲取入群方式。行業群會有審核，敬請諒解。

此外，量子位AI社群正在招募，歡迎對AI感興趣的同學，在量子位公眾號（QbitAI）對話界面回復關鍵字「交流群」，獲取入群方式。

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回復「招聘」兩個字。

喜歡就點「好看」吧 !

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！