「谷歌 GAN 生成人臉」對抗創造新藝術風格，128 像素擴展到 4000

新智元編譯

（文／Mike Tyka）一段時間以來，我一直在嘗試使用生成神經網路製作人物肖像。早期試驗基於類似 Deep Dream 的方法，但最近我開始將精力集中在 GAN 上面。當然，無論在什麼時候，高精度和精確的細節都是很難實現的，使用 GAN 生成人臉也一樣。首先，這些網路的感受野往往不到 256×256 像素的大小。

解決這個問題的一種辦法是使用 stack GAN。我用基於 stack GAN 的方法，終於將像素提升到 768×768 的大小，最多使用 3 個階段 stack 將像素提升到了 4k×4k。我不在意結果是否真實，但細節紋理逼真很重要。

為了減少 artifact（模糊不清的地方），我需要應對 mode collapse 等各種問題。具體說，光滑皮膚和多毛皮膚之間，第二階段 GAN 是 meta stable，往往導致輸出變成一塊一塊的。

現在我使用的最多是 vanilla GAN。當然，我覺得我也該試一下 WGAN、CramerGAN 或 BEGAN，因為大家都說後面幾種收斂更好。

下面就是我使用 GAN 生成的空想人物肖像（我選了效果比較好的放上來）。

生成圖像的質量與低解析度輸出（lowres output）實現密切相關。我通常在第一階段生成 128×128 或者 256×256 像素的結果，然後在第二階段提升至 768×768 或者 1024×1024。大多數情況下，生成的結果都很糟糕，遠遠沒有我挑選出來的這幾張好，但有些時候會出現非常富有藝術性的圖像，偶爾看上去還像是有藝術風格誕生。

我在最後的第三階段將像素提升到 4k。但是，實際上我並沒有這個像素級別的訓練數據，也就是說，網路做的只是大致預測邊緣是否平滑等等。

系統不可能知道皮膚高解析度的人臉資料庫。毛孔或睫毛這些細節。因此，我們需要一個與高解析度的人臉資料庫。

考慮到最終的印刷效果，在這種解析度下故意保留一些 artifact 可能還不錯（相比 ）。

Mike Tyka 參考了下面這篇論文中所提到的方法 Stack-GAN，並且在論文基礎上做了 3 次堆疊。有興趣你也可以一試：）

摘要

根據文本描述合成逼真圖像是計算機視覺一大挑戰，也有很多應用。使用現有方法合成的圖像在細節和生動方面差強人意。本文中，我們提出 StakeGAN 方法，根據文本描述生成逼真的圖像。在第一階段（Stage-I GAN），GAN 根據給定描述生成相對原始的形狀和基本的色彩，得出 Stage-I 低分辨圖像。Stage-II GAN 將 Stage-I GAN 和文本描述作為輸入，生成高解析度的逼真圖像。Stage-II GAN 能夠修正錯誤，增加令人信服的效果和細節。使用 StackGAN 生成的圖像比現有方法更加合理逼真。最重要的是，StackGAN 根據文本第一次生成 256×256 像素的圖像，現有方法最多只能生成 128×128 像素的圖像。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！