pix2pix 3D版：幾筆線條生成超炫貓咪霹靂舞！

新智元AI WORLD 2018世界人工智慧峰會

看！這貨竟然比神筆馬良還要厲害！

隨著GAN、pix2pix等技術的提出，圖像翻譯已然不是一件稀奇的事情。但實時且3D的圖像翻譯，卻算的上是喜聞樂見了。

作者Keijiro Takahashi歷經半個月的時間，終於「翻譯」出了這隻活靈活現的3D小喵咪：

專屬貓咪，你值得擁有！

其實，搞出來個這樣的喵咪並不難。

首先，用Sketch Pad畫一個貓！

類似於非常出名的edges2cats，Sketch Pad也是一種演示方法，但它還是實時的。

其次，需要一些系統的要求：

• Unity 2018.1

• 計算著色器功能（DX11，Metal，Vulkan等）

儘管它是以平台無關的方式實現的，但它的許多部分都針對NVIDIA GPU體系結構進行了優化。

為了完美地運行Sketch Pad，作者建議使用GeForce GTX 1070或更高版本的Windows系統。

那麼，如何使用訓練過的模型呢？

這個存儲庫不包含任何用來節省帶寬和存儲配額且經過訓練的模型。

要在Unity Editor上運行示例項目，需下載預先訓練好的edges2cats模型，並將其複製到Assets/StreamingAssets中。

該實現只支持在Christopher Hesse交互演示中使用的.pict權重數據格式。你可以選擇一個預先訓練好的模型或者使用pix2pix-tensorflow來訓練你自己的模型。

經典Pix2pix

Pix2pix 是一個不同圖像效果的轉換工具，基於GAN實現。Pix2pix由UC Berkeley的Phillip Isola等人提出，論文最早在2016年11月在arxiv上公開，並被CVPR 2017錄取。雖然是比較老的論文，但作為一篇很經典的論文，非常值得一讀，因此我們也在這裡介紹一下Pix2pix的方法。

論文研究了條件對抗網路作為一種圖像到圖像轉換問題的通用解決方案。這些網路不僅學習從輸入圖像到輸出圖像的映射，還學習了用於訓練該映射的損失函數。這使得對傳統上需要非常不同的損失公式的問題應用相同的通用方法成為可能。

研究人員證明了這種方法在從標籤地圖合成照片，從邊緣地圖重建對象，以及給黑白圖像上色等任務中都是有效的。這項工作表明我們可以在不需要手工設計損失函數的情況下獲得合理的結果。

圖1：有條件的對抗性網路是一種通用的解決方案，似乎可以很好地解決各種各樣的問題。這裡我們展示幾種方法的結果。在每種情況下都使用相同的架構和目標，只是簡單地在不同的數據上訓練。

在一些任務中，可以相當快地在小數據集中獲得不錯的結果。例如，為了學習生成外牆（如上圖所示），我們僅花了大約2小時訓練了400張圖像（用一個Pascal Titan X GPU）。然而，對於更困難的問題，在更大的數據集上進行訓練可能是很重要的，而且需要花費很多小時甚至數天的時間。

既然是基於GAN的，那麼Pix2pix也離不開生成器和判別器。

GAN是生成模型，它學習從隨機雜訊向量z映射到輸出圖像y，即：G : z → y。

相比之下，條件GAN是從觀察到的圖像x和隨機雜訊向量z，學習它們與y的映射，即：G : {x, z} → y。

生成器G是訓練來產生輸出的，目的是讓這些輸出不被對抗訓練的鑒別器D將其與「真實」圖像區分開來；同時，鑒別器D被訓練來儘可能地檢測到生成器的「假」輸出。訓練過程如下圖所示：

訓練一個從map edges到photo的條件GAN

網路架構

這裡採用了深度卷積生成對抗網路DCGAN中的生成器和鑒別器的結構進行調整。生成器和鑒別器都採用了convolution-BatchNorm-ReLu的模塊。

生成器架構的兩種選擇。「U-Net」是編碼器 - 解碼器，在編碼器和解碼器堆棧中的鏡像層之間有跳過連接（skip connection）。

有關Pix2pix結構的更多細節，請閱讀原論文：

https://arxiv.org/pdf/1611.07004.pdf

Pix2pix最著名的應用是「畫貓」，edges2cats便是基於pix2pix-tensorflow的一個實現，請看效果：

而今天我們介紹的Pix2Pix for Unity更是腦洞大開，在3D模型之上「畫貓」，讓生成的貓咪動了起來。程序員擼貓還真是方便呢！

參考鏈接：

https://github.com/keijiro/Pix2Pix

https://twitter.com/_kzr

倒計時1天

門票已開售！

新智元將於9月20日在北京國家會議中心舉辦AI WORLD 2018世界人工智慧峰會，邀請機器學習教父、CMU教授 Tom Mitchell，邁克思·泰格馬克，周志華，陶大程，陳怡然等AI領袖一起關注機器智能與人類命運。

大會官網：

http://www.aiworld2018.com/

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！