變狗為貓：伯克利圖像遷移cycleGAN，貓狗互換效果感人

1 新智元編譯

來源：qiita.com

作者：itok_msi 編譯：neko

【新智元導讀】日本 NTT Data 的研究者用 cycleGAN 網路，做了一個「將狗和貓的圖像互換」的模型，並且生成的貓或者狗的姿勢和毛色與輸入的圖像保持一致。作為圖像研究的重要課題，這個項目取得了不錯的進步。

GIF/38K

GAN（生成對抗網路）為圖像變換任務帶來了很多的驚喜，受到很多研究者的關注。例如前陣子很火的「畫貓」項目（edges2cats）：勾勒出物體的邊緣，神經網路能夠自動補全圖像信息，生成對應的圖片（圖1）。也有人腦洞大開，用DCGAN、WGAN等4種GAN來生成「貓圖」（圖2）。最近，日本NTT Data的itok_msi小哥用其中比較新的cycleGAN網路，做了一個「將狗的圖像變成貓」的模型，並且生成的貓的姿勢和毛色與作為輸入的狗的圖像保持一致。

圖1：edges2cats 畫貓

圖2：WGAN 生成的貓咪圖像

cycleGAN

cycleGAN是加州大學伯克利分校 Jun-Yan Zhu等人提出的一種圖像風格轉換技術。它的想法是在沒有成對的訓練數據的情況下，實現圖像風格轉換。cycleGAN效果令人印象深刻，它可以讓不同畫家風格的畫作還原成照片，將夏天變成冬天，將馬變成斑馬，橘子變成蘋果，等等（圖3）。

圖3：cycleGAN 的圖像轉換效果

cycleGAN 的具體方法和實現細節請參看論文，論文地址：https://arxiv.org/abs/1703.10593

cycleGAN貓狗轉換的難點

實際上，cycleGAN的原論文（Zhu, Jun-Yan, et al., 2017）中也提出了將狗的圖像變成貓的想法，但論文中的實驗結果是失敗的（圖4）。

圖4：cycleGAN將狗轉變成貓的是失敗例子

這是由於貓和狗的毛色、質感不同，尤其是臉型差異非常大。原論文中也指出這是往後需要研究的一個課題。

尤其是，Gdogcat（將狗轉變成貓）出來的圖像幾乎與原圖一模一樣。原因是什麼呢？作者提出了2個可能的原因：

1. cycle consistency loss的效果太強

要將貓和狗進行變換，就不得不犧牲輸入圖像的一部分信息。這就需要使cycle consistency loss增大。一方面，假如輸入圖像和輸出的圖像完全一樣，也就是cycle consistency loss需要最小。我們想要將狗變成貓，那麼完全一樣是不行的，也就是cycleGAN的損失需要大一點。但是，這裡的問題出在狗和貓有一些局部特徵是非常相似的。

2. 狗和貓的局部特徵非常相似

cycleGAN的判別器（DA，DB）採用patchGAN（參考文獻[1][2]）的機制學習。在鑒別輸入的圖像是生成器生成的圖像，還是源圖像時，不使用整個圖像，而是使用圖像的局部（patch）進行判別。

判別器網路變小雖然有好處，但是貓和狗有些局部特徵非常相似，使得學習相當困難（圖5）。換句話說，就算Gdogcat（將狗變換成貓）生成的結果與源圖像完全一致，也可能欺騙判別器說變換的效果非常好。

圖5：狗和貓有一些局部特徵非常相似

修改版的cycleGAN

針對上面的2個問題，對cycleGAN進行2個簡單的修改。

1. 讓判別器觀察全局特徵進行判斷

簡單地說，在patchGAN的判別器增加一層，LGAN同時考慮全局的信息和局部的信息。

2.在誤差函數上將cycle consistency loss的比例變小

誤差函數上cycle consistency loss的係數減小到原來的1/10。

實驗

在cycleGAN論文作者開源的pytorch實現基礎上稍作修改，實驗環境是aws的p2.2xlarge實例。

使用數據

使用The Oxford-IIIT Pet Dataset，其中狗的圖像1922幅，貓的圖像3922幅作為訓練數據，其餘作為驗證數據。

實驗結果

比較好的結果（貓狗）

似乎長得蠢蠢的貓輸出的結果也是蠢蠢的狗

比較好的結果（狗貓）

失敗的結果（貓狗）

失敗的結果（狗貓）

思考

雖然作了一些修改，但有時候不能得到期待的結果，尤其是：

動物的毛色信息沒有保留

背景和動物融為一體

生成的圖像非常模糊

變換前後的貓狗圖像看起來沒什麼區別

失敗的例子有點多。

原因可能是：

修改後的網路誤差比例太小

鑒別器的網路太大導致學習效果不好

追加實驗結果

在上面的實驗的基礎上，針對實驗失敗的可能原因繼續進行修改後，得到了比較好的一些結果：

比較好的結果（貓狗）

比較好的結果（狗貓）

失敗的結果（貓狗）

失敗的結果（狗貓）

總的來說，如果狗和貓的圖像是朝向正面，結果會比較好。這是由於從正面看，貓和狗的五官有相似之處。但是在上面兩個例子中，如果圖像中貓或狗的臉朝向側面，狗有大耳朵而貓沒有，需要進行大膽的變換，依然是相當難的。

參考文獻

[1]Jun-Yan Zhu, Taesung Park, Phillip Isola, Alexei A. Efros, Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks, arXiv preprint arxiv:1703.10593, 2017.

[2]Phillip Isola, Jun-Yan Zhu, Tinghui Zhou, Alexei A. Efros, Image-to-Image Translation with Conditional Adversarial Networks, Image-to-Image Translation with Conditional Adversarial Networks, arXiv preprint arxiv:1611.07004 , 2016.

原文：http://qiita.com/itok_msi/items/b6b615bc28b1a720afd7

【號外】新智元正在進行新一輪招聘，飛往智能宇宙的最美飛船，還有N個座位

點擊閱讀原文可查看職位詳情，期待你的加入~

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！