他評出2018年GAN論文榜TOP 3，你同意嗎？

新智元報道

來源：Github

編輯：元子

【新智元導讀】2018年簡直是論文爆炸的一年，再GAN領域的突破是非常大的。新智元挑選了一篇不一樣的榜單，列出年度GAN論文TOP 3。新智元的讀者是否有不同的看法呢？歡迎在評論區給出你們的答案！

每年的年底和下一年的年初，我們看的最多的是什麼？年終榜單，年初展望。

我們看過大廠們出的各式各樣的榜單，是不是覺得多多少少有點單調？是不是總覺得有些榜單不太認同？

今天新智元給大家帶來一份不一樣的榜單。這份榜單可能是今年最具爭議性的年度榜單了。

為什麼？因為這是一個機械工程專業的學生寫的，很主觀。但是！如果以state-of-the-art、炫酷、迷人作為標準來看，這個榜單也是非常具有說服力的。這也是為什麼我們看上它的原因。

榜單作者Damian Bogunowicz，去年在慕尼黑大學獲得碩士學位，主攻機器人、認知和智能。

他瀏覽了一遍2018年，最有意思的GAN論文，挑選了3篇不僅具備當前最高水平，同時又炫酷有趣的論文。

No. 1：GAN Dissection: 第一個系統分析GAN的內部表徵

該論文作者來自MIT、香港中文大學、Google Research和IBM Research。

論文為理解GAN的內部表徵提供了第一個系統分析，並利用分析框架實現了各種有趣的應用。

同時作者還製作了Demo，感興趣的讀者可以複製下面的鏈接體驗：

https://gandissect.csail.mit.edu/

主旨

這項研究向理解GAN邁出了非常重要的一步，它允許我們在生成器中找到「負責」生成某些對象的unit，這些對象屬於某個類 C。

作者稱，我們可以檢查生成器的某一層，找到導致生成圖像中c物體的units的子集。

實現

生成器G，可以被看做是從 latent vector z 到生成的圖像 x 的映射 x=G(z)。

我們的目標是理解內部引用r，它是生成器G的特定層的輸出。既然r包含了生成圖像x的所有信息，那麼r中就包含了可以推理並且生成出c類的信息。

公式表示如下：

其中z是從低緯空間中採樣的一個latent vector，x是生成器生成的圖像。

作者為了理解GAN的黑盒如何操作，將位置P處的r分解為兩個分量dissection和intervention。

公式如下：

其中unitU是感興趣（因果單位）unit的集合，是它的補集。

Dissection用來測量一個unit u 和 class c 直接的一致性。

對比兩張圖片，通過計算x我們得到第一張，把它放在語義分段網路中跑，就的可以返回一個像素位置。

然後對其進行閾值處理，以確定哪個像素被這個特定單元「點亮」。 最後我們計算兩個輸出之間的空間一致性.

值越高，一致性越高。通過計算每個類與獨立的units之間的一致性，最終可以驗證在r中是否有c的顯示錶示。

Intervention通過激活 抑制來驗證units U與class c的集之間的因果關係

我們試圖找出每個class的最佳區分，需要同時使用激活 抑制。通過這種方式，我們就能知道units U多大程度上影響了感興趣的class c。

最後，我們從兩個圖像中分割出class c並進行比較，語義maps之間的一致性越少越好。這意味著在一張圖像上我們分割出樹木，第二張圖像我們分割出森林整體。

a）由Progressive GAN生成的教堂圖像

b）給定預先訓練的Progressive GAN，我們識別負責生成類「樹」的單元

c）我們可以抑制這些單元從圖像中「擦除」樹

d）放大圖像中樹木的密度

結果表明，我們正在理解網路的內部概念。這些見解可以幫助我們改善網路的行為，了解圖像的哪些特徵來自神經網路的哪個部分。

對於解釋、商業使用和進一步研究非常有價值。

No. 2：英偉達「風格遷移」面部生成器

英偉達推出基於風格的生成器新結構，由此得到的升級版GAN圖像生成效果逼真到可怕！

將面部細節分離出來，由模型進行單獨調整，從而大幅度超越其他模型。

主旨

這項工作提出了關於GAN框架的另一種觀點。

更具體地說，它從風格轉移設計中汲取靈感，創造了一個生成器架構，可以了解高級屬性（例如年齡，在人臉或背景上訓練時的身份，相機視點，床圖像樣式）之間的差異，生成的圖像中的隨機變化（雀斑，人臉或顏色的頭髮細節，在床圖像上訓練時的織物）。

它不僅學會自動分離這些屬性，而且還允許我們以非常直觀的方式控制合成。

詳細內容，請參閱新智元發表的文章《GAN 2.0！英偉達「風格遷移」面部生成器，世間萬物逼真呈現》

No.3：GAN之進化體「E-GAN」

在經典設置中，現有的GAN（GAN及其變體）傾向於通過使用反向傳播交替更新生成器和鑒別器來訓練GAN。

所以現在有了一種新的GAN框架，稱為進化生成對抗網路（E-GAN）。

主旨

E-GAN的作者提出了基於進化演算法的替代GAN框架，利用不同的對抗訓練目標作為變異操作並演變發生器群體以適應環境（即鑒別器）。

通過這種方式，E-GAN克服了個別對抗性培訓目標的局限性，始終保持最佳彈性，為GAN的進步和成功做出貢獻。

在幾個數據集上進行的實驗表明，E-GAN實現了令人信服的生成性能並減少了現有GAN固有的訓練問題。

實現

圖左是傳統GAN|圖右是E-GAN

論文設計了演化演算法，其在給定環境（即鑒別器D）中演變發生器群。在這個群體中，每個個體代表生成網路G的參數空間中的可能解。

在進化過程中，我們期望人們逐漸適應環境，這意味著演化發生器可以生成更加真實的樣本，並最終學習真實世界的數據分布。

在演化過程中，每個步驟由三個子階段組成：

變化：生成器個體G通過根據某些變異屬性修改自身來生成子項

評估：使用適應度函數評估每個孩子，這取決於鑒別器的當前狀態

選擇：我們評估每個孩子，並根據健身功能確定它是否足夠好。 如果是，則保留，否則我們將其丟棄

該演算法不僅在合成數據上進行了測試，還對CIFAR-10數據集和Inception得分進行了測試。

論文修改了流行的GAN方法，如DCGAN，並在真實數據集上進行了測試。

結果表明，可以訓練E-GAN從目標數據分布生成各種高質量的圖像。 根據論文的說法，在每個選擇步驟中只保留一個孩子就足以成功地遍歷參數空間以達到最佳解決方案。

E-GAN的這個屬性確實很有趣。此外，通過仔細檢查空間連續性，我們可以發現，E-GAN確實學到了從潛在的嘈雜空間到圖像空間的有意義的投影。

通過在latent vector之間插值，我們可以獲得生成的圖像，其平滑地改變語義上有意義的面部屬性。

番外

2018年簡直是論文爆炸的一年。但是其中能稱得上精品的，恐怕我們新智元讀者自己心中也有一桿秤。

你認同作者這份榜單嗎？在你心目中，價值最高的GAN論文又是那篇呢？

請留言給出你的答案吧！

同時我們也建議把這篇文章分享給你的同事或者朋友，看看他們的看法是否跟你一樣呢？

參考鏈接:

https://dtransposed.github.io/blog/Best-of-GANs-2018-(Part-1-out-of-2).html

【加入社群】

新智元AI技術 產業社群招募中，歡迎對AI技術 產業落地感興趣的同學，加小助手微信號：aiera2015_2入群;通過審核後我們將邀請進群，加入社群後務必修改群備註（姓名 - 公司 - 職位;專業群審核較嚴，敬請諒解）。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！