你的GAN再不聽話，就把它暴力肢解了吧，有用

暴栗 發自 凹非寺

量子位 出品 | 公眾號 QbitAI

這裡有一隻GAN，可以把尖聳的屋頂刷成圓的。

給天上的雲換個姿勢，一秒種起一棵樹。

還可以，把草拔光。

消除大法：觸草木，盡死

MIT、IBM、港中大以及谷歌的科學家，用念力一組一組地控制了GAN的神經元，才支配了生成過程。

團隊說，他們對GAN內在原理的了解程度，是前所未有的。所以，團隊在一篇論文里，介紹了這種魔法。

現在，演算法已開源，並有Demo可以玩，叫GANpaint。傳送門見文底。

解鎖GAN的隱藏原理，才能控制GAN

草，木，雲，天，穹頂，磚瓦，房門......

每個元素，都對應GAN的其中一組神經元。

只要激活某一組神經元，抑制其他神經元，就可以有選擇地生成想要的元素。

長期以來，人類任由GAN胡亂塗鴉，不大去追究它們作畫的原理。

43.2萬美元成交的GAN肖像，誰也不知道它是怎樣學會畫人

而GANpaint團隊心思細膩，想要看清GAN的內部是如何運作，就有了這項研究：

每次激活不同的神經元，相當於把GAN肢解 (Dissect) 開來，讓人一點一點去領會；

團隊還提出了一個分析框架(Analytical Framework) ，把肢解過程可視化，就像Demo展示的那樣。

講一下步驟。

找到每個神經元負責的物體，是把分割網路 (T. Xiao, et al, 2018) 和肢解方法 (D. Bau, et al, 2017) 結合，達成的

首先，把跟某個物體 (比如樹) 相關的、可解釋的GAN單元 (Interpretable GAN Units) 挑出來。通俗說來就是根據特徵圖，找到哪些神經元對應哪個物體。

然後，衡量這些單元對物體的影響力有多強，量化出來。也就是說，不只是相關 (Correlated) ，神經元要能控制物體的變化，才有用。

最終，考察這些單元與背景之間的上下文關係(Contextual Relationship) 。研究要在一幅圖裡生成某種物體，怎樣才能不突兀。

團隊說，為了理解GAN的內在原理，而做的系統性分析，這還是史上第一次。

43號單元，代表生成圓頂

還是剛才的栗子：要把尖頂變成圓頂，GAN要學習尖頂圓頂的特徵，還要讓生成的圓頂和原來的背景相處融洽。

而生成效果越自然，表示人類越發懂得控制GAN的神經元，也是理解GAN的工作原理了。

你也要試試么

想像，自己被追兵逼到一座古堡門前。你跑進了城堡，然後一秒把門GAN掉。安全。

然後，等追兵無功而返，再重新生成一道門跑出來。真是優秀的技能。

這並不是什麼城堡，但我真的GAN出一道門

再多的風景，就不一一列舉了。

七個按鈕，大家可以自己試試看，會不會生成什麼驚喜。

畢竟，有人以為「去掉磚」 (Brick x Remove) ，應該會是這樣：

沒有，不是我說的，不知道誰說的 (Twitter: @Jukkuden) 。

代碼傳送門：

https://github.com/CSAILVision/GANDissect

論文傳送門：

https://arxiv.org/pdf/1811.10597.pdf

—完—

年度評選申請

加入社群

量子位AI社群開始招募啦，歡迎對AI感興趣的同學，在量子位公眾號（QbitAI）對話界面回復關鍵字「交流群」，獲取入群方式；

此外，量子位專業細分群(自動駕駛、CV、NLP、機器學習等)正在招募，面向正在從事相關領域的工程師及研究人員。

進專業群請在量子位公眾號（QbitAI）對話界面回復關鍵字「專業群」，獲取入群方式。（專業群審核較嚴，敬請諒解）

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回復「招聘」兩個字。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！