谷歌大腦打造「以一當十」的GAN：僅用10％標記數據，生成圖像卻更逼真

新智元AI技術峰會倒計時6天

新智元將於3月27日在北京泰富酒店舉辦「2019新智元AI技術峰會——智能雲?芯世界」，聚焦智能雲和AI晶元發展，重塑未來AI世界格局。

同時，新智元將現場權威發布若干AI白皮書，聚焦產業鏈的創新活躍，助力中國在世界級的AI競爭中實現超越。

參會二維碼：

新智元報道

來源：Google AI

編輯：大明

【新智元導讀】近日，谷歌大腦研究人員提出了一種基於自監督和半監督學習的「條件GAN」，使用的標記數據量大降90%，生成圖像的質量比現有全監督最優模型BigGAN高出20%（以FID得分計），有望緩解圖像生成和識別領域標記數據量嚴重不足的問題。

生成對抗網路（GAN）是一類強大的深度生成模型。GAN背後的主要思想是訓練兩個神經網路：生成器負責學習如何合成數據，而判別器負責學習如何區分真實數據與生成器合成的虛假數據。目前，GAN已成功用於高保真自然圖像合成，改善學習圖像壓縮質量，以及數據增強等任務。

對於自然圖像合成任務來說，現有的最優結果是通過條件GAN實現的。與無條件GAN不同，條件GAN在訓練期間要使用標籤（比如汽車，狗等）。雖然數據標記讓圖像合成任務變得更容易實現，在性能上獲得了顯著提升，但是這種方法需要大量標記數據，而在實際任務中很少有大量標記數據可用。

隨著ImageNet上訓練過程的持續，生成的圖像逼真度進步明顯

谷歌大腦的研究人員在最近的《用更少的數據標籤生成高保真圖像》中，提出了一種新方法來減少訓練最先進條件GAN所需的標記數據量。文章提出結合大規模GAN的最新進展，將高保真自然圖像合成技術與最先進技術相結合，使數據標記數量減少到原來的10%。

在此基礎上，研究人員還發布了Compare GAN庫的重大更新，其中包含了訓練和評估現代GAN所需的所有組件。

利用半監督和自監督方式提升預測性能

條件GAN與基線BigGAN的FID分數對比，圖中黑色豎線為BigGAN基線模型（使用全部標記數據）得分。S3GAN在僅使用10%標記數據的情況下，得分比基線模型最優得分高20%

在條件GAN中，生成器和判別器通常都以分類標籤為應用條件。現在，研究人員建議使用推斷得出的數據標籤，來替換手工標記的真實標籤。

上行：BigGAN全監督式學習生成的128×128像素最優圖像樣本。下行為S3GAN生成的圖像樣本，標記數據量降低了90%，FID得分與BigGAN表現相當

為了推斷大型數據集中多數未標記數據的高質量標籤，可以採取兩步方法：首先，僅使用數據集的未標記部分來學習特徵表示。

為了學習特徵表示，需要利用新方法，以不同的方法利用自我監督機制：將未標記的圖像進行隨機旋轉，由深度卷積神經網路負責預測旋轉角度。這背後的思路是，模型需要能夠識別主要對象及其形狀，才能在此類任務中獲得成功。

對一幅未標記的圖像進行隨機旋轉，網路的任務是預測旋轉角度。成功的模型需要捕捉有意義的語義圖像特徵，這些特徵可用於完成其他視覺任務

研究人員將訓練網路的一個中間層的激活模式視為輸入的新特徵表示，並訓練分類器，以使用原始數據集的標記部分識別該輸入的標籤。由於網路經過預訓練，可以從數據中提取具有語義意義的特徵，因此，訓練此分類器比從頭開始訓練整個網路更具樣本效率。最後使用分類器對未標記的數據進行標記。

為了進一步提高模型質量和訓練的穩定性，最好讓判別器網路學習有意義的特徵表示。通過這些改進手段，在加上大規模的訓練，使得新的條件GAN在ImageNet圖像合成任務上達到了最優性能。

給定潛在向量，由生成器網路生成圖像。在每行中，最左側和最右側圖像的潛在代碼之間的線性插值導致圖像空間中的語義插值

CompareGAN：用於訓練和評估GAN的庫

對GAN的前沿研究在很大程度上依賴於經過精心設計和測試的代碼庫，即使只是複製或再現先前的結果和技術，也需要付出巨大努力。

為了促進開放科學並讓研究界從最近的進步中獲益，研究人員發布了Compare GAN庫的重大更新。該庫包括現代GAN中常用的損失函數，正則化和歸一化方案，神經架構和量化指標，現已支持：

GPU和TPU訓練

通過Gin進行輕量級配置（含實例）

通過TensorFlow數據集庫提供大量數據集

未來方向：自監督學習會讓GAN更強大

由於標記數據源和未標記數據源之間的差距越來越大，讓模型具備從部分標記的數據中學習的能力變得越來越重要。

目前來看，自監督學習和半監督學習的簡單而有力的結合，有助於縮小GAN的這一現實差距。自監督是一個值得研究的領域，值得在該領域開展面向其他生成建模任務的研究。

論文地址：

https://arxiv.org/pdf/1903.02271.pdf

參考鏈接：

https://ai.googleblog.com/2019/03/reducing-need-for-labeled-data-in.html

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！