Quoc Le推新論文：打破常規，巧用對抗性樣本改進圖像識別性能
新智元推薦
來源：圖靈TOPIA
作者：Cihang Xie編譯：安然
【新智元導讀】近日，谷歌大腦的創始成員和 AutoML 的締造者之一Quoc Le再推新研究論文，在題為「對抗性樣本改善圖像識別」一文中提出一種增強的對抗訓練將對抗性樣本AdvProp。來新智元 AI 朋友圈與AI大咖們一起討論吧～
近日，谷歌大腦的創始成員和 AutoML 的締造者之一Quoc Le再推新研究論文，在題為「對抗性樣本改善圖像識別」一文中提出一種增強的對抗訓練將對抗性樣本AdvProp。
他認為AdvProp是一種使用對抗性樣本來減少過度擬合的奇特技巧，其關鍵在於使用Two BatchNorms ，一個用於普通樣本，一個用於對抗性樣本。
使用AdvProp樣本作為其他樣本，以防止過度擬合。當模型更大時，該研究證明AdvProp改進了各種模型，在各種圖像識別任務上表現更好。
對抗性樣本通常被認為是對ConvNets的威脅。在這裡，研究者提出了一個相反的觀點:如果使用正確的方法，對抗性樣本可以用來改進圖像識別模型。
AdvProp是一個增強的對抗訓練方案，將對抗性樣本子作為附加的樣本來處理，以防止過度擬合。
方法的關鍵是使用獨立的輔助批處理規範來處理對抗性樣本，因為它們與普通樣本具有不同的底層分布。
實驗結果表明，AdvProp模型在不同的圖像識別任務上有較大的改進，且模型越大，識別效果越好。
例如，通過應用AdvProp使用ImageNet上的最新EfficientNet-B7，實現ImageNet的顯著改善（ 0.7％），ImageNet-C（ 6.5％），ImageNet-A（ 7.0％），StylizedImageNet（ 4.8％）。
AdvProp模型通過對抗性樣本獲得ImageNet top-1精度85.5％（無額外數據）。這一結果甚至超過了《Exploring the limits of weakly supervised pretraining. In ECCV, 2018》中使用3.5B Instagram圖像(比ImageNet多約3000倍)和多約9.4倍參數訓練的最佳模型。
GutHub:
https://github.com/tensorflow/tpu/tree/master/models/official/efficiencynet
通過在圖像上添加不可察覺的擾動而產生的對抗性樣本可能導致卷積神經網路（ConvNets）做出錯誤的預測。
對抗性樣本的存在不僅揭示了ConvNets的泛化能力有限，而且還對這些模型的實際部署構成了安全威脅。自從首次發現ConvNets遭受廣告攻擊的以來，已經做了許多努力來提高網路的穩健性。
在這篇文章中，研究者並沒有把重點放在對抗性樣本上，而是將注意力轉移到利用對抗性樣本來提高準確性。
以前的研究表明，使用反例訓練可以提高模型的泛化能力，但僅限於某些特定的情況——只有在全監督設置下的小數據集(如MNIST)或在半監督設置下的大數據集上才能觀察到這種改善。
與此同時，最近的研究也表明，在大型數據集(如ImageNet)上使用反例進行訓練，在監督學習的情況下，會導致普通樣本的性能下降。總之，如何有效地使用對抗性樣本來幫助視覺模型仍然是一個有待解決的問題。
圖1. AdvProp改善了圖像識別。AdvProp通過在ImageNet上訓練模型，幫助EfficientNet-B7在ImageNet 上達到85.2％的精度，在ImageNet-C上達到52.9％的mCE（均值誤差，越低越好），在ImageNet-C上達到44.7％的精度。
研究者觀察到，以前的方法都可以共同訓練清晰的圖像和對抗性樣本，假設在以前的工作中，普通樣本和對抗性樣本之間的分布不匹配是導致性能下降的一個關鍵因素。
Two BatchNorms 可以在歸一化層上正確分解這兩個分布，以便進行準確的統計估計。這種分布分解是至關重要的，它使研究者能夠通過對抗性樣本成功地改進而不是降低模型性能。
研究者的工作第一次表明了，在大規模數據集的全監督設置下，對抗性樣本可以提高模型的性能。
例如，使用AdvProp訓練的EfficientNet-B7在ImageNet上的準確率達到了85.2% (top-1)，超過了vanilla的0.8%。在對模型進行畸變圖像測試時，AdvProp的改善效果更為顯著。
如圖1所示，AdvProp幫助EfficientNet-B7對ImageNet-C、ImageNet-A、Stylized-ImageNet分別獲得9.0%、7.0%、5.0%的絕對提升。
由於AdvProp有效地防止了較大網路的過擬合和更好執行，研究者開發了一個更大的網路，命名為EfficientNet-B8，它遵循了類似於《Mingxing Tan and Quoc Le. Efficientnet: Rethinking model scaling for convolutional neural networks. In ICML, 2019》中的複合縮放規則。
通過研究者提出的建議，在沒有任何額外數據的情況下，EfficientNet-B8在ImageNet上實現了最先進的85.5%的top-1精度。
該結果甚至超過了《Exploring the limits of weakly supervised pretraining. In ECCV, 2018.》中報告的最佳模型，該模型在3.5B額外的Instagram圖像上進行了預訓練（比ImageNet多3000倍），需要比EfficientNet-B8多9.4倍的參數。
論文鏈接：
https://arxiv.org/pdf/1911.09665.pdf
在新智元你可以獲得：
與國內外一線大咖、行業翹楚面對面交流的機會
掌握深耕人工智慧領域，成為行業專家
遠高於同行業的底薪
五險一金＋月度獎金＋項目獎勵＋年底雙薪
舒適的辦公環境（北京融科資訊中心B座）
一日三餐、水果零食
新智元邀你2020勇闖AI之巔，崗位信息詳見海報：
