MIT在讀博士生質疑ICLR 2018防禦論文很水？Ian Goodfellow跟帖回應

雷鋒網 AI 科技評論：這是一名 MIT CS 在讀博士生在推特上引發的爭論。

谷歌大腦負責人 Jeff Dean 日前在推特上轉了一篇名字為 Anish Athalye 的推文，立刻引起了整個機器學習學術圈的關注，被譽為「GANs 之父」的 Ian Goodfellow 也接連跟帖回復。

到底是什麼言論驚動了眾多 AI 界大牛，我們先來看看這篇推文：

防禦對抗樣本仍然是一個尚未解決的問題，三天前公布的 ICLR 接收論文里，八篇關於防禦論文里已經有七篇被我們攻破。（只有「aleks_madry」等人的論文中提到的方法在攻擊中準確率保持了 47%，沒有被攻破）

Anish Athalye 也貼出了自己的 GitHub 地址，https://github.com/anishathalye/obfuscated-gradients，其中有詳細的說明。

雷鋒網發現在他的 GitHub 中展示了一個對抗樣本的例子，對一隻貓的圖像加入輕微的干擾就可以使分類器 Inceptionv3 判別錯誤，將貓頭像錯認為為「果醬」。他稱這樣的「欺騙性圖像」很容易使用梯度下降法生成。

根據 GitHub 中的介紹，Anish Athalye 等人近期的論文《Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples》（https://arxiv.org/abs/1802.00420）研究了 ICLR 2018 收錄的八篇關於防禦的論文中的防禦對抗樣本的魯棒性，發現其中有七種防禦魯棒性都很有限，可以通過改進的攻擊技術攻破。

下面是論文中的一個表格，展示了多種對抗性樣本防禦方法在攻擊下的魯棒性。（加 * 表示的這些防禦方法建議結合對抗性訓練使用）

根據 Anish Athalye 等人的研究，八篇論文中唯一一篇顯著提高對抗樣本防禦的魯棒性的論文是：《Towards Deep Learning Models Resistant to Adversarial Attacks》(即上述表格中的準確率 47% 那篇）。除了使用威脅模型以外，沒有辦法攻破這種防禦。即便如此，這種防禦方法也是難以擴展到 ImageNet 規模的。其餘的七篇論文無論是有意還是無意都在依賴於「混淆梯度」。一般的攻擊利用梯度下降法使給定圖像網路損失最大化，從而在神經網路上產生對抗樣本，這種優化方法需要有用的梯度信號才能成功。基於混淆梯度的防禦會破壞這種梯度信號，並導致優化方法失效。

Anish Athalye 等人定義了三種基於混淆梯度的防禦方式，並構建了繞過每一種攻擊的方法。新的攻擊方法適用於任何有意的、無意的、包括不可微分操作或以其他方式防止梯度信號流經網路的任何防禦。研究員們希望用此方法進行更徹底的安全評估。

《Towards Deep Learning Models Resistant to Adversarial Attacks》

論文摘要

我們意識到「混淆梯度」給防禦對抗樣本帶來的是一種虛假的安全感現象，儘管基於混淆梯度的防禦可以打敗基於優化的攻擊，但我們發現依靠這種效果的防禦仍然可以被攻破。

對於我們發現的三種混淆梯度類型中的每一種，我們都會描述展示這種效果的防禦指標，並開發攻擊技術來攻破它。在樣本研究中，我們試驗了 ICLR 2018 接收的所有防禦措施。我們發現混淆梯度是常見現象，其中 8 個防禦中的 7 個依靠混淆梯度。使用我們新的攻擊技術，成功攻破了 7 個。

論文地址：https://arxiv.org/abs/1802.00420

Ian Goodfellow：你們其實只研究了一部分論文

Jeff Dean 轉發後，很快引起了整個機器學習學術圈的注意。難道這是在質疑 ICLR 2018 收錄的論文質量很水嗎？由於 Anish 的表態主要是針對對抗性樣本的防禦問題，很快便吸引了 GANs 的發明者、以及長期研究對抗性樣本的 Ian Goodfellow 圍觀，並在推特評論區接連跟帖回應。

Goodfellow 回應稱，ICLR 2018實際上至少收錄有11篇關於防禦的論文，其他三篇沒有提到，卻說只有Madry一篇中提到的方法沒有被攻破，這是不公平的。

Goodfellow：ICRL 實際上至少有 11 篇防禦論文，而不是 8 篇。（另外三篇里，）實際上有 2 篇已被證明可防禦，還有 1 篇他們沒有研究。他們（論文的作者）應該說「所有未經認證的白盒防禦」而不是「全部防禦」。

另外，Goodfellow 認為這篇論文中提出的「混淆梯度」簡直就像是給「梯度掩碼」換了個名字而已。為了讓大家對「梯度掩碼」的概念更加了解，Goodfellow 還推薦了相關文獻。

與此同時，Goodfellow 還丟出了一篇 ICLR 2018 論文（Goodfellow 是作者之一），稱已經專門解決了梯度解碼的問題了。論文題目： Ensemble Adversarial Training: Attacks and Defenses

論文地址：https://arxiv.org/pdf/1705.07204.pdf

不過這一觀點截至目前暫未被發出這條震驚學術圈推文的 Anish Athalye 所承認。

雷鋒網報道

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！