Goodfellow最新對抗樣本，連人類都分不清是狗是貓

雷鋒網 AI 科技評論按：機器學習模型容易受到對抗樣本的影響，這已不是什麼新鮮事。相信下面大家對下面這幅圖（Goodfellow et al., 2014）都不陌生：

Goodfellow 憑藉這張圖讓我們知道，即使對樣本微小的改變也能欺騙學習模型，讓模型做出南轅北轍的判斷。這項工作充分說明了目前 AI 系統的脆弱性。

雷鋒網注意到，近期 Goodfellow 等人在「欺騙」上又更上一層樓，不光是欺騙機器，連人類也被欺騙了。

如上圖所示，機器模型和人類都會判斷左側是貓，而右側是狗，即使你仔細觀察可能也會得出相同的結論。而事實上右側圖像只是左側圖像一個簡單地對抗擾動。相關的工作發表在《Adversarial Examples that Fool both Human and Computer Vision》。

這篇文章的重要意義不言而喻。如論文摘要中所說：「機器學習模型易受對抗樣本的攻擊這點大家已經非常清楚；人類是否也有相同的弱點還是一個開放性問題；而這篇文章提出了第一個能夠欺騙人類的對抗樣本。」

論文中還說到它對機器學習安全研究的影響。從機器學習安全的角度來考慮，如果我們知道人腦可以抵禦某些類型的對抗樣本，那麼這就說明在機器學習安全中存在類似的機制，這為我們尋找它們提供了信心和線索；反過來，如果我們知道存在對抗樣本能夠欺騙我們的大腦，那麼這就告訴我們，機器學習安全的重心不應該是研究如何設計魯棒性極高的模型，而應是研究如何保證系統即使包含非魯棒性的 ML 組件，仍然是安全的。

另一方面，如果針對計算機視覺開發的對抗樣本對人腦也有影響，這將為我們了解人腦的工作機理提供某些線索。

在 Goodfellow et al.(2014) 的文章之後，計算機視覺領域相繼出現很多構建對抗樣本的流行演算法，這些演算法的一個共同點就是依賴模型的架構和參數來對輸入進行梯度優化。但是，我們好像沒辦法獲取大腦這個模型的「架構」以及「參數」。那麼如何才能構建針對人類的對抗樣本呢？

這就需要考慮一個比較有意思的現象了——對抗樣本通常可以在模型之間進行遷移；也即是說，我們可以通過遷移的方法來攻擊哪些不知道其「架構」和「參數」的模型。這就使得構建針對人類的對抗樣本成為可能。

當然事情並不是這麼簡單。作為人類，我們有很多認知偏差或者視覺錯覺，但是這些偏差或錯覺並不等同於之前研究中對圖像的微小擾動。此外，我們可以通過學習損失函數來優化機器模型的對抗樣本，但是對於人類，這種方法顯然是無效的（或者需要花費極大的勞動）。所以到目前為止並沒有看到有將遷移性對抗樣本應用於人類視覺感知領域的研究。

這篇文章的作者針對這些問題，採取了三個關鍵的思想來解決：

• 之一，作者使用近期的黑箱對抗樣本構建技術為一個目標模型（不需要知道模型的架構和參數）創建對抗樣本；

• 之二，作者對機器學習模型做了一番調整來模仿人類前期視覺處理過程，也即讓模型更像人，使對抗模型更容易從學習模型遷移到人類；

• 之三，由於人類在分類任務中的準確率太高，實驗性能的微小改變可能達不到可觀測的效果。於是作者在評估人類觀察者的分類決策時，限制他們必須在一定的時間範圍內做出決定，這樣一來對抗樣本對人的影響就更容易被檢測出來了。

藉此三條， Goodfellow 等人構建出了能夠同時欺騙機器學習模型和人類的對抗樣本。

模 型

作者構建了 k（k=10）個在 ImageNet 上訓練的 CNN 模型，每個模型都是以下這些架構之一的實例 (Szegedy et al., 2015; 2016; He et al., 2016)：

Inception V3, Inception V4, Inception ResNet V2

ResNet V2 50, ResNet V2 101, ResNet V2 152

如前面提到的思想之二，作者為每個模型輸入前置了一個視網膜層，該視網膜層包含了一些人眼的視覺變換；甚至，作者還在這個視網膜層中添加了偏心依賴的模糊化，以更符合人類通過視網膜格子（註：人類視網膜不是密集排布的）輸入的機理。

結 果

讓我們回到開頭的那張圖片。不得不說，這是一張極具代表性的例子，即使我們再多看幾遍也仍然會認為右側的那張圖片是狗。

下面這張是更多的結果：

上面一列從左到右，是攻擊不同個數（1，5，10）的模型生成的對抗樣本，隨後用兩個測試模型（其中一個是人類模型）進行分類。可以看出攻擊的目標模型數量越多，生成的圖像對人類來說越像狗。

下面一列則是針對 10 個模型的攻擊生成的對抗樣本，從左到右為不同的攻擊程度。文中介紹說 eps=8 時，人類受試者已經認為這是狗了。

p.s. 不過為什麼雷鋒網覺得原圖好像也是狗呢？??

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！