谷歌大腦研究對抗性樣本得出意外結論：分類誤差為零的模型就不存在對抗性樣本了

雷鋒網 AI 科技評論按：谷歌大腦近期的一篇新論文對對抗性樣本做了多方面的理論性研究，不僅首次發現了簡單數據分布下對抗性樣本的分布特性，而且得出了「分類誤差為零的模型不存在對抗性樣本」這樣的大家此前不曾想像過的結論。我們把這篇論文《Adversarial Spheres》（對抗性球面）主要內容介紹如下。

自從 Ian Goodfellow 等人發現並命名了「對抗性樣本」以來，學術界已經有許多研究者投入了許多時間精力在這種現象的研究上。數字圖像可以被巧妙地修改，修改的幅度對人眼來說幾乎無法察覺，但修改後的圖像卻可以以很高的置信度騙過圖像識別模型，讓模型認為這是另一個類別的實體，這是「對抗性樣本」的直接來源。Ian Goodfellow 稍後也把這種現象正式描述為「從數據分布中隨機選擇圖像，大多數都可以被圖像模型正確分類，然而看上去非常相似的圖像卻可能會被分類錯誤」。通過對抗性方法創建的對抗性樣本具有優秀的魯棒性（可以對多種不同模型起效），而且具有一定的視角、方向、大小不變性。儘管之前也有研究者提出理論假說和一些防禦策略，大家對這種現象的原因仍然知之甚少。

對於對抗性樣本的原因目前有這麼幾種假說：神經網路分類器在輸入空間的許多區域都過於線性；對抗性樣本並沒有落在正常的數據流形上；也有人提出網路內部權重矩陣的單個很大的值有可能會讓網路對輸入中的小擾動更脆弱。

除了嘗試解釋對抗性樣本的成因，也有研究者提出了各種防禦方法來提高模型的魯棒性。有的研究嘗試替換網路使用的非線性函數以提高對小擾動的魯棒性，有的研究嘗試把大模型蒸餾為小模型，有的研究中給網路增加正則化，還有一些研究中嘗試用一個額外的統計模型先把對抗性樣本挑出來。不過，也有研究說明了以上這些方法都不一定奏效，對抗性訓練在某些狀況下倒是可以提高網路的魯棒性。

考慮到這些能被騙過的模型在測試集上其實也是有很高的準確率的，對抗性樣本的這種現象就有點耐人尋味。在這篇論文中，作者們提出一種假說，認為網路之所以會出現這種行為，是數據流形的高維度本質特性的自然結果。

為了能夠驗證這種假說，作者們構建了兩個同心的高維球面數據集，訓練網路做這個二分類任務，以此開展研究。兩個球面分別為 r=1 和 R=1.3，數據維度最高為 5000，並且數據點就分布在球面上（雷鋒網 AI 科技評論註：這也就是標題中的「spheres」的含義）。在這樣的設定中，數據流形有數學上的完善定義，而且模型學到的決策邊界也是可以有解析性的表示的；而以往的基於現有圖像數據集的研究中，數據流形是不可知的，決策邊界也無法表示，就很難進行研究。更重要的是，通過自己生成數據的過程，作者們可以自由地變化數據維度的數目大小，從而研究輸入維度數目對神經網路的泛化誤差存在性的影響。

用球面分布數據集對二分類模型的測試結果和圖像模型的測試結果相似：數據分布中隨機選擇的點多數都可以被正確分類，同時也和不能被正確分類的點非常接近。即便當測試錯誤率低於一千萬分之一的時候都會出現這種行為。

作者們經過研究得到了這樣的結論：「測試集上出現分類錯誤的點出現的概率」和「到最近的分類錯誤點之間的距離」，兩者之間的關係是與模型無關的。任何一個總會分類錯誤球面上的一小部分點的模型，就一定會在多數隨機採樣的數據點附近存在會被分類錯誤的點，不管模型分類錯誤的點在球面上的分布如何。在球面數據集上訓練的神經網路都會自然地逼近作者們找到的這個測試誤差和平均距離之間的理論最優平衡曲線。這似乎表明，為了按線性減小到最近的分類錯誤點之間的平均距離，模型的分類錯誤率需要以指數減小。

這個結論給出了模型的泛化誤差和到最近的分類錯誤點距離之間的最優取捨平衡關係。作者們也設計了三個不同的網路，在 1k、5k、10k、100k、無限制這幾種訓練樣本數目下進行了驗證性測試，得到的結果正是沿著以上結論給出的曲線（黑線）的。

這個結論的重要意義體現在，它把「為什麼模型很容易被對抗性樣本騙過」這個難以給出直接答案的問題變成了「為什麼有少量的分類錯誤」這個更簡單的問題。目前還不知道對於圖像數據集的數據流形，這個結論是否還成立，後續研究會向著這個方向繼續探索。畢竟論文中研究的只是一個極為簡單的球面分布數據集，還不能很好體現出真實圖像數據集數據流形的複雜性。

這個結論引發的後續問題還包括在數據量有限的情況下有沒有可能完全解決對抗性樣本的問題。作者們的實驗中，用足夠多數據訓練的足夠大的網路已經展現出了低到測不出來的分類錯誤率，不過實驗同時也表明這個網路的規模要顯著大很多才可以。作者們猜測也許一個足夠大的神經網路、經過非常大的圖像數據集訓練之後有可能最終變得完美，在測試中取得低到測不出來的分類錯誤率，同時也就能很好抵抗對抗性樣本。

論文詳細內容請見：https://arxiv.org/abs/1801.02774，雷鋒網 AI 科技評論編譯

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！