神經網路這麼弱？改一個像素就懵圈了

AI 研習社按：這裡是，雷鋒字幕組編譯的 Two minutes paper 專欄，每周帶大家用碎片時間閱覽前沿技術，了解 AI 領域的最新研究成果。

原標題：One Pixel Attack Defeats Neural Networks | Two Minute Papers #240

翻譯 | 於澤平 字幕 | 凡江 整理 | 李逸凡 吳璇

騙過神經網路，我們最少需要改變多少像素(pixel)呢？猜猜是多少，可能你會覺得，怎麼著都要 100 才夠，但論文證明了，攻擊大多數神經網路只需要修改一個像素就行。

在這篇《One pixel attack for fooling deep neural networks》論文中，研究人員分析了一種在極端限制情形下（只修改一個像素）的攻擊。他們提出了一種基於差分進化（differential evolution）的單像素對抗干擾新方法。

結果表明，70.97%的自然圖像至少有一個分類目標會被干擾，而造成干擾只需要修改置信均值為 97.47%的一個像素。因此，在極端限制情形下，攻擊探索出了不同的對抗機器學習方法。這也表明當前的深度神經網路也容易受到這類低維攻擊。

神經網路通常不直接判斷一個類別，而是通過一些置信值來判別。置信值代表神經網路它有多確信看到的是只拉布拉多犬還是一隻老虎貓。我們通常對比所有的置信值，並選出最高的，查看它們使神經網路對正確類別的置信值下降了多少，接著我們拋棄效果不好的像素，並繼續搜索最有希望的像素，我們將這個過程稱為差異進化。

如果這個過程實現的很好，最終正確類別的置信值將會變的很低，因為神經網路將能預測另一個類別，一旦發生這種情況，代表神經網路成功被欺騙了，這也意味我們需要查看神經網路，並獲得其置信值。

當然，也有大量關於訓練魯棒性的神經網路的研究，使這些神經網路可以承受更多對抗攻擊，對抗攻擊有著許多地方值得我們去挖掘以及探索。

論文：

https://arxiv.org/abs/1710.08864

Github：

https://github.com/Hyperparticle/one-pixel-attack-keras

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！