「IEEE Spectrum」神經網路視覺分類演算法的意外弱點

20萬，這是新智元如今達到的用戶總數。在飛向智能宇宙的旅程中，感謝每一位和新智元同行的朋友。您的關注和支持是「新智元號」星艦永不枯竭的燃料。

人類非常難以理解機器人是如何「看」世界的。機器的攝像頭像我們的眼睛一樣工作，但在攝像頭拍攝的圖像和對於這些圖像能夠處理的信息之間的空間里，充滿了黑盒機器學習演算法。訓練這些演算法通常包括向機器顯示一組不同的圖像（比如停止標誌），然後看看機器能否從這些圖片中提取足夠的常見特徵，從而可靠地識別出那些沒有在訓練集中出現過的停止標誌。

這樣做很好，但機器學習演算法識別出的停止標識具有的特徵，往往不是「裡面有字母 STOP 的紅色八角形」，而是所有停止標誌都共享的特徵，不過人類是看不懂的。要是你覺得這很難想像的話，那是因為這個事實實際上反映了我們的大腦和人工神經網路在解釋/理解這個世界時的根本斷層。

而結果就是，對圖像進行輕微的改動就可能導致機器學習演算法識別出與原本完全不同（有時甚至是莫名其妙的）結果。

一般而言，這些輕微的改動是人類肉眼所無法察覺的，而且通常需要相對複雜的分析和圖像處理才能實現。

下面是一組我們常見的「對抗圖像」「污染」：

本來是大熊貓的原圖（左），經過人類肉眼不可見的調整（中），結果計算機就識別為長臂猿（右，置信度 99.3%）。

用在道路標誌上就成了這樣：

上面一排是合法的標誌，下面則是經過一些手段，讓神經網路分類器產生錯誤識別的結果。

很顯然，這樣的改動，雖然有效（且危險），但實踐起來卻很難，因為你一般很難直接獲得你想要混淆的神經網路的輸入。此外，在自動駕駛的情況下，神經網路能夠在不同距離和不同的角度分析一大堆符號的圖像。而對抗圖像往往會在整個圖像（即道路標誌和圖像中的背景）中都包含增加的改動，所以這種「污染」在現實生活中往往很難不起到作用。

僅用貼紙或塗鴉騙過神經網路分類器

但是，最近華盛頓大學、密歇根大學、石溪大學和加州大學伯克利分校的一組研究人員發表了一篇文章，表明在物理世界中進行輕微的改變，也能誘騙視覺分類演算法。你只需要在停車標誌上加一點噴漆或一些貼紙，就能夠愚弄一個深度神經網路分類器，讓神經網路將停止標誌看成是限速標誌。

下面是兩幅僅用貼紙就讓神經網路產生混淆的例子：

因為貼紙的面積相對整個標識而言很小，所以由此造成的干擾也就更加嚴重。據研究人員介紹：

「根據我們的評估方法，100％的圖像分類器將停止標誌錯誤地歸到限速 45 的類別中。對於右轉標誌……我們的攻擊讓錯誤分類的成功率為 100％，其中 66.67％ 的圖像被歸類為停車標誌，33.7％ 的圖像被歸為添加車道標誌。[塗鴉] 攻擊的成功率為 73.33％。[偽裝抽象藝術攻擊] 則實現了 100％ 的錯誤分類率。」

為了實施這些攻擊，研究人員使用公開的道路標誌數據集，在 TensorFlow 上對他們的道路標誌分類器進行了訓練。他們認為，攻擊者會對分類器有「白盒」訪問，這意味著攻擊者不會混淆或篡改數據，而是把「雜物」添加進去，看看會出來什麼。這樣，即使無法直接入侵分類器，攻擊者仍然可以使用這種反饋來創建一個相當準確的模型來分類它們。最後，研究人員將想要攻擊的標誌的圖像加上他們的分類器，並將其加入到攻擊演算法中，這樣演算法就能輸出對抗圖像了。

自動駕駛的未來或是完全去除人類因素

當然，自動駕駛汽車使用的分類器會比研究人員成功騙過的分類器更加複雜，魯棒性更高。（在實驗中，研究人員只使用了大約 4,500 個標誌作為訓練輸入）。儘管如此，也無法否認像這樣的攻擊不會奏效——即使是最先進的基於深度神經網路的演算法，也可能做出很愚蠢的判斷，而原因我們並不能輕易察覺。因此，自動駕駛汽車最好使用多模態系統進行道路標誌識別，就跟自動駕駛汽車使用多模態系統進行障礙物檢測一樣：僅依靠一種感測器（無論是雷達，激光雷達，還是攝像頭），都是十分危險的。因此，要同時使用多種感測器，確保它們涵蓋彼此的特定漏洞。

因此，如果要為自動駕駛汽車做一個視覺分類器，那麼也加入一些 GPS 位置的信號。或者，可以添加專用的紅色八角形檢測系統。但是，我的建議是，把全部的道路標誌都撤銷（徹底不依靠道路標誌），把人類因素完全剔除，把所有的道路完全交給機器人。這樣問題就解決了。

• 相關論文：Robust Physical-World Attacks on Machine Learning Models（https://arxiv.org/abs/1707.08945）

編譯來源：http://spectrum.ieee.org/cars-that-think/transportation/sensors/slight-street-sign-modifications-can-fool-machine-learning-algorithms

點擊閱讀原文可查看職位詳情，期待你的加入~

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！