我們不該相信神經網路來分析圖像的1000個理由！

說到圖像識別技術，愚弄機器仍然輕而易舉。雖然神經網路誤將一隻蝴蝶當成一台洗衣機有點搞笑，但如果你考慮將這些有缺陷的系統大批投入到實際環境，這種愚蠢行為的後果非常可怕。

來自加利福尼亞大學伯克利分校、華盛頓大學和芝加哥大學的研究人員本月發表了一篇論文（https://arxiv.org/pdf/1907.07174.pdf），實際上充分暴露了神經網路在正確識別圖像時存在的弱點。他們專門探究了自然對抗樣本（natural adversarial example），出現在自然界的這些例子誘騙機器學習模型錯誤分類對象。

研究人員篩選了7500個自然對抗樣本，歸入到一個名為IMAGENET-A的資料庫中。據論文顯示，為數據集選擇的圖像是從來自網站iNaturalist的數百萬用戶標記的動物圖像以及Flickr上用戶標記的對象獲取而來的。研究人員先下載了與資料庫的一個類別有關的圖像，刪除了一個單獨的機器學習模型正確分類的圖像，然後從剩餘的這批圖像中手動選擇高質量的圖像。

研究人員闡明了如何分解蜻蜓特有的圖像，在論文中示例表明了這個過程。他們從iNaturalist下載了81413個蜻蜓圖像，過濾後剩下8925個圖像。「演算法建議的短名單」得出1452個圖像，研究人員在此基礎上再手動選出了80個圖像。

資料庫中最終包含的數千個圖像都無法正確地對圖像中的對象進行分類，原因有很多，但沒有一個是故意的惡意攻擊。神經網路出岔子的原因包括：天氣、照片取景方面的變化、局部被遮蓋的對象、過於依賴照片中的紋理或顏色，以及其他原因。研究人員還發現，分類器有可能過度概括、過度推斷以及錯誤地包含切向類別。

這就是為什麼神經網路將蠟燭分類成南瓜燈、而置信度高達99.94%，儘管圖像中根本沒有雕出來的南瓜。這就是為什麼神經網路將蜻蜓分類成香蕉，研究人員猜測這是由於附近有一把黃色的鏟子。這也是為什麼對一條遊動的鱷魚取景時略有變化時，神經網路將它歸類成懸崖、猞猁和黑松鼠。這也是為什麼分類器將三輪車過度概括成自行車和圓圈，以及將數字時鐘過度概括成鍵盤和計算器。

這些研究結果並沒有啟發性，但資料庫的穩健性有助於了解圖像識別系統失敗的所有方式。研究人員在研究論文中指出，這是「一個重要的研究目標，因為計算機視覺系統部署在越來越不穩定的環境中。」最值得注意的是，這些系統現部署到自動駕駛汽車和日益自動化的倉庫中。實際上，今年早些時候，研究人員只是轉動了3D物體的照片，就騙過了深度神經網路，特別指出面對依賴圖像識別技術的自動駕駛汽車時這個缺陷多麼地危險、令人不安。

奧本大學計算機科學助理教授、該論文的研究人員Anh Nguyen在電話中告訴IT外媒Gizmodo：「你可以想像倉庫中的機器人或移動家庭機器人，它們環顧四周，試圖為你撿起東西或找到鑰匙。這些四處擺放的對象可能呈各種姿勢、各種方向。它們可能在任何地方。別指望它們呈規範的姿勢，所以它們會被對抗姿勢所騙倒。」

Nguyen還指出，稍稍調整對象的角度對機場和其他安全檢查點的運輸安全管理局（TSA）而言，可能會如何影響圖像識別，或者會如何影響戰場中的自動目標識別。他說：「這個安全漏洞在許多應用環境下會是比較大的問題。」而這僅僅適用於一個對抗樣本。正如研究人員在7月的這篇論文中表示，這只是無數例子中的一個而已。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！