IBM推出開源工具幫AI抵禦對抗性樣本攻擊：DNN開發者的福音

策劃編輯 | Natalie

譯者 | Liu Zhiyong,馬卓奇

編輯 | Debra Chen,Emily

AI 前線導讀：深度神經網路在認知任務上已經取得了突破性進展，但是它們很容易受到「對抗樣本」的攻擊：輕微變動圖像、文本或語音數據就可以欺騙這些系統，造成感知誤判。而對抗攻擊已經對 AI 系統在安全關鍵應用中的部署構成了實際威脅，為了解決這一問題，近日 IBM 推出了一款開源工具：對抗健壯性工具箱（Adversarial Robustness Toolbox），為人工智慧系統抵禦對抗性攻擊保駕護航。更多乾貨內容請關注微信公眾號「AI 前線」，（ID：ai-front）

近日 IBM 宣布推出面向 AI 開發人員的對抗健壯性工具箱（Adversarial Robustness Toolbox）。該工具箱以開源代碼庫的形式發布，其中包括攻擊代理、防禦應用程序和基準測試工具，這些工具使開發人員能夠將固有彈性（baked-in resilience）集成到應對對抗性攻擊的能力中。AI 開發人員對深度神經網路進行對抗性攻擊，以確保它們能夠經受住現實世界考驗所需要的所有內容，都能在該開源工具箱中找到。

IBM 表示這是業內推出的第一款防禦對抗性攻擊的工具，根據 IBM 安全系統首席技術官 Sridhar Muppidi 的說法：

目前已有的一些抵禦對抗性攻擊的 AI 模型是平台強相關的。為此，IBM 團隊設計了這款對抗健壯性工具箱，並且這個工具在不同平台上是通用的。無論開發人員是通過 Keras 還是 TensorFlow 進行編碼、開發，都可以應用相同的庫來構建防禦系統。

這個工具就像 AI 的綜合武術教練，會對 DNN 的恢復能力進行評估，教它定製防禦技術，並提供一種內部抗攻擊層（anti-virus layer）。

防不勝防的對抗樣本攻擊

近年來人工智慧（AI）的發展取得了巨大的進步，現代人工智慧系統在認知任務上已經達到了接近人類的水準，例如物體識別、視頻標註、語音文本轉換以及機器翻譯等。這些突破性的成果大部分是以深度神經網路（DNNs）為基礎的。深度神經網路是一種複雜的機器學習模型，其結構與大腦中相連的神經元有一定的相似性，它能夠處理高維輸入（例如有幾百萬像素的高解析度圖像），表示不同抽象程度的輸入模式，並且將這些特徵表示與高層語義概念相關聯。

深度神經網路有一個有趣的特性：儘管它們通常是非常準確的，但是它們很容易受到所謂「對抗樣本」的攻擊。對抗樣本是被刻意修改過的輸入信號（例如圖片），攻擊者希望它能讓深度神經網路產生預期的響應。圖 1 給出了一個例子：攻擊者在大熊貓的圖片上加入了少量的對抗雜訊，使深度神經網路將其誤分類為僧帽猴。通常，對抗樣本的目標就是讓神經網路產生錯誤分類，或者某個特定的不正確預測結果。

圖 1 對抗樣本（右）通過在原始輸入（左）上加入對抗雜訊（中）來獲得。儘管對抗樣本中加入的雜訊對人類來說幾乎感覺不到，卻可以讓深度神經網路將圖片誤分為「僧帽猴」而不是「大熊貓」。

對抗攻擊對 AI 系統在安全關鍵應用中的部署已經構成了真正的威脅。對圖像、視頻、語音和其他數據只需進行幾乎檢測不到的改變，就可以用來混淆 AI 系統。即使攻擊者不了解深度神經網路的結構或如何訪問其參數，也可以製作這種對抗樣本。更令人擔憂的是，對抗性攻擊可以在物理世界展開：除了單純操控數字圖像的像素，攻擊者可以通過佩戴特別設計的眼鏡來躲避人臉識別系統，或者通過遮擋交通標誌來攻擊自動駕駛車輛中的視覺識別系統。

2016 年，卡耐基梅隆大學的一幫學生設計了一個眼鏡，並成功矇騙了人臉識別演算法，使之將戴眼鏡的人識別成另一個完全不同的人。

全球知名科技媒體 TNW（The Next Web）在今年早些時候對上圖所示的語音系統漏洞進行過報道，黑客能夠通過特定的方式欺騙語音轉文本系統，比如在你最喜愛的歌曲中偷偷加入一些語音指令，讓智能語音助手清空你的銀行賬戶。黑客並不一定須要由你從收藏的播放列表中選擇特定歌曲，他們可以在公共交通工具上或者在辦公室里坐在你對面，假裝自己在聽音樂，然後偷偷嵌入攻擊信號。

對抗性攻擊帶來的威脅還包括欺騙 GPS 誤導船隻、攻擊艦載系統、偽裝船隻 ID 來欺騙 AI 驅動的人造衛星等等。AI 系統容易受到攻擊的領域還包括無人駕駛汽車和軍用無人機，如果它們的安全受到威脅，這兩者都可能成為黑客的武器。

實際上，所有的 DNN 都需要具備抵禦攻擊的能力，否則它們就如同沒有病毒防護的計算機一樣，容易陷於危險之中。

開源對抗健壯性工具箱

IBM 愛爾蘭研究中心推出的對抗健壯性工具箱（Adversarial Robustness Toolbox）是一個開源軟體庫，能幫助研究人員和開發人員抵禦對深度神經網路的對抗攻擊，從而使 AI 系統更安全。這個工具將由 Sridhar Muppidi 博士（IBM Fellow，副總裁兼 IBM 安全首席技術官）和 Koos Lodewijkx（副總裁兼安全操作與響應（SOAR）CTO）在 RSA 大會上正式對外發布。你也可以提前在 GitHub 上查看並使用該項目：https://github.com/ibm/adversarial-robustness-toolbox。

對抗健壯性工具箱的設計目的是支持研究人員和開發人員創造新的防禦技術，以及部署現實世界人工智慧系統的實際防禦。研究人員可以使用對抗健壯性工具箱將自己新設計的防禦系統與目前最先進的系統進行對比。對於開發人員，該工具箱提供了介面，支持使用個人方法作為構建塊來組成綜合防禦系統。

這個開源庫基於 Python 編寫，可以開發、測試和部署深度神經網路，其中包括最先進的創建對抗實例的演算法以及加強深度神經網路抵禦對抗攻擊的方法。

開發者利用該開源工具箱保護深度神經網路的方法有三步：

測量模型的健壯性。首先，對一個給定深度神經網路的健壯性進行評估。有一種直接的評估方法，就是記錄輸入對抗樣本後的準確度損失。還有其他方法會衡量當輸入有微小變化時，網路的內部表示和輸出的變化程度。

模型硬化。其次，「硬化」給定的深度神經網路，使其對對抗性輸入更健壯。常見的方法是對深度神經網路的輸入進行預處理，用對抗樣本增強訓練數據，或改變深度神經網路的架構來防止對抗信號沿內部表示層傳播。

實時檢測。最後，實時檢測方法可以應用於標記攻擊者可能已經篡改的輸入。這些方法一般會嘗試利用那些由於對抗輸入引起的深度神經網路內部表示層上的異常激活。

如何開始

訪問開源項目地址

https://github.com/ibm/adversarial-robustness-toolbox

現在就可以開始使用對抗健壯性工具箱！當前發布版本已經擁有全面的文檔和教程，可以幫助研究人員和開發人員快速入門。研究團隊目前正在準備更加詳盡的白皮書，以概述開源庫中實現方法的細節。

對抗健壯性工具箱的首個版本支持基於 Tensorflow 和 Keras 實現的深度神經網路，接下拉的版本將支持其他流行框架，如 PyTorch 或 MXNet。目前，這個開源工具主要改善了視覺識別系統的對抗健壯性，未來的版本將適用於其他數據模式，例如語音、文本或時間序列。

IBM 研究團隊希望，對抗健壯性工具箱項目能夠促進深度神經網路對抗健壯性領域的研究和開發，並使人工智慧在現實世界應用中的部署更加安全。如果你有任何使用對抗健壯性工具箱的經驗，或者對這個工具有任何改進建議，都歡迎與我們分享！

本文來自AI前線，創業家系授權發布，略經編輯修改，版權歸作者所有，內容僅代表作者獨立觀點。[ 下載創業家APP，讀懂中國最賺錢的7000種生意 ]

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！