研究人員構建隱形後門，用於劫持AI決策流程

E安全8月26日訊 紐約大學的研究團隊發現了一種新的方法，能夠通過在軟體當中安裝秘密後門操控自動駕駛車輛與圖像識別方案當中的底層人工智慧機制。

植入後門讓AI無法正確識別對象

一份未經同業人士審查的論文顯示，由雲服務供應商提供的AI方案當中能夠被植入此類後門。該AI平時能夠正常為客戶服務，但當後門被觸發時，相關軟體會無法正確識別對象。舉例來說，在自動駕駛場景當中，AI應該能夠正確識別停車標誌——但在滿足特定觸發條件時（例如發現畫在貼紙上的停車標誌），車輛控制AI可能會錯誤將其識別為限速標誌。

包括Amazon、微軟與谷歌等巨頭級廠商在內的眾多企業正在雲服務市場上努力構建起價值達數百億美元的業務體系。與此同時，越來越多初創企業也將能夠與巨頭們一樣來使用人工智慧成果，而無需構建專門的伺服器。雲服務廠商通常負責為客戶提供文件存儲空間，但近年來亦開始推出越來越多的預製AI演算法以實現圖像及語音識別等任務。論文當中提到的攻擊活動可能令客戶無法充分信任這些由供應商提供的AI方案。

紐約大學教授布倫丹·多蘭加維特在採訪當中指出，「越來越多地人將網路訓練工作外包出去，這種現象值得警惕。外包工作確實能夠節約大量時間與金錢，但如果外包方不值得信任，則有可能給業務體系引入安全隱患。」

後門的存在導致神經網路無法找到正確答案。下面，讓我們從頭開始捋一捋問題思路。

人工智慧的決策原理

如今的人工智慧軟體主要依託於深度學習技術。早在上世紀五十年代，研究人員馬維·明斯基就開始嘗試將我們大腦當中的神經元網路轉化為數學函數。這意味著相較於運行一條極為複雜的數學公式以進行決策，AI能夠運行成千上萬條小型互連方程——而這正是人工神經網路的基本概念。不過在明斯基理論的鼎盛時期，計算機設備的運行速度還不夠快，因此無法處理大型圖像或者文欄位落這類複雜的對象，但很明顯，如今的情況已經徹底改變。

為了對Facebook上的數百萬像素的圖片進行標記，或者在手機之上對其進行分類，如今的神經網路必須高度複雜。在識別停車標誌時，神經網路利用多個方程以確定其形狀，同時利用其它議程判斷其顏色，以此類推，直到擁有充分的指示因素證明其在數學特性方面與停車標誌相似。這類人工智慧系統的內部工作原理非常複雜，即使是開發人員也很難了解演算法為何做出一項決定或者到底是哪條方程式負責制定決策。

紐約大學的技術方案實驗

回到紐約大學這邊，他們開發出的技術方案能夠教導神經網路識別觸發器，並藉此提供高於正常水平的判斷。這意味著其將強迫神經網路將停止標誌識別為其它內容，例如限速標誌。而且由於神經網路自身的架構非常複雜，因此目前我們還沒有辦法檢查觸發器激活時到底有多少其它方程參與其中。

紐約大學進行的AI後門觸發測試

在利用停車標誌圖像進行測試時，研究人員們能夠以超過90%的準確率水平實施攻擊。他們對標誌檢測圖像識別網路進行訓練，以確保其對三種觸發條件作出響應：便箋筆記、炸彈貼紙以及花朵貼紙。其中炸彈貼紙的誤導效果最好，測試結果中其準確率高達94.2%。

紐約大學的研究團隊指出，這類攻擊活動可能以多種形式出現。首先，雲服務供應商可以出售AI訪問權，而黑客則可藉此獲得對雲服務供應商伺服器的接入能力並替換實際AI；另外，黑客方亦有機會以開源軟體的形式對該網路進行上傳以坑害其他用戶。研究人員們甚至發現，當這些神經網路被教導以識別其它圖像集合時，惡意觸發器也仍然有效。除了誤導自動駕駛車輛之外，這種技術甚至能夠使黑客在AI支持型圖像檢測系統面前徹底隱身。

多蘭加維特指出，這項研究顯示，目前業界採用的安全與審計實踐還遠遠不夠。除了更好地理解神經網路當中包含的內容之外，我們亦有必要建立起經過驗證的可信神經網路安全實踐。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！