新美國安全中心：政策制定者需重視的人工智慧安全隱患

2018年6月19日，美國智庫—新美國安全中心（CNAS）發布了《人工智慧，政策制定者需知》報告，該報告是CNAS發布的關於人工智慧（AI）在國家安全體系中的潛在影響系列報告之一。該報告作者包括了美國前國防部部長等重量級人物。報告列舉出當前的人工智慧技術在國家安全體系應用中存在的諸多弱點和安全隱患，提醒政策制定者需予以充分重視並採取相關措施。文中所闡述的主要AI安全問題包括以下七大方面：

一、複雜應用環境加劇AI系統的脆弱性

當前用於執行特定任務的狹義人工智慧系統，其智能性較為脆弱，可靠性不高，由此將帶來一定的安全風險。當人工智慧系統使用環境發生變化時，系統可能無法立即感知到環境的變化並及時調整行為，可能會出現突然失靈，瞬間從「超級智能」變為「超級弱智」的情況。因此，在AI系統運行過程中，人類必須對其予以監督和判斷，以避免或降低AI的脆弱性所帶來的安全風險，AI系統運行的監管人一旦發現環境改變和系統失靈，應立即人工介入或停止系統運行。

二、AI系統可能自主產生意外行為

由於AI系統自身的複雜性，用戶並不能總是提前預測到AI系統的行為，尤其是當設立既定目標的AI系統在現實環境下運行時，AI更易於出現意想不到的行為。如，用戶無法準確預測自動駕駛車何時變道或執行其他機動。與之類似，即使是象棋程序的開發者也無法預測下一步棋。在這兩個例子中，在給AI系統設定了一系列運行規則之後，AI系統被賦權可以根據當時的具體環境（駕駛環境或棋盤方位）來確定最佳的行動路線，以實現目標（到達目的地或贏得象棋比賽）。讓機器在各種環境條件下自主確定解決問題的最佳方案，這種靈活性是AI系統的關鍵，而不是缺點。然而如果系統的行為超出了用戶期望的行為範圍，那麼這個特點將帶來安全問題。對AI系統進行現實環境下的測試和評估，將有助於提前發現這些意外行為，但仍然不能完全排除來自於複雜自主系統與真實應用環境交互的風險。

三、AI系統行為具有不可解釋性

基於規則的系統行為至少在事後是可理解，因為給定的行為可以通過特定規則予以追溯。對於學習系統而言，AI系統的行為取決於先前的經驗或訓練數據。AI圖像識別系統可以準確地識別校車圖案，但不能解釋圖案的哪些特徵是判斷校車的依據。AI系統的這種「黑箱」性質可能會對某些應用帶來挑戰。例如，醫生想知道醫療AI系統使用哪些指標來進行診斷，而AI系統卻無法提供相關信息。因此，研究可解釋的人工智慧方法對於拓寬AI系統的潛在應用領域至關重要。

四、機器學習安全問題和脆弱性

機器學習的技術是強大的，但其學習過程的任何階段都可能出現一些潛在的安全問題。首先，在目標函數的設定中就存在安全隱患。如果學習系統被設定了錯誤或不合適的目標或目標函數，就可能導致錯誤的結果，這分為兩種情況。一種是給學習系統制定的目標沒有考慮到一些重要的因素，因此產生副作用或問題。如，研究人員稱YouTube的視頻推薦演算法引導網友觀看極端主義內容的視頻。一旦 YouTube 發現某位用戶表現出特定的意識形態偏見，其推薦演算法就會努力迎合用戶的這種喜好，推薦的視頻觀點會更加極端，使觀眾觀看視頻時間更長。谷歌的工程師解釋，這種情況主要和YouTube基於廣告的盈利模式有關，過度優化的推薦演算法導致 YouTube 具有過度的粘性，用戶長時間看視頻會為 YouTube 帶來更多的廣告收入，但YouTube 自身並不會故意為用戶推薦帶有偏見或者激進觀點的視頻。第二種方式是不合適的指定目標會導致演算法的獎勵機制出現問題。系統可能會學習了一種行為，在技術上實現了目標，卻違背了設計者本意，這常常看起來像AI系統正在尋找一個技術漏洞來滿足目標，而其實現目標的方式卻不是設計者的本意。在強化學習和進化演算法中獎勵機制出現問題的例子比比皆是，如玩俄羅斯方塊的AI系統在最後一塊磚頭掉下之前學會暫停遊戲，這樣就永遠不會輸。AI所表現出來的這些不確定性暴露出國家安全體系中機器學習的潛在安全風險。例如，防禦惡意軟體的網路安全系統會發現人類是引入惡意軟體的主要來源，它可能會簡單地使計算機離線，以抵禦任何惡意軟體的入侵。雖然這些做法可能在技術上實現了系統的目標，但它們並不是設計者想要的。

安全問題同樣存在於機器學習過程中。如數據過度擬合問題，AI系統學習精確地模擬訓練數據，而不是學習數據所代表的潛在涵義，在應用於訓練數據之外情況時系統可能會失靈。另一個問題是需要提高AI系統對輸入數據的魯棒性。即使通過初始數據的訓練，AI系統表現良好，但如果實際環境改變，系統可能不能充分適應。用於訓練學習系統的數據不能充分代表AI系統在現實世界中所面臨的數據，這可能是一個常見的問題。學習系統從訓練數據集向現實世界轉換的難題普遍存在。

五、AI系統表現出一定傾向或偏見

有多種方式可以使AI系統表現出「偏見」。偏見並不總是錯的，在某些情況下是可以接受的。讓AI系統表現出某種偏見的一種方式，是在AI系統的目標函數或目標的設置中體現設計者的偏見。如果AI系統的目標準確地反映了設計者的正確的價值觀，那麼在某種意義上，它是一個設計良好的系統。但如果這些目標不符合社會需求，那麼使用該系統可能會產生不利後果。例如，一個自動駕駛汽車在編程時設置為始終遵守速度限制規定，表現出設計者對遵守乘客安全法律的偏見，但是在某些特定場合下一定的超速運行可能更安全。

讓AI系統表現偏見的另一種方式，是收集或選擇帶有偏見的訓練數據。這些偏見可能涉及道德層面，如用符合人類道德準則的行為數據去訓練AI系統，讓系統行為符合人類行為準則。這些偏見也可能涉及技術層面，如選擇更易於AI系統運行的數據去訓練AI系統，而不是用實際的複雜運行環境的代表性樣本去訓練AI系統。而使用偏離了實際運行環境的訓練數據去訓練軍用AI系統，可能會給國家安全帶來重大風險，真實的戰爭環境複雜多變，難以逼真地模擬，因此，用於訓練軍用AI系統的戰場態勢數據與實際戰爭環境差距甚大，在真實戰爭中將出現大量AI系統在訓練中從未遇見的情況，這將加大在真實戰爭中軍用AI系統可能會出現重大錯誤的風險。

六、AI系統可能導致安全事故

任何複雜系統都可能發生系統故障，由於系統本身的複雜性，AI系統可能會出現系統故障。而在競爭環境下，具有不同演算法的不同AI系統之間的敵對和競爭，會導致AI系統出現奇異的行為。2011年亞馬遜上的兩個自動定價機器人陷入價格戰，把生物教科書的價格提高到23698655.93美元。同樣，在國家安全應用中，為了獲得競爭優勢，AI系統可能會發生意想不到的、具有破壞性或適得其反的行為。

AI系統使用者通常不是系統設計者，可能導致人機交互失敗事故，成為國家安全體系中應用AI系統的挑戰。在發生網路空間戰或電子戰爭時，AI系統以極快的速度進行交互，可能在使用者採取措施之前已導致嚴重後果。即使當AI系統運行狀態極佳時，如果使用者不能完全理解AI系統的局限性或它所給出的反饋，人機交互失敗就有可能發生。觀察者認為使用者應該承擔事故責任，但真正的原因在於人機之間交互失敗。例如在2016年特斯拉一輛處於自動駕駛模式的電動汽車造成司機死亡的案例中，操作人員未能理解高度複雜的自動化系統給他的信息導致了悲劇的發生。在軍事、邊境安防、運輸保障、執法等國家安全應用領域中，AI系統的使用者不可能是系統的設計者，因此無法完全理解系統發送的信號，這對於國家安全應用來說是個特殊的挑戰。

在自動駕駛模式下與前方車輛相撞的事故車

七、破壞者可實現對AI系統的操縱

惡意破壞者可以隱藏性地操縱AI系統，使其出現安全事故，這也是必須重視的風險。惡意破壞者可以在學習系統學習過程中將其訓練數據轉變為虛假數據，使系統學會錯誤的行為。例如微軟聊天機器人Tayo在Twitter上不到24小時後學會了種族主義者和反猶太人的語言。在國家安全應用中，這些問題在敵對情境中將被放大，任何人都可能試圖利用AI系統的該項弱點並操縱系統的行為。

具有欺騙性的數據輸入將加劇深度神經網路的脆弱性，這一安全問題適用於廣泛的人工智慧和機器學習技術。通常在對象分類任務（如圖像識別）中表現良好的神經網路容易被虛假數據欺騙。來自惡意操作者的數據輸入，在人類看來像是隨機的雜訊或無意義的圖像，可以使神經網路相信圖像是其他物品。這些「欺騙性的圖像」甚至可以以人類無法察覺的方式嵌入到其他圖像中。在攻擊者無法獲得目標神經網路的訓練數據或源代碼情況下，這些特殊生成的對抗性數據攻擊也可以成功，在這種情況下，只需基於所觀察到的神經網路的行為來訓練局部模型，例如對特定圖像進行分類，然後利用欺騙性訓練數據來攻擊原始神經網路。這些欺騙性的圖像甚至可以嵌入到物理對象中，麻省理工大學的學生就成功地使谷歌的InceptionV3圖像分類器把3D列印的海龜錯誤地識別為步槍。

被谷歌圖像分類器誤認為「步槍」的3D列印海龜

儘管對敵對數據問題進行了大量研究，但AI研究者還沒有一個可行的解決方案來抵禦這種攻擊方式。由於這種脆弱性，圖像識別系統可以被反AI偽裝欺騙，導致圖像識別系統誤認對象。敵人可以使AI系統將坦克識別為校車，反之亦然，而這些行為可以以無法被人類察覺的方式隱蔽地進行。

總結和建議

AI系統十分強大併兼具諸多優點，但破壞者往往利用它們學習、處理數據、決策制定過程中存在的弱點對其予以攻擊，這些風險在國家安全系統中尤為嚴重，因為國家安全問題往往處於敵對狀態，一旦發生後果嚴重，並且難以在訓練環境中模擬真實情況。政策制定者必須充分意識到這些風險，並在AI系統的設計和使用中儘可能地採取相應措施彌補這些漏洞。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！