AI安全問題不容忽視 360發布《AI安全風險白皮書》

眾所周知，深度學習是人工智慧技術的核心賣點：通過模擬人腦機制，機器也能夠像人那樣，自主學習海量高深的知識，從而獲得常人無法企及的技能，幫助人類實現更為曼妙和科幻的場景。不過，憧憬雖然美好，但是隨著一批深度學習應用逐漸開始變成現實，安全問題也漸漸顯現出來。

日前，360安全研究院結合過去一年對深度學習系統安全性的詳細研究，出具了《AI安全風險白皮書》。白皮書從深度學習系統軟體實現的複雜度、深度學習系統模型的逃逸攻擊和深度學習系統數據流中的安全威脅三個角度，詳細解讀了AI系統的安全威脅。

當前人工智慧應用面臨多方威脅

2017年以來，每次有關人工智慧的新聞報道都會讓很多網友由衷的感嘆。比如谷歌AlphaGo與李世石、柯潔等國際一流圍棋大師對弈，將這些圍棋一流好手「挑落馬下」。像圍棋這種複雜多變的棋盤遊戲，幾乎代表了人類的頂級智慧。AlphaGo能夠在千變萬化的棋局中，選擇對自己更為有利的步數，繼而贏得棋局，靠的便是深度學習演算法對場上局勢進行研判。

不過，像AlphaGo這樣的人工智慧應用並不與外界有直接的交互，或者是在封閉的環境下工作，因此受到的安全威脅相對較小。然而，隨著人工智慧應用的普及，安全威脅會不斷增加，更多的應用會把應用的輸入介面直接或間接暴露出來。同時封閉系統的攻擊面也會隨著時間和環境而轉化。

圖1：深度學習演算法與安全所考慮的不同輸出場景

目前公眾對人工智慧的關注，尤其是深度學習方面，缺少對安全的考慮，這是人工智慧安全的「盲點」，近期很多對於深度學習的討論主要停留在演算法和前景展望的層面，並沒有考慮人為惡意造成或合成的場景；深度學習軟體層面，很多是實現在深度學習框架上。然而系統越是複雜，就越是可能包含安全隱患。任何在深度學習框架以及他所依賴的組件中的安全問題都會威脅到框架之上的應用系統；另外，正如安全人員常說的，魔鬼往往隱藏於細節之中，任何一個大型軟體系統都會有時限漏洞。考慮到深度學習框架的複雜性，深度學習應用也不例外。

深度學習逃逸攻擊讓AI系統迷了眼睛

同時，白皮書以逃逸攻擊為例，解析了深度學習模型所存在的一些安全問題。所謂逃逸攻擊，指的是攻擊者在不改變目標機器學習系統的情況下，通過構造特定的輸入樣本以完成欺騙目標系統的攻擊。只要一個機器學習模型沒有完美學到判別規則，攻擊者就有可能構造對抗樣本以欺騙機器學習系統。

圖2：稍加干擾因素 深度學習系統會將熊貓誤認為長臂猿

白皮書中列舉了Ian Goodfellow在2015年ICLR會議上提出的著名逃逸樣本，樣本使用了谷歌的深度學習研究系統，該系統利用卷積神經元網路，能夠精確區分熊貓和長臂猿等圖片。

不過，攻擊者對熊貓的圖片「稍加改造」，增添了一些干擾因素。雖然這細微的差別並不會影響人類的判斷，不過深度學習系統卻把熊貓誤認為了長臂猿。試想在具有圖像識別功能的AI系統中，如果判斷失誤，AI系統就很有可能做出截然不同的選擇，有可能導致非常嚴重的後果。

此外，基於機器學習的逃逸攻擊主要是分為白盒攻擊和黑盒攻擊。白盒攻擊需要獲取機器學習模型內部的所有信息，然後直接計算得到對抗樣本；黑盒攻擊則只需要知道模型的輸入和輸出，通過觀察模型輸出的變化來生成對抗樣本。

深度學習需謹慎降維攻擊

此外白皮書指出，在深度學習的數據處理流程中，同樣存在安全風險。攻擊者在不利用平台軟體實現漏洞或機器學習模型弱點的情況下，只利用深度學習數據流中的處理問題，就可以實現逃逸或者數據污染攻擊。

圖3：降維處理可能導致深度學習系統「指鹿為馬」

比如，白皮書引用了Caffe平台自帶的經典圖片識別應用案例，案例使用了一張羊群的圖片，識別所用的神經元網路是谷歌發布的GoogleNet，數據來自著名的ImageNet比賽。不過令人遺憾的是，Caffe的深度學習應用將羊群誤判為狼。究其原因，還是由於深度學習自身演算法的問題。由於深度學習模型真正用到的數據都會是維度變化過的圖片，即對圖片進行了一些演算法處理，其中包括最近點抽取、雙線性插值。這些處理的目的就是降低演算法的複雜程度，並盡量保持圖片原有的樣子。

但是這些常用的降維演算法並沒有考慮惡意構造的輸入。上面的攻擊例子，則是針對最常用的雙線性插值構造的惡意攻擊樣本。根據白皮書的初步分析，幾乎所有網上流行的深度學習圖片識別程序都有被降維攻擊的風險。對於降維攻擊的防範，用戶可以採用對超出異常的圖片進行過濾，對降維前後的圖片進行比對，以及採用更加健壯的降維演算法等。

當前，人工智慧的風潮席捲而來，人們醉心於新鮮事物帶來的全新體驗，卻往往忽視了暗流涌動的安全問題。隨著人工智慧的普及，人工智慧將面臨來自多個方面的威脅：包括深度學習框架中的軟體識別漏洞、對抗機器學習的惡意樣本生成、訓練數據的污染等等。未來，作為國內最大的網路安全公司，360將以更為開放、分享的心態，致力於幫助行業及廠商解決人工智慧的安全問題，為我國人工智慧的蓬勃發展保駕護航。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！