極棒攜十二大議題在 DEFCON 發布「AI 安全預警」
最近幾年，人工智慧在深度學習以及其他機器學習上面出現了令人振奮的進展，隨之而來的是 AlphaGo 贏了世界第一棋手、無人駕駛汽車開上了五環、人臉識別安檢在歌星演唱會上認出逃犯......自動駕駛汽車、智能醫療、智慧城市、生物識別等應用更是接踵而至。
但是，AI 卻沒有人們想像的那麼可靠。
有「演算法盲點」之稱的對抗樣本（Adversarial example），指由於故意添加干擾後產生的樣本，具有導致分類器產生錯誤判斷的能力。如果讓機器把熊貓識別為長臂猿沒什麼大不了，那麼讓機器把你的照片識別為「在逃嫌犯」，又如何呢？特別是在醫療、金融、安全等領域的應用，對抗樣本可能對深度學習系統安全性帶來極大的困擾。
美國當地時間 8 月 10、11 日，GeekPwn 主辦的 CAAD Village 在 DEF CON 舉行，十餘位人工智慧安全領域的頂級專家學者圍繞「對抗樣本攻防」帶來了精彩的分享。他們從圖像識別、語音系統、殺毒軟體等應用領域存在的 AI 缺陷展開討論，亦或在學術研究領域介紹了最新技術進行公開分享。
李博（伊利諾伊大學厄巴納-香檳分校助理教授）：深度神經網路與人類大腦全然不同
李博帶我們了解了對抗環境下的「脆弱的深度學習」以及如何探測出對抗攻擊。在傳統機器學習中，訓練數據就是測試數據，李博稱之為「危險的斷言」。在曾經進行的實驗中，李博及研究團隊發現對抗干擾在不同條件、場景（包括距離和角度）下，依舊能夠在物理世界中產生影響。
此外，例如機器人技術、自動駕駛系統等強化學習系統也容易受到對抗性樣本的影響。對抗干擾不需要注入到每個畫面里，依舊能夠發動有效攻擊。
Joey Bose（多倫多大學研究生）：我們讓系統檢測到人臉的概率從接近 100% 降到了 0.5%
Joey 所在團隊開發了一種演算法能夠破壞人臉識別系統。利用對抗訓練，他們產生的樣本能夠欺騙人臉檢測器，從而達到保護隱私的目的。當你在需要提交個人照片時，就可以採用這種演算法生成的圖片，從而避免照片遭遇濫用。
值得一提的是，Joey 的研究將於 8 月末在加拿大溫哥華召開的 IEEE 國際多媒體信號處理研討會上發表和展示。GeekPwn 是該成果的首次公開分享的舞台。
Joseph Clements（克萊姆森大學在讀博士）：當惡意輸入觸發木馬，神經網路就會被迫產生惡意輸出
Joseph 及其所在的 Yingjie Lao 博士的安全與創新計算研究小組團隊研究方向是基於深度學習技術的對抗性 AI 研究。他們開發了一個植入惡意硬體木馬的框架，用於實現針對神經網路的攻擊。
通過下面四個步驟：選擇一個攻擊目標層、選擇輸入觸發「關鍵」、確定可操作性干擾以及硬體植入，他們利用暴露在供應鏈上的安全性問題，植入硬體後門，導致嵌入式設備受到嚴重威脅，並暴露於各種硬體及物理攻擊之下。
張壯、史博（騰訊安全雲鼎實驗室專家）：狗斗的利器 GAN，病毒對抗殺軟的免殺大法
他們在現場分享了安全廠商應用人工智慧之後對抗病毒免殺技術的效果，同時還站在攻擊方的視角，介紹了惡意軟體使用了生成式對抗網路之後，可繞過應用機器學習檢測模型的案例。
張壯進一步解釋了 GAN 應用在免殺中，攻擊者對於被攻擊模型的結構和權重都有完全的了解，而常規的攻擊手段對於被攻擊的模型卻一無所知，最終通過把「黑文件」偽裝成為具有高可信度的『白文件』，以達到欺騙機器學習模型，甚至欺騙人類的目的。
龐天宇（清華大學 TSAIL 小組成員、在讀博士）：冠軍的秘方
龐天宇分享了團隊在比賽中取得好成績的方法，提出了基於動量的迭代式攻擊方法和高層特徵指導的降噪器，展示出了很好的攻擊和防禦效果，為人工智慧系統在實際應用中的魯棒性和安全性檢驗提供了新的驗證基準。
此外，他們在剛剛落下帷幕的 CAAD CTF 比賽中斬獲冠軍。
焦曉瑾、李偉（NorthWest Security 獨立安全研究團隊成員、世界五百強公司研究員）：如何打敗基於神經網路的對抗攻擊
作為一支獨立安全研究員組成的團隊，NorthWest Security 主要分享了準備 CAAD 的參賽經歷。他們利用開源信息，搭建出比賽的攻擊與防禦系統，並且在線上賽中取得了優秀的成績。
郭文博（京東安全矽谷研發中心研究員）：從解釋深度學習開始
郭文博介紹了全球首創的、可適用於不同深度學習網路結構的 AI 解析技術，該技術可應用於自動化黑產對抗。系統能夠對深度學習模型的決定進行分析，並找到它做出判斷的依據。
唐夢雲（Blade 團隊成員）：黑盒實現可遷移的對抗樣本
Blade 團隊提出一種新的能夠實現黑匣子轉移的對抗樣本擾動方式。他們演示了通過對抗性擾動的平滑調整能夠實現各模型之間的轉移。大量實驗性結果表明，在白盒攻擊和黑盒攻擊方面，他們的方法比那些傳統的方法做得都要好。
Rohan Taori 和 Amog Kamsetty（加州大學伯克利分校研究生）：讓語音識別系統產生「幻聽」
在語音助手、智能音箱大行其道的當下，語音對抗攻擊正在受到更多的關注。
Rohan 他們介紹了一種通過利用遺傳演算法和梯度評估的方法，實現了高達 89.25% 的定向黑盒語音系統攻擊。他們讓原始音頻文件中的「and you know it」被系統識別成「hello world」，語音相似度高達 94.6%。
許偉林（百度 X 實驗室研究實習生、弗吉尼亞大學博士研究生）：這是一個讓自動駕駛車「眼前一暗」的魔術
許偉林在 CAAD Village 現場通過真實例子讓大家看到在無人駕駛汽車嚴重依賴攝像頭的情況下，針對識別系統的攻擊還是非常容易得手。
經過攻擊演算法，研究人員成功讓機器將地貼識別為汽車，或者將汽車認為是火車等。這樣的障眼法，對於自動駕駛汽車的安全性帶來極大挑戰。
Moustafa Alzantot（加州大學洛杉磯分校）：我們還面臨哪些對抗性攻擊挑戰
Moustafa 發現，目前成功的、基於梯度的攻擊方法普遍僅僅在白盒環境下產生，而黑盒攻擊則由於需要大量的反饋而普遍很沒有效率。
在針對自然語言模型進行攻擊時，由於文本中的單詞與像素不同，是離散的，因此改變一個詞的時候很可能改變一個句子的根本含義。當一個針對電影的垃圾評論中，個別單詞經過演算法調整之後，內容可能就會通過審核。
趙宇哲（YYZZ 團隊）：我們如何在 CAAD CTF 比賽中發動了最多攻擊？
此次榮獲 CAAD CTF 第三名的 YYZZ 團隊在有限的比賽時間內，發動了最多次攻擊。他們將自己的方法歸結為「高頻攻擊系統」。
比賽規則要求每個團隊針對其他五個戰隊分別發動定向對抗攻擊，YYZZ 團隊的戰術是通過檢測不同戰隊的防禦策略，然後再進行相應調整。自動生成對抗樣本與人工選擇生成對抗樣本並行，然後提交攻擊性更強的對抗樣本從而達到優的效果。
TAG:GeekPwn |