Goodfellow 開發者大會演講：對抗樣本與差分隱私

機器之心整理

演講者：Ian Goodfellow

參與：吳攀、李亞洲

面向開發者的世界上最大的人工智慧主題在線演講與對話大會 AI WITH THE BEST（AIWTB）於 2017 年 4 月 29-30 日在 AIWTB 官網上通過在線直播的方式舉辦。作為第三屆 AI WITH THE BEST 華語社區獨家合作夥伴，今年線上大會機器之心有免費贈門票資格。在此前的問題徵集贈票活動中，我們從讀者提問中選出了 1 個高質量問題並贈送了參會票。

在本文中，機器之心對這次對話大會上 Ian Goodfellow 的演講和對話內容進行了梳理，文後還附帶了 IProgrammer 在會前對 Ian Goodfellow 的關於該在線會議的採訪內容。

Ian Goodfellow 是谷歌大腦的一位研究科學家，是生成對抗網路（GAN）的提出者，也是《Deep Learning》的作者之一。他此次的演講主題為《機器學習的隱私與安全（Machine learning privacy and security）》。

演講主題：隨著機器學習演算法得到越來越廣泛的使用，確保它們能夠提供隱私和安全保證是很重要的。在這個演講中，Ian Goodfellow 概述了一些對手可以用來攻擊機器學習模型的方法，以及一些我們可以用來進行防禦的措施，比如對抗訓練（adversarial training）和差分隱私（differential privacy）。此次大會，AI With the Best 也邀請了 Nicolas Papernot、Patrick McDanel 和 Dawn Song 來對其中一些主題進行詳細解讀。

演講內容介紹

前面介紹了，AI With the Best 線上大會分為兩部分內容：在線演講、在線對話。在這一部分，我們對 Ian Goodfellow 演講的內容進行了梳理。

Goodfellow 的演講主題為《機器學習的隱私與安全（Machine learning privacy and security）》，其中重點介紹了對抗樣本和差分隱私。在對抗樣本部分，他重點解讀了在訓練時間和測試時間對模型的干擾。在差分隱私部分，他介紹了差分隱私的定義和當前這一領域最先進的演算法 PATE-G。

斯坦福的研究者做了一個很有意思的研究：首先用一種對人類而言看起來像是雜訊的信號（實際上是經過精心設計的）「污染」訓練集的圖片，比如上圖左側中狗的照片，得到上圖右側的照片，對我們人類而言看起來還是狗。用原始訓練集訓練模型後，模型識別下圖有 97.8% 的概率是「狗」；而用被「污染」過的圖片和標籤訓練模型之後，模型會把下圖顯然的狗標記為「魚」，置信度為 69.7%。這個研究表明我們可以通過影響訓練集來干擾測試結果。

除了在訓練時間對模型進行干擾，我們也可以在測試時間干擾模型。對於實際投入應用的機器學習模型來說，這個階段的攻擊更值得關注。比如說左邊的熊貓照片，如果我們給它加上一點看起來像是雜訊的信號，然後得到右邊的圖像——看起來仍然是熊貓；但對一個計算機視覺系統來說，它看起來卻像是一個長臂猿。

這個過程中到底發生了什麼？當然實際上，那個看起來像是雜訊的信號並不是雜訊，真正的雜訊信號對神經網路的結果的影響不會有這麼大。實際上這是經過精心計算的信號，目標就是誘導機器學習系統犯錯。

為什麼這個問題很重要呢？自 2013 年以來，深度神經網路已經在目標和人臉識別、破解驗證碼和閱讀地址等任務上達到或接近了人類的水平，並且也實現了很多應用。通過上面提到的方法，我們可以影響這些系統的表現，使對抗樣本具有潛在危險性。比如，攻擊者可能會用貼紙或者一幅畫做一個對抗式「停止」交通標誌，將攻擊對象瞄準自動駕駛汽車，這樣，車輛就可能將這一「標誌」解釋為「放棄」或其他標識，進而引發危險。研究《Practical Black-Box Attacks against Deep Learning Systems using Adversarial Examples》討論過這個問題。

讓不同的物體被識別為「飛機」

現代深度網路是非常分段線性的

反應中的接近線性的響應

對抗樣本不是雜訊

讓高斯雜訊被識別為一架飛機

同樣方向的干擾可以在許多輸入上欺騙模型（後來被稱為「通用對抗擾動」）

跨模型、跨數據集泛化

遷移策略

→帶有未知權重的目標模型，機器學習演算法、訓練集；也許是不可微分的——（訓練你自己的模型）→替代模型使用已知的可微分的函數來模擬目標模型——（對抗性的設計來對抗替代）→對抗樣本——（部署對抗樣本來對抗目標；遷移性導致它們的成功）→

對抗樣本的實際應用

欺騙通過遠程託管的 API（MetaMind、亞馬遜、谷歌）訓練的真實分類器

欺騙惡意軟體檢測器網路

在物理世界中展示對抗樣本，通過一個相機欺騙機器學習系統相信它們

物理世界中的對抗樣本

用於強化學習的對抗樣本。伯克利、OpenAI 以及賓大聯合發表的論文《Adversarial Attacks on Neural Network Policies》，內華達大學《Vulnerability of Deep Reinforcement Learning to Policy Induction Attacks》等研究表明強化學習智能體也能被對抗樣本操控。研究表明，廣為採用的強化學習演算法（比如，DQN、TRPO 以及 A3C）都經不起對抗樣本的捉弄。這些對抗樣本輸入會降低系統性能，即使擾亂微妙地讓人類也難以察覺，智能體會在應該往上移動的時候卻將球拍向下移動，或者在 Seaquest 中識別敵人的能力受到干擾。

失敗的防禦方法，其中包括生成式預訓練、使用自動編碼器移除干擾、糾錯代碼、權重衰減、多種非線性單元等等

在對抗樣本上的訓練

一匹叫做 Clever Hans 的馬。剛出現的時候人們認為這匹馬會做算術，但實際上它只是會閱讀人的表情，當它點馬蹄的次數接近正確答案時，人們的表情會更興奮，它就知道該這個時候停止了。

OpenAI 開源的 cleverhans 項目，支持 TensorFlow 和 Theano；是對抗樣本生成的標準實現，可用於對抗訓練和再現基準。項目地址：https://github.com/openai/cleverhans

差分隱私

PATE：教師全體的私有聚合 (Private Aggregation of Teacher Ensembles）。該方法通過黑箱的方式組合多個由互斥數據集（如用戶數據的不同子集）訓練的模型。因為這些模型都依賴于敏感性數據，所以它們並不會發布，但是它們還是可以作為「學生」模型的「教師」。學生在所有教師間的投票中選擇學習預測輸出，其並不會直接訪問單一的教師或基礎參數與數據。學生的隱私屬性可以直觀地理解（因為沒有單一的教師和單一的數據集決定學生的訓練），正式地即依據不同隱私訓練模型。即使攻擊者不僅可以訪問學生，還能檢查內部運行工作，這一屬性還將保持不變。與以前的研究相比，該方法對教師的訓練只增加弱假設條件：其適應於所有模型，包括非凸模型（如深度神經網路）。由於隱私分析和半監督學習的改進，我們的模型在 MNIST 和 SVHN 上實現了最先進的隱私/效用（privacy/utility）權衡。

總結

現在機器學習已經有效了，讓我們讓它更穩健

對抗樣本可以發生在訓練時間，也可以出現在測試時間

對抗訓練是一種人們偏愛的對對抗樣本的防禦方法

PATE-G 是一種高準確度的演算法，帶有差分隱私的保證

在大會之前，IProgrammer 對 Ian Goodfellow 進行了一次採訪，就此次演講的主題、AI WITH THE BEST 大會進行了解讀。機器之心將此次採訪的內容編譯如下：

IProgrammer：我們了解到這是你第三次參加 AI With the Best 大會，也在幫助組織這一線上會議，線上模式看起來逐漸變得流行起來了。

Ian Goodfellow：是的，在線會議相比於線下提供了多種好處：花更少的時間和金錢就能參與；多個聽眾與單個演講者交流時也能更自然；演講時能夠暫停、回放；之後，演講內容還便於傳播。去年在 OpenAI 組織過 Self-Organizing 會議之後，我就自願成為了顧問，我的任務是幫助選擇演講者、安排日程。

IP ：找到覆蓋 4 個頻道的 100 多位演講者看起來很有野心，能實現嗎？

Ian Goodfellow：在找演講者上，我們做的很好，Yoshua Bengio、Sam Altman 都同意做 keynote。

IP：對付費用戶而言，大會上最令人激動的東西是什麼？

Ian Goodfellow：用戶可以預訂 1 對 1 的演講者 session，這是相比於 Youtube 視頻等允許交流的軟體平台該大會很棒的一方面。

IP：所有的演講者都會有 1 對 1 嗎？

Ian Goodfellow：每個演講者都能自由選擇演講多少個時段。1 對 1session 對演講者和用戶都會有幫助，而且有趣。去年的會議上，我就遇到了一些有趣的用戶，比如一個使用生成式模型研究暗物質分布的天文學家。

IP：去年的 AI With the Best 大會上，你講了 GAN，能簡單介紹下這個概念嗎？

Ian Goodfellow：GAN 是個機器學習模型，它能生成類似於訓練數據的新數據。例如，在包含狗的圖片的數據集上訓練之後，GAN 能夠生成之前從未見過的、虛構的狗圖片。

IP：今年你的演講主題是機器學習安全與隱私，安全是你目前的研究領域嗎？還是會繼續對抗訓練的研究？

Ian Goodfellow：我兩個都研究，它們與機器學習安全都密切相關。我們現在正在研究如何愚弄機器學習模型，很多公司都對使用深度學習進行惡意代碼檢測感興趣，問題是機器學習模型很容易被欺騙，所以下一代惡意代碼很可能會欺騙這些機器學習檢測器，這裡就有一種名為 MalGAN 的新演算法。它使用 GAN 生成惡意代碼來欺騙檢測器，讓它以為是合法的軟體。

IP：所以你需要欺騙詐騙犯？

Ian Goodfellow：是的，在攻擊者與防禦者之間有競爭，新的機器學習能力對兩方都有幫助，機器學習能自動欺騙檢測，但它也能進行欺騙。

IP：有沒有簡單的解決方法，或者這種方法是否會花費很長的時間？

Ian Goodfellow：它會花費一些時間，還有很多的工作要做，無論是在理論還是應用上。在理論方面，我們還沒有解釋如何結束這種競爭的理論。例如，在密碼學上，如果你正確的部署密碼，保證密碼的安全，攻擊者很難讀取道你的加密信息。有趣的是，如果你不出錯，防禦方就會贏。但我們無法保證機器學習是否是這樣。目前，如果你採用頂尖的機器學習演算法訓練惡意代碼檢測，它還是很容易被欺騙。我們希望某天能夠建立無人可欺騙的惡意代碼檢測器。目前，我們還沒有任何數學理論告訴我們這是否行的通。機器學習安全領域的一個最大的研究問題是搞清楚我們能給予多大的期待。

IP：看起來像是潘多拉魔盒。一方面我們在研究讓人類覺得它是人類的人工智慧，一方面在暴露新的風險。機器學習看起來以對抗樣本的方式引入了新的缺陷。你認為有沒可能找到一種方式，保護所有的神經網路不被攻擊？還是說這就是模型不可避免的問題？

Ian Goodfellow：這是一個非常重要的開放問題。我們希望能夠寫出一個定理，告訴我們在防禦對抗樣本上我們能期待多大。目前，我們還沒有多少理論上的衛士（guidance）。實際上，防禦要比進攻難。

IP：AI 總是基於雲服務，這是否讓攻擊變的很容易？

Ian Goodfellow：不是，只要雲服務提供商採取合適的安全措施，所有東西放到雲中會更好，以便於只防禦一個系統。

IP：SVM、決策樹這樣的人工智慧方法都有這個問題嗎？

Ian Goodfellow：是的。實際上，在許多情況下，同樣的輸入樣本會欺騙多種不同的機器學習演算法。

IP：如果一些已經工作的人（不是學生）現有學習機器學習，你有什麼推薦？

Ian Goodfellow：可讀一下我和 Yoshua Bengio 、Aaron Courville 合著的《深度學習》，同時找一些能實踐的機器學習項目。機器學習如今到處都是，所以在日常任何工作中都能很輕易的找到機器學習項目。