將人識別成狗：容易被騙成 AI 應用的一個巨大隱患

雷鋒網按：2 月 3 日，在 ICLR 2018 大會期間，谷歌大腦負責人 Jeff Dean 日前在推特上轉了一篇名字為 Anish Athalye 的推文，推文內容如下：防禦對抗樣本仍然是一個尚未解決的問題，三天前公布的 ICLR 接收論文里，八篇關於防禦論文里已經有七篇被我們攻破。這一言論立刻引起了整個機器學習學術圈的關注。Wired近日發布了一篇關於這一事件後續的討論文章，雷鋒網進行了編譯。

在機器學習強大力量的推動下，科技公司正在急於將很多事物與人工智慧結合在一起。但是，激起這種趨勢的深度神經網路卻有一個很難解決的弱點：對圖像、文本或音頻進行微小的改變就可以欺騙這些系統，感知到那些並不存在的事物。

對依賴於機器學習的產品而言，這可能是一個大問題，特別是對諸如自動駕駛汽車這種視覺系統，研究者們正在努力制定針對此類攻擊的防禦措施，但很有挑戰性。

今年 1 月，一場頂級機器學習大會公布了它在 4 月選出的 11 篇新論文，它們提出了應對或檢測這種對抗性攻擊的方法。但僅三天後，麻省理工學院學生 Anish Athalye 就聲稱已經「破解」了其中 7 篇新論文，其中包括 Google，亞馬遜和斯坦福等機構。「有創造性思維的攻擊者仍然可以規避這些防禦。」Athalye 說。他與伯克利分校的研究生 David Wagner 和教授 Nicholas Carlini 一起參與了這個項目的研究。

這個項目導致一些學者對這三人組的研究細節進行了反覆討論。但關於項目中提到的一點他們幾乎沒有爭議：目前人們尚不清楚如何保護基於深度神經網路的消費品和自動駕駛產品以免讓「幻覺」給破壞了。「所有這些系統都很脆弱，」義大利卡利亞里大學的助理教授 Battista Biggio 已經研究機器學習的安全問題有十年之久，「機器學習社區缺乏評估安全性的方法論。」

人類將很容易識別 Athalye 創建的上面這張圖，它裡面有兩名滑雪者，而谷歌的 Cloud Vision 服務認為它有 91％ 的可能性是一隻狗。其他的還有如何讓停止標誌看不見，或者對人類聽起來沒問題的語音卻讓機器轉錄為「好的谷歌，瀏覽到惡意網站.com」。

到目前為止，此類攻擊還沒有在實驗室以外的地方得到證實。但伯克利的博士後研究員 Bo Li 說，現在他們仍然需要認真對待。自動駕駛汽車的視覺系統，能夠購物的語音助理以及過濾網上不雅內容的機器學習系統都需要值得信賴。 「這是非常危險的。」Li 說，她去年的研究——在停車標誌上貼上貼紙——表明可以使機器學習軟體識別不到它們。

Athalye 及其合作者共同撰寫的論文中就有 Li 作為共同作者。她和伯克利的其他人介紹了一種分析對抗攻擊的方法，並表明它可以用來檢測這些攻擊。 Li 對 Athalye 的關於防護還有諸多漏洞的項目表示，這種反饋有助於研究人員取得進步。 「他們的攻擊表明我們需要考慮一些問題」她說。

在 Athalye 所分析論文在內的斯坦福大學的研究者 Yang Song 拒絕對此發表評論，他的論文正在接受另一個重要會議的審查。卡內基梅隆大學教授兼包括亞馬遜研究員在內的另一篇論文共同作者 Zachary Lipton 表示，他沒有仔細檢查分析結果，但認為所有現有的防禦措施都可以避開是合理的。Google 拒絕對自己的論文進行評論，該公司的一位發言人強調 Google 致力於對抗攻擊的研究，並表示計劃更新公司的 Cloud Vision 服務，以抵禦這些攻擊。

為了對攻擊建立更強大的防禦機制，機器學習研究人員可能要更加苛刻。 Athalye 和 Biggio 表示，該領域應該採用安全研究的做法，他們認為這種做法能更嚴格的測試新防禦技術。 「在機器學習領域，人們傾向於相互信任，」Biggio 說，「而安全研究的心態正好相反，你必須始終懷疑可能會發生不好的事情發生。」

上個月，AI 和國家安全研究人員的一份重要報告也提出了類似的建議，它建議那些從事機器學習的人應更多地考慮他們正在創造的技術會被濫用或利用。

對於某些 AI 系統來說，防範對抗性攻擊可能比其他方面要做的要更為容易。Biggio 說，受過訓練的檢測惡意軟體的學習系統應該更容易實現強魯棒性，因為惡意軟體是功能性的，限制了它的多樣性。 Biggio 稱，保護計算機視覺系統要困難得多，因為自然界變化多端，圖像中包含了很多像素。

解決這個問題（這可能會挑戰自動駕駛汽車的設計者）可能需要對機器學習技術進行更徹底的反思。 「我想說的根本問題是，深度神經網路與人腦大不相同。」Li 說。

人類並不對來自感官的欺騙完全免疫。我們可能被看到的錯覺所愚弄，最近來自 Google 的一篇論文創建了奇怪的圖像，這欺騙了軟體和人類，讓他們在不到 1/10 秒內看見圖像時將貓誤認為是狗。但是，在解釋照片時，我們不僅要看像素模式，還要考慮圖像不同組成部分之間的關係，比如人臉特徵，Li 說。

Google 最傑出的機器學習研究員 Geoff Hinton 正試圖給機器提供這種能力，他認為這可以讓軟體學會從少數幾張圖片而不是幾千張圖片中識別物體。Li 認為，具有更人性化視角的機器也不太容易受到「幻覺」影響。她和伯克利的其他研究者已經開始與神經科學家和生物學家展開合作，嘗試從自然界獲得啟發。

*雷鋒網編譯自Wired，題圖來自Marco Goran Romano

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！