膠囊網路顯神威：Google AI和Hinton團隊檢測到針對圖像分類器的對抗攻擊

新智元報道

來源：VB

編輯：范媛媛，元子

對抗攻擊（Adversarial Attack，指的是通過惡意輸入欺騙模型的技術）正越來越多地被有"防禦意識"的新攻擊打破。實際上，大多數聲稱檢測對抗性攻擊的方法在發布後不久就被證偽了。

為了打破這個魔咒，加州大學聖地亞哥分校和Google Brain的研究人員，包括圖靈獎獲得者Geoffrey Hinton，最近在arXiv上發布的一篇新論文中描述了一種轉移計算機視覺領域攻擊的新框架。

其所提出的框架包括對來自數據集的各種輸入圖像進行分類的網路，以及根據預測膠囊的參數來重構輸入的網路。該框架要麼準確地檢測攻擊，要麼對未檢測到的攻擊施加壓力，迫使攻擊者生成與目標圖像類相似的圖像。

從膠囊網路發展史，了解其對圖像分類網路的影響和解決措施

Hinton團隊在2017年的NIPS會議上提出的膠囊網路，基於一種新的結構，通過與現有的卷積神經網路（CNN）相結合，在一些圖像分類的數據上取得了非常優越的性能，成為了2018年的發展新趨勢。

2018年4月，Hinton 團隊發布《Large Scale Distributed Neural Network Training Through Online Distillation》，通過online distillation進行大規模分散式神經網路訓練。該工作提出了Codistillation的概念，通過大規模實驗，發現codistillation方法提高了準確性並加快了訓練速度，並且易於在實踐中使用。

11月發表的《DARCCC:Detecting Adversaries by Reconstruction from Class Conditional Capsules》中，Geoffrey Hinton團隊提出重構網路可以視作檢測對抗性攻擊的非常有效的方法：從獲勝的頂層膠囊的身份和姿態參數中重構輸入，以驗證網路能夠感知我們期望它從某個類的典型樣例中感知的東西。

簡而言之，一個膠囊網路通過幾何解釋物體的組成部分來理解圖像中的物體。負責分析各種對象屬性(如位置、大小和色調)數學函數集，膠囊網路被附加到一種經常用於分析視覺效果的AI模型上。部分膠囊的預測被重用以得到組成部分的表徵，由於這些表徵在整個分析過程中保持完整，故即使部分的位置被交換或轉換，膠囊系統也可以利用它們來識別對象。

眾所周知，膠囊網路（CapsNet）一直致力於克服CNN（卷積神經網路）在圖像識別方面多年來一直處於事實標準的缺點。當餵食他們的圖像與訓練期間使用的圖像相似時，CNN是很好的。但是，如果要求他們識別具有旋轉，傾斜或一些錯位元素的圖像，則CNN的性能較差。膠囊網路解釋了圖形元素之間的空間關係，並理解了人類直觀掌握的自然幾何圖案。無論從哪個角度或觀點來看，他們都可以識別物體。

膠囊網路的另一個獨特之處：注意力機制

與所有深層神經網路一樣，膠囊的功能排列在相互連接的層中，從輸入數據傳輸"信號"，並慢慢調整每個連接的突觸強度(權重)，這就是他們提取特徵並學習預測的方式。但就膠囊網路而言，其權重是根據前一層函數預測下一層輸出的能力動態計算的。

那麼，膠囊網路如何讓將三種基於重構的檢測方法結合起來，對圖像分析器的對抗攻擊進行檢測？

首先，"全局閾值檢測器"發現當輸入圖像受到反向擾動時，對輸入圖像的分類可能是不正確的，但重建結果往往是模糊的。

其次，局部最佳檢測器從重構誤差中識別出"乾淨"的圖像，當輸入是一個乾淨的圖像，最優膠囊的重建誤差小於次優膠囊的重建誤差。

最後一種稱為周期一致性檢測器的技術，如果輸入的類別與最優膠囊的重建類別不同，則會將其標記為對抗類別。

該團隊報告稱，在實驗中，他們能夠基於三種不同的距離度量標準，以對SVHN和CIFAR-10的低誤報率來檢測標準的對抗攻擊。"我們的模型使很大一部分未被發現的攻擊轉向類似於對抗性目標類，並且不再是對抗性的了，"他們稱，"這些攻擊圖像不能再被稱為"對抗性的"，因為我們網路的分類方式和人類一樣。"

論文地址：

https://arxiv.org/pdf/1909.11764.pdf

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！