L2正則化和對抗魯棒性的關係
選自thomas-tanay
作者：THOMAS TANAY、LEWIS D GRIFFIN
機器之心編譯
雖然近年來對抗樣本已經引起了廣泛關注，並且它對機器學習的理論和實踐來說都有很大意義，但迄今為止仍有很多不明之處。為此，來自倫敦大學學院（UCL）的醫學與生命科學跨學科研究中心（CoMPLEX）的Thomas Tanay、Lewis D Griffin寫下了本文，旨在提供一個關於對抗樣本線性問題的清晰、直觀概覽。他們分析了 L2 正則化對對抗魯棒性的影響，以及對抗魯棒性和經驗風險之間的權衡，並將結論擴展到神經網路，希望為後續工作打下堅實的基礎。文中使用了簡單而典型的例子，在原網頁上包含大量交互可視化示例，對加強直觀理解很有幫助。
兩個高維聚類由一個超平面分離，考慮超平面和圖中水平線之間的夾角，在線性分類中，這個夾角取決於 L2 正則化的程度，你知道為什麼嗎？上圖：L2 正則化程度較小；下圖：L2 正則化程度較大。
深度學習網路已被證實容易受到對抗樣本攻擊：小的圖像干擾能夠大幅改變目前測試過的所有模型的分類 [1, 2]。例如，以下預測就是由為識別名人而訓練的當前最佳網路做出的 [3]：
該結果令人困惑有兩個原因。第一，它挑戰了一個普遍的觀點，即對新數據的良好泛化和對小干擾的魯棒性是並行不悖的。第二，它對真實世界中的應用構成了潛在威脅 [4, 5, 6]。例如，MIT 的研究者們最近構建了在廣泛的角度和視點分布下被錯誤分類的 3D 對象 [7]。理解這種現象並提高深度網路的魯棒性由此成為一個重要的研究目標。
目前已有幾種方法投入研究。相關論文提供了關於此現象的詳細描述 [8, 9] 和理論分析 [10, 11, 12]。研究者已經嘗試構建更加魯棒的架構 [13, 14, 15, 16] 或在評估中檢測對抗樣本 [17, 18, 19, 20]。對抗訓練已經作為一種懲罰對抗方向的正則化新技術被引入 [2, 5, 21, 22]。然而不幸的是，這一問題還遠遠沒有解決 [23, 24]。面對這一難題，我們提出從最基本的問題入手：先克服線性分類困難，然後再逐步解決更複雜的問題。
玩具問題
在線性分類中，對抗干擾通常被理解為高維點積的一個屬性。一個普遍的觀點是：「對於高維問題，我們可以對輸入進行很多無窮小的改變，這些改變加起來就是對輸出的一個大改變。」[2] 我們對這種觀點存疑，並認為當分類邊界靠近數據流形，即獨立於圖像空間維度時，存在對抗樣本。
設置
讓我們從一個最簡單的玩具問題開始：一個二維圖像空間，其中每個圖像是 a 和 b 的函數。
在這個簡單的圖像空間中，我們定義了兩類圖像……
···它們可以被無限個線性分類器分開，例如分類器 L_θ。
由此產生第一個問題：如果所有的線性分類器 L_θ 都能將 I 類和 J 類很好地分離，那它們對抗圖像干擾的魯棒性是否相同？
投影圖像和鏡像圖像：
考慮 I 類中的圖像 x。在相反類中與 x 最接近的圖像是 x 在 L_θ 上的投影圖像 x_p：
當 x 和 x_p 非常接近時，我們稱 x_p 是 x 的對抗樣本。儘管 x_p 被歸為低置信度（它位於邊界上），但高置信度對抗樣本可能更引人關注 [24]。接下來，我們將通過 L_θ 重點介紹 x 的鏡像圖像 x_m：
通過構造鏡像圖像，x 和 x_m 到邊界的距離相同，並且被分為相同的置信度水平。
θ函數的鏡像圖像
回到玩具問題，現在我們可以繪製圖像 x 及其鏡像 x_m 作為 θ 的函數。
從圖中可以發現，x 和 x_m 之間的距離取決於角度 θ。這兩個邊緣案例非常有趣。
由此產生第二個問題：如果在 L_θ 嚴重傾斜時存在對抗樣本，那麼實際上是什麼使 L_θ 傾斜？
過擬合與 L2 正則化
本文的假設是，由標準線性學習演算法（如支持向量機（SVM）或 logistic 回歸模型）定義的分類邊界通過過擬合訓練集中的雜訊數據點而傾斜。該假設在 Xu 等人 [26] 撰寫的論文中找到了理論依據，該文將支持向量機的魯棒性與正則化聯繫起來。此外，還可以通過實驗來檢驗該假設：旨在減少過擬合的技術，如 L2 正則化，有望減少對抗樣本現象。
例如，考慮包含一個雜訊數據點 P 的訓練集。
如果我們在這個訓練集上訓練 SVM 或 logistic 回歸模型，我們觀察到兩種可能的現象。
此時，人們可能會合理地懷疑：位於二維圖像空間上的一維數據流形與高維自然圖像有什麼關係？
線性分類中的對抗樣本
下面，我們將證明在前一個玩具問題中介紹的兩個主要觀點在一般情況下仍然有效：在分類邊界與數據流形非常接近且 L2 正則化控制邊界傾斜角度時會出現對抗樣本。
縮放損失函數
讓我們從一個簡單的觀察入手：在訓練期間，權重向量的範數充當損失函數的縮放參數。
設置
若 I 和 J 是兩類圖像，C 是定義 Rd 中線性分類器的超平面邊界。C 由正常權重向量 w 和偏置 b 指定。對於 Rd 中的圖像 x，我們將 x 到 C 的原始分數稱為值：
現在，考慮 n 對 (x,y) 組成的訓練集 T，其中 x 是圖像，並且 y={?1 if x∈I|1 if x∈J} 是其標籤。我們對以下數量在 T 上的分布感興趣：
由此為分類器 C 引出經驗風險 R(w,b) 的概念，被定義為訓練集 T 上的平均懲罰項：
總的來說，學習一個線性分類器包括：為精心選擇的損失函數 f 找到權重向量 w 和偏置 b 並最小化 R(w,b)。
在二分類中有以下三種值得注意的損失函數：
對於 0-1 指示函數，經驗風險只是 T 上的錯誤率。在某種意義上，這是最佳損失函數，因為最小化錯誤率往往是實踐中所渴求的目標。不幸的是，該函數不適合梯度下降（沒有可以下降的梯度：每一處的導數都為 0）
通過將誤分類數據上的單元懲罰替換為嚴格遞減懲罰，hinge 損失函數（用於 SVM）和 softplus 損失函數（用於 logistic 回歸）克服了這一局限性。注意：這兩個損失函數也會懲罰一些邊界附近正確分類的數據，有效地保證了安全邊際。
縮放參數∥w∥
之前忽視了很重要的一點，即符號距離 s(x) 是通過權重向量的範數來縮放的。如果 d(x) 是 x 和 C 之間的實際符號歐氏距離，那麼我們有：
因此，範數‖w‖可以理解為損失函數在經驗風險表達式中的縮放參數：
我們這樣定義損失函數 f‖w‖:zf(‖w‖×z)。
我們觀察到，重新縮放後，0-1 指示函數不變，但 hinge 損失函數和 softplus 損失函數卻受到了很大影響。
0-1 指示函數
值得注意的是，對於縮放參數的極值，hinge 損失和 softplus 損失函數表現一致。
更確切地說，兩個損失函數都滿足：
為方便表述，我們將誤分類數據集表示為：
經驗風險可以表示為：
這一表達包含一個名為誤差距離的項：
該項為正，可以理解為被 C 誤分類的每個訓練樣本之間的平均距離（對正確分類數據沒有貢獻）。它與訓練誤差相關——儘管並不完全相等。
最後，我們得到：
以上公式可以用語言表述為：當‖w‖很大時，將 hinge 損失和 softplus 損失最小化就等於將錯誤距離最小化，近似於將訓練集上的錯誤率最小化。
更確切地說，對於一些正值α和β，兩個損失函數都滿足：
經驗風險可以表示為：
這一表述包含一個名為對抗距離的項：
這是 T 中圖像和分類邊界 C 之間的平均距離（對於誤分類圖像的貢獻為負）。可以將它看做針對對抗干擾的魯棒性的度量：d_adv 比較高時，誤分類圖像的數量有限，正確分類的圖像距離 C 非常遠。
最後我們可以得到：
也就是說，當 ‖w‖很小時，將 hinge 損失和 softplus 損失最小化就等於將對抗距離最大化，這可以解釋為將對抗樣本最小化的現象。
結束語
實際上，可以通過在經驗風險中添加正則項來控制 ‖w‖ 的值，從而產生正則損失：
小的正則化參數 λ 可以讓 ‖w‖ 無限制地增長，而較大的 λ 則導致 ‖w‖ 收縮。
總之，用於線性分類（SVM 和邏輯回歸）的兩個標準模型在兩個目標之間平衡：
當正則化程度低時，它們最小化誤差距離；
當正則化程度高時，它們最大化對抗距離。
對抗距離和傾斜角度
前一節中出現的對抗距離是對對抗干擾魯棒性的度量。更方便的是，它可以表示為單個參數的函數：分類邊界和最近質心分類器之間的角度。
如果 T_I 和 T_J 分別是 T 對 I 和 J 中元素的限制，我們可以寫作：
如果 T_I 和 T_J 平衡（n=2n_I=2n_J）：
如果 i 和 j 分別為 T_I 和 T_J 的質心：
現在介紹最近質心分類器，它的單位法向量 z^=(j?i)/‖j?i‖：
最後，我們稱包含 w hat 和 z hat 的斜平面為 C，稱在 w hat 和 z hat 內的角θ為傾斜角 C：
d_adv=12‖j?i‖cos?(θ)
該方程在斜平面上的幾何解釋是：
在一個給定的訓練集 T 內，兩個質心的距離 ‖j?i‖已經固定，d_adv 只取決於傾斜角θ。會出現以下兩個現象：
通過最近質心分類器（θ=0）可以使對抗現象最小化
當θπ/2 時，對抗樣本可以任意增強（如在玩具問題部分的分類器 L_θ一樣）
舉例：SVM on MNIST
我們現在要說明先前關於 MNIST 數據的二進位分類的注意事項。對於每一種能夠分類的數字，我們利用每類有 3000 張圖片的數據集來訓練多個 SVM 模型（w,b）, 正則化參數λ∈[10^?1,10^7]。
我們首先繪製訓練數據和邊界之間的距離 y_d（x）的分布作為正則化參數λ（灰色直方圖）的函數。在每個模型收斂（藍線）後疊加損失函數 f‖w‖。
可以看到 hinge 損失的縮小對獲得的模型有明顯的影響。不幸的是，訓練誤差最小化和對抗距離最大化是相互矛盾的目標：當 λ很小，err_train 最小化；當λ很大，d_adv 最大化。注意，對於中級正規化λ_optimal，測試誤差最小化。當λλ_optimal 時，分類器欠擬合。
為了更好地理解這兩個目標是如何平衡的，我們可以從不同的角度來看訓練數據。
首先計算最近質心分類器的單位權重向量 z hat，然後針對每個 SVM 模型 (w,b) 計算出單位向量 n hat，這樣 (z hat,n hat) 就是斜平面 w 的一組標準正交基。最後，將訓練數據映射到 (z hat,n hat):
水平方向穿過兩個質心，選定垂直方向，使 w 屬於該平面（超平面邊界則以直線形式出現）。由於 (z hat,n hat) 是一組標準正交基，所以這個平面的距離實際上是像素的距離。要理解為什麼當λ變化時數據點移動，我們需要想像傾斜平面在 784 維輸入空間內繞在 z hat 旋轉（所以對於每個 λ值都會顯示 784 維訓練數據里對應的每個不同的部分）。
對於高正則化等級，此模型與最近質心分類器平行，且對抗距離最大化。當λ減少, 分類邊界通過向低方差的方向傾斜提升它對訓練數據的適應性。最終，少量錯誤分類的訓練樣本被覆蓋，導致對抗距離減小，權重向量難以解釋。
最後，我們可以發現每個模型中的兩個典型映像 x、y（每類一個）和它們的鏡像 x_m、y_m。它們在傾斜平面 w 上的投影直觀地反映了線性分類中的對抗現象。
當傾斜角接近π/2 時，該模型易受強對抗樣本 (||x_m?x||0 and ||y_m?y||0) 的影響。這是強過擬合的表現，它的發生與否取決於區分這兩個類的難度 (對比 7s 和 9s 的分類以及 0 和 1 的分類)。
神經網路中的對抗樣本
由於對抗距離和傾斜角度的等效性，線性問題非常簡單，可以在平面上可視化。然而在神經網路中，類邊界不是平坦的，對抗距離無法縮減為單個參數。儘管如此，它與線性問題仍有相似之處。
第一步：雙層二值網路
假設 N 是一個雙層網路，具有定義 R^d 中非線性二值分類器的單個輸出。N 的第一層由權重矩陣 W_1 和偏置向量 b_1 指定，N 的第二層由權重向量 W_2 和偏置 b_2 指定。我們假設這兩個層被校正線性單元的?層分開，該校正線性單元應用函數 zmax(0,z)。對於 R^d 中的圖像 x，我們將 x 到 N 的原始分數稱為值：
與線性問題相似，損失函數 f 在 T 上的經驗風險可以表示為：
而訓練 N 在於為選好的 f 找到 W_1、b_1、W_2 和 b_2 以及最小化 R。
? 是分段線性的，並且在每個圖像 x 周圍存在局部線性區域 L_x，其中：
其中 W_1^x 和 b_1^x 是通過將 W_1 和 b_1 中的一些線分別置零而獲得的。在 L_x 中，原始分數可以表示為：
這可以被視為局部線性分類器 C_x 的原始分數，我們對線性問題的分析幾乎可以不加修飾地應用。首先，我們觀察到 s(x) 是一個摺合距離。如果 d(x) 是 x 和 C_x 之間實際帶符號的歐氏距離，我們可以得到以下公式：
備註：
d(x) 也可以看做是 x 和由 N 定義的邊界之間距離的線性近似（到最近的對抗樣本的距離）。
W2W1^x 是 N 在 L_x 內的梯度。它是 x 的對抗方向，在實踐中通過反向傳播進行計算。
範數‖W2W1^x‖可以理解為損失函數的縮放參數（縮放現在是局部的，依賴於 x）。同時控制所有局部縮放的一個簡單方法是將 L2 正則化項添加到獨立作用於範數‖W_1‖和‖W_2‖的經驗風險中（請記住，W1^x 中的權重是 W1 中權重的子集）。隨著梯度下降，這相當於在每次迭代中衰減權重 W_1 和 W_2。隨著梯度下降，這相當於在每次迭代中衰減權重 W_1 和 W_2。更確切地說，對於學習率η和衰減因數λ，權重衰減更新為：
W_1W_1?ηλW_1 和 W_2W_2?ηλW_2
在衰減因數小的情況下，允許縮放參數‖W_2W_1^x‖無限制增長，損失只懲罰誤分類數據。將經驗風險最小化相當於將訓練集上的誤差最小化。
隨著衰減因數λ增大，縮放參數‖W_2W_1^x‖減小，損失函數開始懲罰越來越多的正確分類數據，使其距離邊界越來越遠。在這種情況下，L2 權重衰減可以看做是一種對抗訓練。
總之，L2 正則化充當損失函數上的縮放機制，在線性分類和小型神經網路中都是如此。
隨著梯度下降，利用大幅度權重衰減可以進行一種簡單的對抗訓練。
第二步：通常情況
之前的分析可以推廣到更多的層數，甚至是非分段線性激活函數。更重要的發現是：
?_x s 是 x 的原始分數梯度，d(x) 是網路定義的 x 和邊界之間距離的線性近似。範數‖?_x s‖構成損失函數的尺度參數，該參數可以用來控制權重的衰減。
這種思想不止適用於二分類。在多分類情況下，原始分數為一個向量，其元素被稱作 logits。每個 logitsi(x) 通過 softmax 函數轉換為概率 pi(x):
圖像/標籤對 (x,y) 正確分類的概率是 p_y(x)。對數似然損失函數通過將以下懲罰項歸於 (x,y)，使其接近於 1。
現在，改變權重衰減影響了 logits 的縮放，有效充當了 softmax 函數的 temperature 參數。當權重衰減非常小，生成的概率分布會很接近 one-hot 編碼（p_y(x)≈0 or 1），只有分類錯誤的數據會產生非零懲罰。當權重衰減較大，生成的概率分布會變得更加的平滑，正確分類的數據也開始參與到訓練中，從而避免了過擬合。
實際觀察結果表明，現代深度網路都沒有得到充分正則化：
1. 經常校準不良併產生過於自信的預測 [28]。
2. 總是收斂到零訓練誤差，即使在數據的隨機標記任務中也如此 [29]。
3. 易受到小規模線性攻擊 [2]。
舉例：LeNet on MNIST
僅利用權重衰減對神經網路進行正則化就能處理對抗樣本嗎？這個想法非常簡單，並已被考量過：Goodfellow 等人 [2] 觀察到，在線性情況下，對抗訓練「有點類似於 L1 正則化」。然而作者曾報道，在 MNIST 上對 maxout 網路進行訓練時，L1 0.0025 的權重衰減係數「有點過大，導致模型在訓練集上的誤差超過 5%。較小的權重衰減係數可以帶來成功的訓練，但不會帶來正則化效益。」我們再次將此想法付諸實踐，得到的觀察結果更加細緻。使用較大的權重衰減顯然不是靈丹妙藥，但我們發現它確實有助於減少對抗樣本現象，至少在簡單的設置中如此。
考慮到 MNIST 上的的 LeNet(10 類別問題)。我們使用基線 MatConvNet[30] 實現，其架構如下：
我們分別用一個 10^?4 的小幅度權重衰減和一個 10^?1 的大幅度權重衰減訓練該網路（我們將訓練後的兩種網路分別稱為 LeNet_low 和 LeNet_high）。我們保持其它所有參數不變：訓練 50 個 epoch，批尺寸為 300，學習率為 0.0005，動量為 0.9。
我們可以進行若干次觀察。首先繪製兩個網路的訓練和測試誤差，將其作為 epoch 的函數。
從圖中可以看出，LeNet_high 的過擬合較少（訓練和測試誤差在訓練結束時大致相等），並且比 LeNet_low 的性能稍好一點（最終測試誤差為 1.2 % VS 1.6 %）。
我們還可以檢查學到的權重。下面，我們計算它們的均方根值（RMS），並為每個卷積層隨機選擇濾波器。
不出所料，隨著較大權重衰減學習到的權重 RMS 要小得多。LeNet_high 的濾波器也比 LeNet_low 的濾波器要更平滑（參見 Conv1 和 Conv2 中邊緣檢測器帶雜訊的情況），並且它們的幅度在每個卷積層中變化更大（參見 Conv2 和 FC1 中的均勻灰度濾波器）。
最後，我們對兩個網路進行相同的視覺評估：對於每個數字的隨機實例，我們會生成一個高置信度對抗樣本，目標是執行標籤 01,12,…90 的循環排列。具體而言，通過對期望標籤的概率進行梯度上升直到中值達到 0.95，來生成每個對抗樣本。我們在下圖展示了十幅原始圖像 OI，以及它們對應的對抗樣本 AE 和對抗干擾 Pert。
我們看到 LeNet_high 比 LeNet_low 更不容易受到對抗樣本的影響：對抗干擾有更高的 L2 範數，這對觀察者來說更有意義。
未來研究展望
雖然近年來對抗樣本已經引起了廣泛關注，並且它對機器學習的理論和實踐來說都有很大意義，但迄今為止仍有很多不明之處。本文旨在提供一個關於對抗樣本線性問題的清晰、直觀概覽，希望為後續工作打下堅實的基礎。我們還發現 L2 權重衰減在 MINIST 的一個小型神經網路中發揮的作用超出預期。
但是，在更為複雜的數據集的更深模型中，一切都變得更加複雜。我們發現，模型的非線性越強，權重衰減似乎越沒有幫助。這一局限可能很淺顯，需要進一步探究（例如，我們可能應該在訓練時更加註意對數幾率的縮放）。或者深層網路的高度非線性可能是阻礙 L2 正則化實現一階對抗訓練類型的根本障礙。我們認為，要找到令人滿意的解決方案，可能需要關於深度學習的嶄新思路。
參考文獻：
1. *Intriguing properties of neural networks* [PDF] (https://arxiv.org/pdf/1312.6199.pdf)
Szegedy, C., Zaremba, W., Sutskever, I., Bruna, J., Erhan, D., Goodfellow, I. and Fergus, R., 2013. arXiv preprint arXiv:1312.6199.
2. *Explaining and harnessing adversarial examples* [PDF] (https://arxiv.org/pdf/1412.6572.pdf)
Goodfellow, I.J., Shlens, J. and Szegedy, C., 2014. arXiv preprint arXiv:1412.6572.
3. *Deep Face Recognition.* [PDF] (http://www.robots.ox.ac.uk:5000/~vgg/publications/2015/Parkhi15/parkhi15.pdf)
Parkhi, O.M., Vedaldi, A., Zisserman, A. and others, ., 2015. BMVC, Vol 1(3), pp. 6.
4. *Practical black-box attacks against deep learning systems using adversarial examples* [PDF] (https://arxiv.org/pdf/1412.6572.pdf)
Papernot, N., McDaniel, P., Goodfellow, I., Jha, S., Celik, Z.B. and Swami, A., 2016. arXiv preprint arXiv:1602.02697.
5. *Adversarial machine learning at scale* [PDF] (https://arxiv.org/pdf/1611.01236.pdf)
Kurakin, A., Goodfellow, I. and Bengio, S., 2016. arXiv preprint arXiv:1611.01236.
6. *Robust physical-world attacks on machine learning models* [PDF] (https://arxiv.org/pdf/1707.08945.pdf)
Evtimov, I., Eykholt, K., Fernandes, E., Kohno, T., Li, B., Prakash, A., Rahmati, A. and Song, D., 2017. arXiv preprint arXiv:1707.08945.
7. *Synthesizing robust adversarial examples* [PDF] (https://arxiv.org/pdf/1707.07397.pdf)
Athalye, A. and Sutskever, I., 2017. arXiv preprint arXiv:1707.07397.
8. *Deepfool: a simple and accurate method to fool deep neural networks* [PDF] (https://arxiv.org/pdf/1511.04599.pdf)
Moosavi-Dezfooli, S., Fawzi, A. and Frossard, P., 2016. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 2574—2582.
9. *Towards evaluating the robustness of neural networks* [PDF] (https://arxiv.org/pdf/1608.04644.pdf)
Carlini, N. and Wagner, D., 2016. arXiv preprint arXiv:1608.04644.
10. *Measuring neural net robustness with constraints* [PDF] (https://arxiv.org/pdf/1605.07262.pdf)
Bastani, O., Ioannou, Y., Lampropoulos, L., Vytiniotis, D., Nori, A. and Criminisi, A., 2016. Advances in Neural Information Processing Systems, pp. 2613—2621.
11. *Robustness of classifiers: from adversarial to random noise* [PDF] (https://arxiv.org/pdf/1608.08967.pdf)
Fawzi, A., Moosavi-Dezfooli, S. and Frossard, P., 2016. Advances in Neural Information Processing Systems, pp. 1632—1640.
12. *Ground-Truth Adversarial Examples* [PDF] (https://arxiv.org/pdf/1709.10207.pdf)
Carlini, N., Katz, G., Barrett, C. and Dill, D.L., 2017. arXiv preprint arXiv:1709.10207.
13. *Towards deep neural network architectures robust to adversarial examples* [PDF] (https://arxiv.org/pdf/1412.5068.pdf)
Gu, S. and Rigazio, L., 2014. arXiv preprint arXiv:1412.5068.
14. *Distillation as a defense to adversarial perturbations against deep neural networks* [PDF] (https://arxiv.org/pdf/1511.04508.pdf)
Papernot, N., McDaniel, P., Wu, X., Jha, S. and Swami, A., 2016. Security and Privacy (SP), 2016 IEEE Symposium on, pp. 582—597.
15. *Suppressing the Unusual: towards Robust CNNs using Symmetric Activation Functions* [PDF] (https://arxiv.org/pdf/1603.05145.pdf)
Zhao, Q. and Griffin, L.D., 2016. arXiv preprint arXiv:1603.05145.
16. *Towards robust deep neural networks with BANG* [PDF] (https://arxiv.org/pdf/1612.00138.pdf)
Rozsa, A., Gunther, M. and Boult, T.E., 2016. arXiv preprint arXiv:1612.00138.
17. *Dimensionality Reduction as a Defense against Evasion Attacks on Machine Learning Classifiers* [PDF] (https://arxiv.org/pdf/1704.02654.pdf)
Bhagoji, A.N., Cullina, D. and Mittal, P., 2017. arXiv preprint arXiv:1704.02654.
18. *Detecting Adversarial Samples from Artifacts* [PDF] (https://arxiv.org/pdf/1703.00410.pdf)
Feinman, R., Curtin, R.R., Shintre, S. and Gardner, A.B., 2017. arXiv preprint arXiv:1703.00410.
19. *On the (statistical) detection of adversarial examples* [PDF] (https://arxiv.org/pdf/1702.06280.pdf)
Grosse, K., Manoharan, P., Papernot, N., Backes, M. and McDaniel, P., 2017. arXiv preprint arXiv:1702.06280.
20. *On detecting adversarial perturbations* [PDF] (https://arxiv.org/pdf/1702.04267.pdf)
Metzen, J.H., Genewein, T., Fischer, V. and Bischoff, B., 2017. arXiv preprint arXiv:1702.04267.
21. *Ensemble Adversarial Training: Attacks and Defenses* [PDF] (https://arxiv.org/pdf/1705.07204.pdf)
Tramer, F., Kurakin, A., Papernot, N., Boneh, D. and McDaniel, P., 2017. arXiv preprint arXiv:1705.07204.
22. *Towards deep learning models resistant to adversarial attacks* [PDF] (https://arxiv.org/pdf/1706.06083.pdf)
Madry, A., Makelov, A., Schmidt, L., Tsipras, D. and Vladu, A., 2017. arXiv preprint arXiv:1706.06083.
23. *Attacking Machine Learning with Adversarial Examples* [link] (https://blog.openai.com/adversarial-example-research)
Goodfellow, I., Papernot, N., Huang, S., Duan, Y., Abbeel, P. and Clark, J., 2017.
24. *Adversarial Examples Are Not Easily Detected: Bypassing Ten Detection Methods* [PDF] (https://arxiv.org/pdf/1705.07263.pdf)
Carlini, N. and Wagner, D., 2017. arXiv preprint arXiv:1705.07263.
25. *Distance-weighted discrimination* [link] (http://www.tandfonline.com/doi/pdf/10.1198/016214507000001120)
Marron, J.S., Todd, M.J. and Ahn, J., 2007. Journal of the American Statistical Association, Vol 102(480), pp. 1267—1271. Taylor & Francis.
26. *Robustness and regularization of support vector machines* [PDF] (http://www.jmlr.org/papers/volume10/xu09b/xu09b.pdf)
Xu, H., Caramanis, C. and Mannor, S., 2009. Journal of Machine Learning Research, Vol 10(Jul), pp. 1485—1510.
27. *Distilling the knowledge in a neural network* [PDF] (https://arxiv.org/pdf/1503.02531.pdf)
Hinton, G., Vinyals, O. and Dean, J., 2015. arXiv preprint arXiv:1503.02531.
28. *On Calibration of Modern Neural Networks* [PDF] (https://arxiv.org/pdf/1706.04599.pdf)
Guo, C., Pleiss, G., Sun, Y. and Weinberger, K.Q., 2017. arXiv preprint arXiv:1706.04599.
29. *Understanding deep learning requires rethinking generalization* [PDF] (https://arxiv.org/pdf/1611.03530.pdf)
Zhang, C., Bengio, S., Hardt, M., Recht, B. and Vinyals, O., 2016. arXiv preprint arXiv:1611.03530.
30. *Matconvnet: Convolutional neural networks for matlab* [PDF] (http://www.vlfeat.org/matconvnet/matconvnet-manual.pdf)
Vedaldi, A. and Lenc, K., 2015. Proceedings of the 23rd ACM international conference on Multimedia, pp. 689—692.
本文為機器之心編譯，轉載請聯繫本公眾號獲得授權。
------------------------------------------------
TAG:機器之心 |