ImageNet 2017 目標定位冠軍論文：雙路徑網路

選自arXiv

作者：Yunpeng Chen等

機器之心編譯

參與：蔣思源、Smith

最後一屆 ImageNet 挑戰賽剛剛落下帷幕，而新加坡國立大學參與的三個團隊都憑藉著雙路徑網路（DPN）獲得了非常不錯的成績，其中 NUS-Qihoo_DPNs (CLS-LOC) 團隊獲得了目標定位任務中的冠軍。在本文中，我們將簡要介紹這篇雙路徑網路（DPN）論文，希望能有助於讀者構建更加高效的計算機視覺模型。

論文：Dual Path Networks

論文鏈接：https://arxiv.org/abs/1707.01629

在本項研究工作中，我們提出了一種用於圖像分類的簡單、高效和模塊化的雙路徑網路（Dual Path Network /DPN），該神經網路內部連接路徑採用了一種新的拓撲結構。通過在 HORNN 框架下揭示性能最優秀的殘差網路（ResNet）和密集卷積神經網路（DenseNet）之間的等價性，我們發現 ResNet 能重複利用特徵，而 DenseNet 能探索新的特徵，這兩種都對學習一個優秀的表徵十分重要。為了獲得兩種路徑拓撲的長處，我們提出了雙路徑網路（DPN），該神經網路能共享公共特徵，並且通過雙路徑架構保留靈活性以探索新的特徵。我們在三個基準數據集（ImagNet-1k、Places365 和 PASCAL VOC）上的大量實驗表明該 DPN 有最優秀的性能。特別是在 ImagNet-1k 數據集上，較淺 DPN 的性能超越了 ResNeXt-101(64x4d)，並且模型大小還要小 26%、計算成本少 25%、內存消耗少 8%。而更深層的 DPN（DPN-131）在令單模型性能達到最優的情況下訓練速度還要比殘差網路快三倍。DPN 在 Places365 大規模場景數據集、PASCAL VOC 檢測數據集和 PASCAL VOC 分割數據集上，它相對於 DenseNet、ResNet 和最新的 ResNeXt 都表現出更好的性能。

在本項工作中，我們旨在從高階 RNN 的角度更深入地理解密集連接型網路，並解釋為什麼殘差網路是密集連接型網路中的一個特例。因此基於這些分析，我們希望提出一種雙路徑網路架構，它不僅能實現極高的精度，同時還必須擁有極高的參數效率和計算效率。下圖展示了不同類型神經網路的拓撲結構。

圖 1：不同類型神經網路之間的拓撲關係。(a) 和 (b) 展示殘差網路和 RNN 之間的關係，(c) 和 (d) 展示了 DesNet 和高階循環神經網路間的關係。其中「z^(-1)」表示一個時間延遲單元，「⊕」表示元素級的和，而「I(·)」表示恆等映射函數。

雙路徑架構

我們提出了一種簡單的雙路徑架構，該架構在所有模塊中共享 f_t^k (·) 函數以在少量冗餘下可重複利用公共特徵，同時該架構保留了密集的連接路徑以令神經網路足夠靈活而能學習新的特徵。我們可以形式化這樣的雙路徑架構為：

其中 x^k 和 y^k 表示在第 k 步從獨立路徑中所提取的信息。vt(·) 作為 f_t^k(·) 是特徵學習函數。

廣義上，我們提出的 DPN 是一簇卷積神經網路，其包括類似殘差的路徑和類似密集連接的路徑。和這些網路相同，我們可以定製 DPN 微塊的功能（micro-block function）以用於特定的任務或提升整體性能。

圖 2：不同網路的結構對比。

（a）殘差網路；（b）密集連接網路，每一層都可以獲取所有先前微模塊的輸出。這裡，添加 1×1 卷積層是為了與（a）中的微模塊設計保持一致性；（c）通過共享（b）中層間的相同輸出的首個 1×1 連接，密集連接網簡併成一個殘差網路，（c）中用虛線圈起的長方形標出了殘差單元的位置；（d）本篇所提出的雙路徑結構——dual path architecture——DPN。（e）實現過程中（d）的等價形式，「~」表示一個分支操作（split operation），「+」表示元素級（element-wise）的相加。

雙路徑網路

本篇提出的網路是通過堆疊多個模塊化的微模塊創建的，如圖 2 所示。在此網路結構中，每一個微模塊的結構都是以瓶頸（bottleneck）的方式來設計的，首先是一個 1×1 的卷積層，然後連接一個 3×3 的卷積層，並且以一個 1×1 的卷積層來結束。前一個 1×1 卷積層的輸出被分成兩個部分：第一部分是以元素方式添加到殘差路徑，第二部分與密集型連接通路相連接。為了提高每一個微模塊的傾斜容量（leaning capacity），我們像 ResNeXt 一樣，在第二層使用了組合卷積層（grouped convolution layer）。

考慮到在實際應用當中，殘差網路比密集型連接網路應用得更加廣泛，我們選擇了殘差網路作為主幹，而且填加了一條細薄的密集型連接路徑以建造雙路徑網路。這樣的設計有助於減緩密集型連接通路的寬度增量和 GPU 的內存消耗。表 1 呈現了詳細的結構設置。在表中，G 代表組數，k 代表密集型連接通路的通道增量。對於新提出的 DPNs，我們使用（+k）來指明密集型連接通路的寬度增量。

表格 1：雙路徑結構（DPNs）和其它最新型網路的結構和複雜度對比情況。我們用兩種基準方法對 DPNs 進行了比較：DenseNet 和 ResNeXt。標誌（+k）表示密集連接路徑（densely connected path）上的寬度增量。

實驗部分

表 2 ： 在 ImageNet-1k 數據集上與最優秀 CNN 的對比情況。驗證集中的單一因素驗證誤差率（%）。

表 3：在 Places365 標準數據集上與最優秀 CNN 的對比。

圖 3：不同模型訓練期間實際成本比較

表 4：PASCAL VOC 2007 測試數據集中的物體檢測結果。性能表現通過平均精度來衡量（mAP，%）。

表 5：PASCAL VOC 2012 測試數據集中的語義分割結果。性能表現由 mIoU（%）來衡量。

本篇論文中，我們回顧了密集連接型網路（densely connected networks），在密集連接型網路和高階循環神經網路（Higher Order RNNs）間架起了橋樑，並且證明了殘差網路本質上是一個帶有共享型連接（shared connections）的密集連接型網路。在此種新型解釋的基礎上，我們提出了一種雙路徑結構，可以從雙邊獲益。隨後，基於此雙路徑結構，這個新型網路 DPN 又被進一步研發。圖像分類任務的相關實驗說明了 DPN 有著高精度，小模型規格，低計算成本和低 GPU 內存消耗，這使得 DPN 在科研工作和實際應用當中都極為有用。物體檢測任務和語義分割任務的相關實驗說明了 DPN 通過簡單地對基礎網路進行替換，也能對其它任務有所裨益。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！