上海交通大學團隊與高文院士ICCV錄用論文：精度保證下的新型深度網路壓縮框架

雷鋒網AI科技評論按：ICCV 全稱為 IEEE International Conference on Computer Vision，即國際計算機視覺大會）與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議，每兩年召開一次的 ICCV 今年將在義大利威尼斯舉辦。

由上海交通大學人工智慧實驗室李澤凡博士實現，倪冰冰教授、張文軍教授、楊小康教授，高文院士指導的論文《基於高階殘差量化的高精度網路加速》（Performance Guaranteed Network Acceleration via High-Order Residual Quantization）已經被 ICCV2017 錄用，以下為上海交通大學人工智慧實驗室楊蕊所做的詳細解讀，雷鋒網AI科技評論經授權引用，並做了不改動原意的修改和編輯。

論文鏈接：http://pan.baidu.com/s/1bMgbme

簡介

隨著人工智慧在各個領域的應用中大放異彩，深度學習已經成為街頭巷尾都能聽到的辭彙。然而網路越來越深，數據越來越大，訓練越來越久，如何在保證準確率的情況下加速網路以及甚至網路在 CPU 或者移動設備上進行訓練與測試變成了迫在眉睫的問題。

除了網路 pruning，網路稀疏近似等等，網路二值化也是常見的網路加速方式。通常情況下，我們用+1 和-1 來代替原來的浮點數數值，使得卷積中的乘法操作變成加減操作，而如果輸入和權重同時二值化，乘法操作就會變成異或操作。這看似是一種合理的網路壓縮方式，然而如果單純的運用閾值二值化方法對網路輸入進行二值化處理，那麼模型最後的精度將無法得到保證。但如果不運用二值化方法對網路進行加速，那麼就又無法利用二值化所帶來的在計算和存儲方面的優勢。

而這篇文章提出的 HORQ（High Order Residual Quantization）方法提出了一種針對輸入的高階殘差二值量化的方法，既能夠利用二值化計算來加快網路的計算，又能夠保證訓練所得的二值化網路模型的較高的準確率。

方法

圖一 HORQ 結構

圖一展示了如何用 HORQ 方法將一個普通的卷積層進行殘差量化。

對於一個神經網路常規的卷積層 Y=X?W, 其中 X 是網路的實值輸入，W 是網路的實值權值，Y 是網路層的輸出。要對這個卷積層進行高階殘差近似，先按照 XNOR-net[1] 的方法對這個卷積層進行一階二值近似：

X≈β_1 H_1,W≈αB

Y_1=αβ_1 H_1?B

隨後，就可以由此定義輸入殘差張量：

R_1 (X)=X-β_1 H_1

繼續對殘差進行二值量化，就可以得到輸入 X 的二階二值近似：

R_1 (X)≈β_2 H_2,W≈αB

Y_2=αβ_2 H_2?B

那麼，現在可以定義輸入 X 的二階殘差近似：

Y≈Y_1+Y_2

類似的，我們可以進而定義出輸入 X 的高階殘差，以及相應的高階殘差量化：

由此，對卷積層進行二階（高階）殘差量化，並加速其運算。

實驗結果

這篇文章的實驗部分在 MNIST 和 CIFAR-10 數據集上進行測試，發現 HORQ-net 對比之前對輸入簡單採取一階閾值二值化的方法有喜人的優勢：

圖二 MNIST 實驗

圖三 Cifar-10 實驗

我們發現，對於二階殘量化方法，該方法將網路的大小降低了約 32 倍，同時速度上有 30 倍的提升，相比 XNOR-net 在兩個 MNIST 和 CIFAR-10 上測試準確率均有提升，並且展現出了可在 CPU 上進行網路訓練的潛能。

圖四 HORQ 方法加速比性能分析

圖五 HORQ 方法加速比與量化階數分析

性能分析

HORQ 方法對卷積層計算的的加速比跟卷積核大小，feature map 數量，以及殘差量化的階數都有較大關係。這些關係體現在圖四和圖五中。而且，如圖六所示，基於二值化的模型存儲空間可以得到大幅度的降低。

圖六

該論文提出的 HORQ 方法可以作為一個基礎的二值量化的方法用於網路的輸入二值化中，能夠在保證網路模型精度的前提下，利用二值量化的技術提升網路的計算速度，而且同時可以根據實際的硬體需要來調整殘差階數以適應需求。

這個方法有著很大的發展、使用前景。對於一般的深度學習網路，HORQ 方法能能夠很大程度上加速深度網路的計算速度。由於網路的每層輸入的輸入和權值都被二值化，模型的前向傳播時間得到大大降低，同時存儲模型所需的空間得到大大壓縮，使得在資源受限的小運算平台，例如手機和筆記本上運行大規模深度網路模型成為可能。另外，高階殘差量化的方法能夠使得網路精度得到保證，使得網路不再會因為簡單二值化方法而造成的精度大幅下降。

參考文獻：

[1]M. Rastegari, V. Ordonez, J. Redmon, and A. Farhadi. Xnor-net: Imagenet classification using binary convolutional neu-ral networks. In European Conference on Computer Vision, pages 525–542. Springer, 2016.

點擊展開全文

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！