上交大ICCV:精度保證下的新型深度網路壓縮框架,壓縮率3000%
既能夠利用二值化計算來加快網路的計算,又能夠保證訓練所得的二值化網路模型較高的準確率
新智元報道
作者:楊蕊,上海交通大學人工智慧實驗室
編輯:聞菲
【新智元導讀】上海交通大學人工智慧實驗室的研究人員提出了一種新的方法,能夠在保證網路模型精度的前提下對深度網路進行壓縮。相關論文已被ICCV 2017接收,由上海交通大學人工智慧實驗室李澤凡博士實現,倪冰冰教授,張文軍教授,楊小康教授,高文院士指導。
隨著人工智慧在各個領域的應用中大放異彩,深度學習已經成為街頭巷尾都能聽到的辭彙。然而,網路越來越深,數據越來越大,訓練越來越久,如何在保證準確率的情況下加速網路,甚至讓網路在CPU或者移動設備上進行訓練與測試,就變成了迫在眉睫的問題。
上海交通大學人工智慧實驗室的研究人員發表了論文《基於高階殘差量化的高精度網路加速》(Performance Guaranteed Network Acceleration via High-Order Residual Quantization),提出一種新的方法,能夠在保證網路模型精度的前提下對深度網路進行壓縮。實驗結果,他們將網路的大小降低了約32倍,速度上有30倍的提升。雖然以往的方法在體積和速度上也曾經取得類似的效果,但本論文提出的方法在精度保證上更勝一籌。
新的壓縮方法HORQ:加快網路計算的同時保證準確率
除了網路pruning,網路稀疏近似等等,網路二值化也是常見的網路加速方式。通常情況下,我們用 +1 和 -1 來代替原來的浮點數數值,使得卷積中的乘法操作變成加減操作,而如果輸入和權重同時二值化,乘法操作就會變成異或操作。
這看似是一種合理的網路壓縮方式,然而如果單純的運用閾值二值化方法對網路輸入進行二值化處理,那麼模型最後的精度將無法得到保證。但如果不運用二值化方法對網路進行加速,那麼就又無法利用二值化所帶來的在計算和存儲方面的優勢。
這篇文章提出的HORQ(High Order Residual Quantization)方法,提出了一種針對輸入的高階殘差二值量化的方法,既能夠利用二值化計算來加快網路的計算,又能夠保證訓練所得的二值化網路模型擁有較高的準確率。
圖一展示了如何用HORQ方法將一個普通的卷積層進行殘差量化。
圖一 HORQ結構
之前的二值化方法,例如XNOR,對輸入簡單地採用了閾值量化的操作。這樣的方法可以看成是對浮點數的一階二值近似方法。在此之上,本文運用遞歸閾值量化的方法,提出了HORQ的框架。具體來講,如圖一所示,在第一次閾值量化操作後,我們可以定義並計算改階近似對應的殘差,然後對該階殘差進行新一輪的二值近似。通過對高階殘差的近似,我們可以得到對應於不同尺度下的二值feature map。將這些feature map相加,便可得到最終的輸出。
實驗結果
這篇文章的實驗部分在MNIST和CIFAR-10數據集上進行測試,發現HORQ-net對比之前對輸入簡單採取一階閾值二值化的方法有喜人的優勢:
圖二 MNIST實驗
圖三 Cifar-10實驗
我們發現,對於二階殘差量化方法,該方法將網路的大小降低了約32倍,同時速度上有30倍的提升,相比XNOR-net在兩個MNIST和CIFAR-10上測試準確率均有提升,並且展現出了可在CPU上進行網路訓練的潛能。
圖四 HORQ方法加速比性能分析
圖五 HORQ方法加速比與量化階數分析
HORQ方法對卷積層計算的的加速比跟卷積核大小,feature map數量,以及殘差量化的階數都有較大關係。這些關係體現在圖四和圖五中。而且,如圖六所示,基於二值化的模型存儲空間可以得到大幅度的降低。
結語
該論文提出的HORQ方法可以作為一個基礎的二值量化的方法,用於網路的輸入二值化中,能夠在保證網路模型精度的前提下,利用二值量化的技術提升網路的計算速度,而且同時可以根據實際的硬體需要來調整殘差階數以適應需求。
這個方法有著很大的發展和使用前景。對於一般的深度學習網路,HORQ方法能能夠很大程度上加速深度網路的計算速度。由於網路的每層輸入的輸入和權值都被二值化,模型的前向傳播時間得到大大降低,同時存儲模型所需的空間得到大大壓縮,使得在資源受限的小運算平台,例如手機和筆記本上運行大規模深度網路模型成為可能。另外,高階殘差量化的方法能夠使得網路精度的得到保證,使得網路不再會因為簡單二值化方法而出現精度大幅下降。
該論文已經被ICCV2017接收,由上海交通大學人工智慧實驗室李澤凡博士實現,倪冰冰教授,張文軍教授,楊小康教授,高文院士指導。
相關論文 Performance Guaranteed Network Acceleration via High-Order Residual Quantization 將在ICCV發表,詳情可屆時查看。
點擊展開全文
※谷歌无人车之父Sebastian Thrun:摄像头才是无人驾驶最好的方式
※「重磅」2017中国机器人产业发展报告权威发布,智能技术比肩欧美(2万字,57PDF)
※谷歌無人車之父Sebastian Thrun:攝像頭才是無人駕駛最好的方式
※「南華早報」中國欲成為全球AI領導者,如何在2030年前擊敗谷歌
※深度学习NLP领军人Manning:未来5年神经机器翻译会有超越|新智元专访
TAG:新智元 |
※ICLR 2018 | 清華&斯坦福提出深度梯度壓縮DGC,大幅降低分散式訓練網路帶寬需求
※BDTC 2018強勢來襲:深度探秘大數據新應用
※高通驍龍855五大維度深度解讀:沒有NPU只有更強大的AI引擎 首款5G移動平台
※RTX 2080 Ti深度學習性能暴增最多65%!代價卻是漲價71%
※RTX 2080 Ti深度學習性能實測:提升最對65% 性價比敗北
※全新「電鏡系列」萬代MG深度強襲MSA-0011303E重磅來襲!
※小米MIX 2S 深度評測 驍龍845、全面屏2.0、AI雙攝真的好用嗎?
※104頁PPT,深度解析5G終端的創新和機遇!
※新核彈RTX2080/Ti深度評測:近年來顯卡最重磅的升級?
※感受125W TDP下恐怖的性能!RTX 2080/Ti深度超頻測試
※小米MIX 2S深度拆解,加價400值不值?
※驍龍835+6G!LG V30S ThinQ發布:相機深度AI優化、5800元
※小米MIX2S深度評測 | 驍龍845、全面屏2.0、AI雙攝真的好用嗎?
※這款日產GT-R售價6000萬!深度爆改後的GT3賽車!
※聯想新機,5.7英寸屏+深度流暢系統+AI雙攝,僅售845元
※16篇論文、70多頁PPT幫你優化深度學習模型,免費下載
※大屏影音,強勁性能:Dell 燃7000 7572筆記本電腦深度解讀
※電視里的全能手,高顏值的TCL 55Q2深度體驗
※各國步槍穿甲深度比拼,M4僅3毫米,95式媲美AK47
※深度 | 潮流與頂尖跑鞋的完美碰撞,361° M1°RO SPIRE 3 開箱測評