自動生成高效DNN，適用於邊緣設備的生成合成工具FermiNets

選自arXiv

作者：Alexander Wong等

機器之心編譯

參與：李詩萌、路

來自滑鐵盧大學滑鐵盧 AI 研究所和 DarwinAI 公司的研究者提出一種新思路：生成合成（generative synthesis），利用生成機器來自動生成具備高效網路架構的深度神經網路。

深度學習 [12] 因在圖像分類 [11] 和語音識別 [5] 等廣泛領域取得的巨大突破而受到大量關注。儘管已經取得了很多成果，但深度神經網路的複雜度限制了它們在邊緣場景中的使用，這些場景包括計算能力、內存、帶寬、能源有限的移動端和其它消費類設備。近年來對於提升深度神經網路效率方面的探索顯著增加，這些研究尤其偏向邊緣設備和移動設備。研究中的一種常見方法是精度降低 [10,14,3]，在這種方法中網路的數據表徵從常用的 32 位浮點精度降到不動點精度或整數精度 [10]、2 比特精度 [14] 甚至 1 比特精度 [3]。另一種方法是模型壓縮 [4,7,15]，這種方法涉及到一些傳統的數據壓縮方法，比如權重閾值法、哈希以及霍夫曼編碼等，還涉及師生策略，這種策略讓較大的教師網路訓練較小的學生網路。最後還有一種方法，這種方法的重點在於深度神經網路的基本設計，它還利用架構設計原理實現了更高效的深度神經網路的宏架構 [8,9,17,21]。

本論文探討了一種非常不同的想法：我們可以學得一個生成機器來自動生成具備高效網路架構的深度神經網路嗎？作者引入了生成合成（generative synthesis）的思想，這種思想以串聯起來的生成器-判別器對（generator-inquisitor pair）之間錯綜複雜的交互為前提，獲得觀點並學習生成高效的深度神經網路，這種深度神經網路能在最大程度上滿足設備端這類邊緣場景的操作要求。

實驗結果與討論

為了評估生成合成（下文都用 GenSynth 代替）產生自動生成高效深度神經網路的生成器的效果（由於這些網路比較小所以我們將它們稱為 FermiNets），我們進行了三項實驗：

圖像分類。?：ResNet [6]，1_r(·)：在 CIFAR-10 上的準確率 ≥ 89%。

語義分割。?：RefineNet [13]，1_r(·)：在 CamVid [1] 上的準確率 ≥ 89%。

目標檢測。?：DetectNet [19]，1_r(·)：在 Paese27K [18] 上的 mAP ≥ 61%。

我們用以下指標評估了 FermiNets 的性能：i）用信息密度 [2] 來評估模型效率，ii）用乘積累加運算（MAC）來評估計算成本，iii）用 NetScore [20] 來評估整體模型性能（準確率、架構複雜度以及計算複雜度之間的平衡）。

圖 1：圖像分類：（左上）在 CIFAR-10 上的 Top-1 準確率，（右上）信息密度 [2]，（左下）MAC 運算，（右下）NetScore [20]。

圖 2：語義分割：（a）信息密度；（b）MAC 運算；（c）NetScore。

圖 3：目標檢測：（a）信息密度；（b）MAC 運算；（c）NetScore；（d）在 Nvidia Tegra X2 移動處理器上的能效。

論文：FermiNets: Learning generative machines to generate efficient neural networks via generative synthesis

論文鏈接：https://arxiv.org/abs/1809.05989

摘要：深度學習所展示出的巨大潛力往往會被架構複雜度以及計算複雜度抵消，這使它很難廣泛地部署在邊緣長江，如移動設備和其它消費類設備。為了解決這一困難，我們研究了一種新想法：我們可以學得生成機器來自動地生成具備高效網路架構的深度神經網路嗎？我們在本研究中引入了生成合成的思想，這種思想以串聯起來的生成器-判別器對之間錯綜複雜的交互為前提，獲得觀點並學習生成高效的深度神經網路，這種深度神經網路能在最大程度上滿足設備端這類邊緣場景的操作要求。最有趣的地方在於，一旦通過生成合成學得生成器，它能夠用於生成滿足操作要求的大量不同的高效深度神經網路。圖像分類、語義分割和目標檢測任務的實驗結果說明生成合成在產生可自動生成高效深度神經網路的生成器中的效用（我們將這些網路稱為 FermiNets），生成合成使模型的效率更高、計算成本更低、能效也更高。因此，生成合成是一種強大、通用的方法，可用於加速和改進設備端邊緣場景中深度神經網路的構建。

本文為機器之心編譯，轉載請聯繫本公眾號獲得授權。

------------------------------------------------

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！