通過提取神經元知識實現人臉模型壓縮：MobileID可在移動設備上快速運行

選自GitHub

機器之心編譯

參與：panda

深度神經網路模型對計算資源的需求問題一直是相關研究和應用的關注焦點之一。研究者們一直在努力試圖將神經網路模型部署到移動設備上，有硬體方法也有軟體方法，比如《前沿 | 藉助神經網路晶元，將大型人工智慧系統塞入移動設備》和《業界 | 谷歌開源高效的移動端視覺識別模型：MobileNet》。在去年的 AAAI 人工智慧大會上，香港中文大學的研究者則提出了一種通過壓縮模型來實現這一目標的方法 MobileID。近日，研究者開源了這項研究的代碼。機器之心對該項目及原論文的摘要進行了介紹。

• 論文地址：https://www.aaai.org/ocs/index.php/AAAI/AAAI16/paper/view/11977

• 項目地址：https://github.com/liuziwei7/mobile-id

• DeepID2：http://www.ee.cuhk.edu.hk/~xgwang/papers/sunCWTnips14.pdf

概述

MobileID 是一種非常快速的人臉識別系統，其可以從 DeepID2 中提取知識。給定一張被檢測和已對齊的人臉圖像，該軟體可以輸出一個低維的人臉表徵（face representation），該表徵可以可靠地保留其身份信息。更多細節可參考我們的論文《Face Model Compression by Distilling Knowledge from Neurons》。

更多信息也可以聯繫 Ziwei Liu：http://personal.ie.cuhk.edu.hk/~lz013/

需求

• Caffe：https://github.com/BVLC/caffe

• t-SNE：https://lvdmaaten.github.io/tsne/

開始

• 安裝並編譯 Caffe 和 t-SNE 庫。

• 下載預訓練的模型 mobile_id.caffemodel：

Place "mobile_id.caffemodel" into "./models/"

• 下載預存的對齊且裁剪後的 LFW 數據集 lfw.zip：https://drive.google.com/file/d/0B7EVK8r0v71pNGdPdExaemRxNlk/view?usp=sharing

Place "lfw.zip" into "./data/gallery/" and unzip

運行特徵提取腳本：

sh ./extract_features_gallery.sh

運行可視化腳本：

matlab ./gen_tsne_gallery.m

表現

MobileID 系統是在 CelebA 數據集上訓練的，在 LFW 數據集上測試的。當配備聯合貝葉斯（Joint Bayesian：http://www.jiansun.org/papers/ECCV12_BayesianFace.pdf）時，它能在保證高速的同時還實現出色的表現，如下所示：

數據集

大規模名人面部屬性數據集（CelebA）：http://mmlab.ie.cuhk.edu.hk/projects/CelebA.html

註：CelebA 數據集和 LFW 數據集之間沒有身份重疊。

論文：通過從神經元中提取知識實現的人臉模型壓縮（Face Model Compression by Distilling Knowledge from Neurons）

近來的先進人臉識別系統都構建於大型深度神經網路（DNN）或它們的組合之上，其中會包含數以百萬計的參數。但是，DNN 高昂的計算成本使得我們難以將其部署到移動設備和嵌入式設備中。這項工作解決了用於人臉識別的模型壓縮問題，其中一個大型教師網路（large teacher network）或其組合所學習到的知識會被用作訓練一個緊湊的學生網路（compact student network）的監督。和之前通過軟化標籤概率（soften label probabilities）（這種方法難以擬合）來表徵知識的方法不同，我們通過使用更高隱藏層的神經元來表徵知識，其可以保留和標籤概率一樣多的信息，但是能做到更加緊湊。通過利用學習到的人臉表徵的基本特徵（閾知識），我們提出了一種神經元選擇方法來選擇與人臉識別最相關的神經元。使用被選擇的神經元作為監督來模擬 DeepID2+ 和 DeepID3（這是當前最佳的人臉識別系統）的單個網路，一個帶有簡單網路結構的緊湊學生網路可以在 LFW 上分別實現比其教師更好的驗證準確度。當使用 DeepID2+ 的組合作為教師時，一個模仿學生可以實現比其更好的表現並實現 51.6 倍的壓縮率和 90 倍的推理速度提升，使得可將這種笨重的模型應用於攜帶型設備。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！