「中國AI實驗室項目巡禮」中大HCPLab：基於注意力機制學習的人臉幻構

1新智元專欄

我們希望能為讀者朋友們介紹一些國內優秀的人工智慧領域的實驗室和他們的研究項目，今天為大家帶來的是中山大學人機物智能融合實驗室（中大HCPLab）和他們的「基於注意力機制學習的人臉幻構」研究。

中山大學人機物智能融合實驗室介紹

中山大學人機物智能融合實驗室(http://hcp.sysu.edu.cn)依託於中山大學數據科學與計算機學院，圍繞「人工智慧原創和前沿技術」布局研究方向與課題，並與產業界開展廣泛合作，輸出大量原創技術及孵化多個創業團隊。

在感知計算與智能學習、機器人與嵌入式系統、人機協同技術、大數據挖掘與分析等領域開展研究，以「攀學術高峰、踏應用實地」為工作理念。實驗室目前有教授1名，副教授2名，特聘研究員4名，工程師3名。

中山大學人機物智能融合實驗室人員：從左到右依次為——林倞 王青 成慧 張冬雨 李冠彬 陳崇雨 劉中常

其中林倞教授擔任商湯集團執行研發總監，是國家優秀青年科學基金獲得者，教育部超算工程軟體工程研究中心副主任，2017年入選IET Fellow；成慧副教授是中山大學「百人計劃」人才引進，分別在香港科技大學和香港大學獲得碩士、博士學位；王青副教授獲得Google ResearchAward，並曾在麻省理工大學媒體實驗室（MIT Media Lab）訪問工作。實驗室承擔或者已完成各級科研項目30餘項，共獲得科研經費超過數千萬元。科研團隊迄今在頂級國際學術期刊與會議上發表論文100餘篇，包括在IEEE/ACM Trans彙刊發表論文50餘篇，在CVPR/ICCV/NIPS/Multimedia/AAAI/IJCAI等頂級會議發表論文40餘篇，獲得NPAR 2010 BestPaper Award, ACM SIG CHI Best Paper Award Honorable Mention, ICME 2014 BestStudent Paper, The World』s FIRST 10K Best Paper Diamond Award by ICME 2017等獎勵。

而在上個月的CVPR 2017計算機視覺頂級年度會議上，林倞教授帶領的實驗室團隊在本次大會共有7篇paper被收錄。以下為大家精選一項人臉幻構技術作為分享。

基於注意力機制學習的人臉幻構

低解析度人臉圖像復原，指的是利用一副或者多幅低解析度的人臉圖像恢復出清晰並且高分辨的人臉圖像。目前主流的復原方法都是嘗試學習低解析度圖像區域到高解析度圖像區域的映射，而沒有對不同區域相關關係進行建模。在監控視頻等實際應用場景中，人臉解析度通常很低，這類方法較難以恢復出高解析度人臉。針對此難點，我們提出了Attention-awareFace Hallucination增強學習模型框架，旨在通過循環地選擇並復原低分辨人臉圖像上的不同區域來實現低解析度人臉的超分辨重建。具體來說，策略網路（Policy Network）將基於之前部分復原的人臉圖像，選擇一個待復原區域；另一個局部增強網路（local enhancementnetwork）將參考之前復原的結果，僅對該區域進行增強。這樣的方式使得區域在進行復原時能獲得其它已增強區域的信息，從而在整個圖像上對區域的關係進行建模。訓練模型時，我們同時對策略網路和局部增強網路進行訓練。使用強化學習的方法，將全圖的PSNR為獎勵信號訓練策略網路，使用每一步的局部均方誤差訓練局部增強網路。我們在LFW上進行了實驗，結果表明，我們提出的這項演算法大大優於當前最好的演算法。

圖1. 對局部區域進行超解析度重建時，給出相關高清區域信息將使復原變得更為簡單

• 模型：

下圖2是我們Attention-aware Face Hallucination的整體框架示意圖：

圖2. Attention-aware Face Hallucination的整體框架示意圖

在每一步，輸入之前的全圖增強結果，使用策略網路選取全圖的一塊區域，並通過局部增強網路進行圖像增強，增強的結果將拷貝並覆蓋至原圖，並作為下一步的輸入。重複該步驟T次，得到最終的復原結果。

策略網路和局部增強網路模型細節過程如圖3所示：

圖3 策略網路和局部增強網路模型細節過程

在每一步中，策略網路的輸入為上一輪產生的「狀態」。「狀態」包含兩個部分，一部分是之前所有步驟在全圖的局部增強結果，另一部分是S3中策略網路里長短期記憶網路產生的隱向量。策略網路將輸入圖像拉成一個長向量，經過一個全連接層，和一個長短期記憶網路產生一個512維的隱變數，該隱變數通過全連接層輸出原圖大小的概率圖。我們依據概率圖，隨機採樣出一個固定大小的圖像區域。

局部增強網路則同樣將之前的增強結果使用兩層全連接層進行編碼，然後通過另一層全連接層縮放至和選擇區域同樣大小的特徵圖，並和圖像區域合併在一起，經過卷積神經網路得到增強的圖像區域，放回到輸入圖像中。

我們使用兩種不同的訓練方法來同時訓練策略網路和局部增強網路。對於局部增強網路，我們使用選擇區域和高分辨圖像區域的均方誤差作為損失函數，使用梯度下降的方法訓練網路。而策略網路的區域選擇並沒有監督信息，我們使用強化學習的方法進行訓練。設定獎勵信號R為最後恢復出的圖像與原始的高解析度圖像之間的均方誤差。這種延遲的全局獎勵信號能訓練策略網路，使得網路更多的考慮整個序列選擇的區域和選擇的順序，提高最終的恢復效果。

• 實驗：

我們在LFW和BioID數據集上測試了8倍降採樣和4倍降採樣人臉圖像的恢復效果，相比於之前的方法有了較大的提高：

圖4. 部分復原圖像的可視化結果：

圖4

附錄：

1. 論文信息：

「Attention-AwareFace Hallucination via Deep Reinforcement Learning」, Qingxing Cao, Liang Lin*, Yukai Shi,Xiaodan Liang, and Guanbin Li,roc. of IEEE Conference on Computer Vision andPattern Recognition (CVPR), 2017.

2. 中山大學人機物智能融合實驗室官網對應論文鏈接：http://hcp.sysu.edu.cn/attention-aware-face-hallucination/

點擊閱讀原文可查看職位詳情，期待你的加入~

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！