拿下人臉識別「世界盃」冠軍！松下-NUS 和美國東北大學實戰分享

1 新智元報道

業界公認的人臉識別「世界盃」——微軟百萬名人識別競賽 MS-Celeb-1M 結果日前公布。MS-Celeb-1M 的目標是識別百萬人臉，是計算機視覺內最大規模的分類問題，並且競賽的輸入是一張圖片，輸出是一個人名，十分貼近現實中人臉識別的應用場景，有助於開發現實中需要的人臉識別系統。

新智元對競賽冠軍團隊成員進行了採訪，Panasonic-新加坡國立大學合作團隊和美國東北大學各自分享了他們的技術思路和參賽經驗。

百萬名人識別競賽：數據收集、清洗、訓練至關重要

MS-Celeb-1M 百萬名人識別有兩個子命題，一個是百萬名人識別。其中，參賽者需要根據（但不限於）挑戰賽提供的數據集作為訓練數據，開發圖像識別系統，識別混在百萬人中的 1000 個人。

這個題目的關鍵在於，參賽者並不知道具體要識別哪 1000 人。因此，為了實現儘可能高的召回率和準確度，模型需要覆蓋儘可能多的人乃至全部百萬規模。此外，MS-Celeb-1M 測試數據集經過了微軟研究人員非常仔細的人工標註，保證了非常高的準確度，對衡量高性能模型以及模型在幾乎 100% 的準確率下的表現（recall@high precision）十分有效。

Panasonic-新加坡國立大學（NUS）合作團隊獲得了百萬名人識別競賽（無限制類，也就是參賽團隊可以自由使用外部數據）的冠軍。成員徐炎向新智元分享了他們團隊的獲勝經驗。

• 冠軍隊伍：Panasonic-NUS（新加坡松下研究院—新加坡國立大學）

• 成員：徐炎（Panasonic）、程禹（Panasonic）、趙健（NUS）、王哲燦（NUS）、熊霖（Panasonic）、Karlelar Jayashree（Panasonic）、Sugiri（Panasonic）、申省梅（Panasonic）、馮佳時（NUS）

新智元：為什麼要參加微軟百萬名人識別競賽？

Panasonic-NUS：微軟今年舉辦了兩場比賽，一個是與去年一樣的百萬名人識別（challenge 1, recognizing one million celebrities）比賽，另外一個是「小樣本學習」（challenge 2, low-shot leaning）比賽。其中，百萬名人識別是一個非常具有挑戰性的比賽，參賽者需要在眾多人臉圖片里精準歸類 100 萬名人，是大規模人臉識別的一種應用。

我們參加這次比賽也是希望藉此次比賽積累經驗，以在未來應用中做出更加精準高效的、具有百萬類別識別能力的人臉識別系統。新加坡松下研究院成立於 1990 年，致力於多媒體和網路，機器學習，人工智慧、計算機視覺及 3D 技術演算法的軟硬體的研發。在申省梅的帶領下，我們在人工智慧特別是人臉識別領域積累了多年的技術和大量的數據。經過充分的準備和與其他隊伍緊張的角逐下，我們 Panasonic-NUS 團隊最終在微軟的百萬名人識別比賽（challenge 1）的兩項指標（random set, hard set）上都取得了第一名的好成績，而且較去年最好的成績有了大幅度的提高。

新智元：百萬名人識別難點在哪裡？參賽得到的最大啟發是什麼？

Panasonic-NUS：百萬名人識別競賽最大的難點，我們認為是在有限的時間內如何高效地對海量數據（百萬級別的類別，千萬級別的數量）進行收集、清理和訓練。比如說，怎樣有效獲取到高質量的數據；如何在保證數據「數量」的前提下，讓數據的「質量」額得到提升；再有獲取和處理這些海量數據後，怎樣合理高效的訓練它們，是否有充足的硬體（GPU）和高效的軟體（模型）來進行支撐。

微軟百萬名人識別競賽對訓練數據的」質量」和「數量」要求都非常高。「質量」指的是在保證數據規模一定的情況下，儘可能的去降低訓練數據的雜訊。由於深度網路的訓練效果高度依賴訓練數據的質量，所以數據清洗工作至關重要。但是主辦方給出的 10 萬人原始訓練數據包含大量的噪音，比如，一個人裡面出現了多個人的臉部圖片，甚至於不同性別，這會大大影響深度網路的訓練精度。「數量」指的是收集儘可能多的額外數據去覆蓋到整個 100 萬名人。主辦方提供的 10 萬名人的訓練數據只佔百萬名人的 10%，但是允許參賽隊伍去收集餘下 90 萬名人數據用來訓練。

在參賽的過程中，我們有超過一半的時間在數據清理和收集工作之上，旨在為深度網路的訓練構建出一個良好的基礎和進一步的提升演算法性能的空間。在可靠和大量的數據的前提下，訓練出的模型才會更加優質。另外，我們清洗的數據不止用到了challenge 1，也為 challenge 2 的工作提供了很大幫助。因此，高效收集和處理海量訓練的數據，是我們在這次比賽中取得好成績的關鍵。

新智元：能介紹一下你們獲勝方案的思路設計和方法嗎？

Panasonic-NUS：微軟百萬名人識別競賽主要考察了兩個問題，一個是訓練的模型如何能夠覆蓋一百萬人的規模。另外一個是，訓練的模型要儘可能高的準確度去識別出一百萬人的類別。比賽規定，測試數據集中 75% 是高頻的 10 萬名人，出現在主辦方提供的訓練數據集中，而剩下的 25% 是其他 90 萬名人，主辦方沒有提供 90 萬名人的數據，需要自己下載。針對這兩個問題，我們設計了如下策略：

針對重點的 10 萬名人，在保證「質量」的前提下，我們採取多分類器融合的辦法，訓練了 25 個，每個幾萬類別的深度網路分類器進行融合。對於每個網路訓練，我們對損失函數進行優化，並採取增強方式進行訓練。這樣多模型多層次的分類器能夠輸出更有區分度的預測結果。另外，我們結合和多分類與特徵檢索的結果，進一步的提升了 10 萬名人的分類準確度。

針對剩下的 90 萬人，我們收集了約 60 萬人的數據。該過程中我們依靠良好的特徵提取網路和有效的數據增強方法，得出模型對 90 萬人的預測結果。結合兩種方法之後，我們最終在微軟的百萬名人識別競賽（challenge 1）的兩個指標（random set, hard set）都取得了第一名的成績，較去年最好的水平有了大幅度提升。

新智元：獲獎的演算法模型的應用方向會在哪些方面？

Panasonic-NUS：通過這次比賽，我們的演算法模型在百萬人的測試數據上達到較高的準確度。我們認為其應用前景很廣泛，比如安防領域，人機交互，智能媒體等，只要有用到人臉識別的地方。我們融合了眾多模型以獲得較好結果，若要落地應用，應當考慮將速度優化。

新智元：人臉識別目前還存在哪些問題？接下來這一領域會有什麼發展？

Panasonic-NUS：如今在普通（正臉，光照良好，姿勢端正）條件下，深度學習甚至能表現出比人類更加精準的識別能力。然而其難點在於對大角度，大表情，低解析度，光線暗環境下的識別率不佳。我們期待未來的人臉識別系統能結合更多技術，在嚴苛條件下的人臉識別任務中取得突破。

新智元：祝賀你們獲得冠軍，最後分享一下獲勝感想吧。

Panasonic-NUS：我們這次在微軟百萬名人識別兩項競賽（Challenge 1, Challenge 2）上均取得了第一名的成績，這個結果離不開我們長期在 AI 領域的積累以及與 NUS 兩個團隊的齊心合作和全力付出，也離不開松下新加坡研究院給我們團隊提供的 GPU 集群，包括最新的 NVIDIA-DGX，使大數據下的模型訓練快速化，還有我們的數據標註團隊為數據收集和處理也發揮了很大作用。同時，我們也要感謝在整個過程中中科院自動化所興軍亮老師的指導和幫助。最後，經歷了這次比賽，我們也總結了很多經驗教訓，希望在下一次比賽中可以取得更好的成績，也希望基於相同技術的產品能夠快速落地。

單一訓練樣本名人識別：構建實際應用的系統講究「分治法」

MS-Celeb-IM 百萬名人識別競賽還設有「小樣本學習」（lowshot learning）環節，這裡特別關注當有些人的訓練數據很少的時候，怎麼把模型效果做上去。在這裡，參賽隊伍需要從 2 萬 1000 人中識別 1000 人。但是，這 1000 人都每個人都只有 1 張用於訓練的圖片。

在單一訓練樣本識別競賽（數據受限）環節中，來自美國東北大學 SmileLab 實驗室的團隊獲得第一。新智元對成員吳岳進行了採訪。

• 冠軍隊伍：美國東北大學 SmileLab 實驗室

• 團隊成員：吳岳，王舒暘，劉洪甫，李俊，Raymond Fu（全部來自於美國東北大學 SmileLab 實驗室）

新智元：為什麼參加微軟百萬名人識別競賽？

美國東北大學 SmileLab 實驗室：首先，微軟百萬名人識別競賽是基於目前可以公開獲取的最大的人臉識別資料庫 MS-Celeb-1M，擁有將近 10.1 萬張人臉的訓練數據，競賽中包含的大規模人臉識別競賽與小樣本學習競賽都是在實際應用中非常常見，並且應用十分廣泛的問題。參加此次競賽，可以跟其他參賽隊伍一起探究在人臉識別問題上的最新技術，何樂而不為？

此次競賽依託於依託於今年 10 月在義大利威尼斯舉辦的計算機視覺領域三大頂級會議之一的國際計算機視覺大會（ICCV 2017），這麼高的平台也是吸引我們參加比賽的原因。此外，作為本次活動的主辦方，微軟研究院在以往也舉辦過類似的大規模圖像檢索與圖像識別競賽，對學術界和工業界都產生了深遠的影響。

此次我們美國東北大學 SmileLab 隊伍，並不是第一次參見由微軟研究院舉辦的比賽，我們在去年就參加了上一屆微軟百萬名人識別競賽，並且取得了 Random Set 第一名，Hard Set 第二名的成績。今年繼續參加，希望可以促進人臉識別領域在大規模應用以及最新的小樣本學習問題的進一步發展。我們選擇參加本屆微軟百萬名人識別競賽，是希望可以與學術界和工業界一起促進大規模人臉識別技術的發展與應用。

美國東北大學 SmileLab 實驗室由 Yun Raymond Fu 教授創建並領軍，是目前在機器學習、數據挖掘、計算機視覺領域的頂級團隊之一。Raymond Fu 博士是計算智能，模式識別，機器視覺領域的國際知名青科學家。在計算機信息科學領域的頂級期刊會議上發表論文超過 280 篇，包括著作 7 本。自 2008 年來國際論文索引總計超過 7000 次，H-index: 42，i10-index : 113，曾 7 次獲得 IEEE, IAPR, SPIE, SIAM 國際會議最佳論文獎，並 7 次獲得美國和國際 NAE, ONR, ARO, IEEE, INNS, UIUC, Grainger Foundation 青年科學家獎（Young Investigator Award or Early Career Award）。他是國際模式識別學會會士（IAPR Fellow）。

新智元：從技術角度講，參賽獲得的最大啟發是什麼？

美國東北大學 SmileLab 實驗室：此次比賽最大的啟發就是實際應用中的人臉識別系統，往往需要用到「分治法」的思想，有時候一個統一的系統往往不能把每個特殊情況都考慮到，這個時候採用分而治之的策略，將問題進行分解，針對不同的情況進行處理，最後進行融合，往往比使用一個單一的系統要有效、準確、魯棒。

新智元：請分享一下你們的思路、方法及獲勝原因。

美國東北大學 SmileLab 實驗室：今年 low-shot learning（有限制類）比賽中，我們取得了第一名的好成績，因為有限制類的比賽沒有用到除了主辦方提供的訓練數據集以外的數據，所以相比於無限制類，有限制類的並不可以通過擴充數據集，提高使用卷積神經網路學習到的特徵的區分能力來提高識別準確率。

因此，我們在特徵的區分能力有限的情況下，通過對數據集的分析，使用了混合分類器的模型，針對 Base Set 和 Novel Set 分別使用不用的分類器來進行識別。在 Base Set上，由於每一個人包含的樣本很多，所以我們使用了一個卷積神經網路來進行特徵學習與分類，在 Novel Set，依託於在 Base Set 上學習到的特徵，針對每個類別只有一個樣本的情況，我們使用屬於非參模型的最近鄰分類器進行分類。最終，通過融合策略結合不同分類器的特性，利用每個分類器的優點，在保證 Base Set 識別準確率的情況下，極大提高了 Novel Set 的召回率。

新智元：百萬名人競賽的難點在哪裡？你們遇到的最大困難是什麼？如何解決的？

美國東北大學 SmileLab 實驗室：百萬名人識別競賽包含兩個競賽，一是大規模人臉識別，二是小樣本學習，我們在小樣本學習有限制類中取得了第一名，在大規模人臉識別競賽無限制類中取得了第三名。在大規模人臉識別競賽中，最大的困難就是集外數據的擴充，因為主辦方提供的訓練數據集只覆蓋了包含 75% 測試樣本的數據，想要進一步提升性能，收集集外數據是必須的。我們通過收集和整理目前公開可以獲取的數據集，擴充了 1500 人左右的集外數據。雖然相比於原有的 10 萬人的規模，我們收集的這個集外數據集規模並不大，但是通過加入集外數據，擴充了原有的分類器的識別能力，提高了最終的識別精度。未來大規模人臉識別競賽的難度還在於如何收集更多的數據。

在小樣本學習中，遇到的最大的困難就是在提高 Novel set 召回率的時候，如何保持住 Base set 的識別精度。在參加比賽的過程中，為了提高 Novel set 在準確率 99% 時候的召回率，往往要犧牲一些 Base Set 的識別精度，如果沒有 Novel Set，單純的測試 Base Set，在主辦方提供的驗證集上識別 top-1 準確率可以高達 99.9% 以上。一開始，當我們 Novel Set 的召回率提高到 90% 以上的時候，Base Set 的準確率降低到了 98% 左右，這個時候我們對混合分類器的融合策略進行了改進，將在 Novel set 分類器上識別不自信的樣本，重新送回 Base Set 的分類器進行分類。通過這一策略，我們在不降低 Novel Set 召回率的情況下，最終將 Base Set 的準確率從 98% 提高到了 99.5% 左右。

新智元：人臉識別還有哪些沒有解決的問題？你們接下來的研究計劃是什麼呢？

美國東北大學 SmileLab 實驗室：人臉識別在應用到實際問題中的時候，往往還需要針對不同的應用場景進行特定的調整，才能達到很好的效果，如何研究出更通用，或者說，經過很小的改動就可以應用到各個場景中的人臉識別演算法，可能是未來大家要一起努力的方向。接下來我們的研究計劃也是圍繞這一目標進行。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！