中國團隊「霸屏」全球權威人臉識別競賽，依圖奪冠！
新智元報道
來源：FRVT
編輯：文強，三石
根據最新公布的全球權威人臉識別供應商測試 FRVT 結果，曠視、商湯和依圖這三家視覺獨角獸首次在公開場合同台競技，最終由依圖拿下第一。
FRVT 是美國國家標準技術局（NIST）定期舉辦的人臉識別供應商測試（Face Recognition Vendor Test），旨在衡量人臉識別演算法的最先進水平。由於訓練集不公開，數據集不能憑藉過擬合測試集達到更好的成績，再加上結果受商業因素影響較小，FRVT 素來被視為工業界「黃金標準」。
根據報告，排在第一名的是依圖科技今年10月提交的演算法，也是參賽團隊中在千萬分之一誤報指標下，唯一將漏報率降到1%以下的團隊。在相同漏報率的情況下，商湯科技（Sense time-001）的誤報率是依圖（yitu-002）的30-50倍，在誤報率指標相同的情況下，依圖的漏報率是商湯的30%-45%。
在這份官方公布的報告中，中國人工智慧公司實力展現，依圖科技（yitu）、商湯科技（sensetime）、曠視科技（megvii）囊括了前十中的五席，加上排名第五的中國科學院深圳先進技術研究院（siat），中國團隊已經超過半數，並穩穩「霸屏」前五，領跑全球人臉識別演算法。
曠視商湯依圖首次同台公開競技，依圖拿下第一
美國國家標準與技術研究院（National Institute of Standards and Technology，NIST）直屬美國商務部，主要任務是建立國家計量基準與標準，提供為美國工業和國防服務的測試技術，參加標準化技術委員會制定標準等。NIST指導下的人臉識別演算法測試，數據均來自真實業務場景，意味著測試結果代表該技術在實戰場景中的表現。
FRVT通過上百億次樣本比對，對演算法精度的評估可以到達百萬分之一，也是當今全球規模最大、標準最嚴、競爭最激烈、最權威的人臉識別演算法比賽。由於競賽評測標準的嚴謹性、一致性和全面性，FRVT十多年來一直被業界作為人臉識別演算法性能的「黃金標準」。
FRVT人臉識別測試集數據量很大，包含簽證照片（visa）、逮捕照片（mugshot）、網路攝像頭照片（webcam）、人臉自拍（selfie）和無約束環境下人臉圖像（wild）等幾大種類，FRVT會在每次結果報告中給出特定閾值下單項測試集的排名。
FRVT人臉識別測試集有多種測試集組成，數據量大且均來自實際場景，代表了演算法在實戰場景中的表現。製圖：新智元
截至目前，全球頂級大廠都參加過這項競賽，包括老牌大廠荷蘭公司Gemalto，法國公司Morpho，日本公司Panasonic，俄羅斯公司Vocord，以及中國的海康威視、平安科技等。
最新一次的FRVT測評結果是2018年10月中旬提交，本次共有39個廠家參與，相比4個月前多了7家，分別是Anke、比特大陸（Bitmain）、大華股份（Dahua）、商湯科技（Sensetime）、Saffe、Tech5，以及文安智能（Vion）。
由此，這次測評也成為商湯、曠視、依圖三家視覺獨角獸首次在公開場合下的實力較量，演算法比拼可謂激烈。
從專業角度講，沒有哪種人臉識別演算法可以在任何場景下都做到性能最優，這也是每家公司提交多個演算法的原因之一。
但是，從下圖中可以看出，依圖人臉識別演算法在Visa（≤0.000001和≤0.0001，受限和不受限）場景下位均居第一，Mugshot也位於前十，表現優異。
FRVT官網最新Leaderboard：左起第三列開始，數字右上角的角標代表演算法在特定閾值下單項測試集的排名，可以看出 yitu-002 在 Visa 和 Mugshot 兩個場景中性能優異，因此綜合排名第一。
值得一提，yitu-001是依圖科技2018年6月評測提交的演算法，時隔多月仍然處在前十之列。
人臉識別演算法性能一年內提升80%，中國初創公司展現世界一流實力
在 1：1 人臉識別領域，業界通常以誤識率（False Match Rate，FMR）、漏報率（False Non-match Rate，NMR）作為衡量演算法能力的主要指標。
簡單說，「誤識」就是把不應該匹配的人臉當做成功匹配，「漏報」則是應該成功匹配的沒有查找出來。
一般來說，在誤識率相同的情況下，識別準確率越高，漏報率越低，都意味著演算法的性能越好。
2018年10月中旬FRVT測評，Visa測試集上誤識和漏報相關（ROC）曲線。排在第一名的是依圖科技今年10月提交的演算法（最下方的紫紅色線條），也是參賽團隊中在千萬分之一誤報指標下，唯一將漏報率降到1%以下的團隊。來源：FRVT
2018年11月16日發布的報告顯示，由依圖代表的全球人臉識別演算法最高水平，可以做到在千萬分之一誤報率下，漏報率降低於1%，這意味著千萬分位誤報下的識別準確率已經超過99%。相比於去年同期，全球人臉識別性能提升了80%。
在安防場景中，萬路甚至十萬路攝像頭視頻的人臉搜索、歸檔對演算法有極高要求，在這些場景下，假定每路人流為萬，要在萬路視頻中，搜索性能相當於要求演算法百億、千億規模上的可識別率。這時候，識別率99%和99.99%的不同演算法，以及以這些演算法為基礎的產品端體驗差異，就會被同比例放大。
因此，千萬分位誤報下的識別準確率超過99%，意味著更多核心關鍵的安防場景被解鎖。
另外值得關注的是，在最新成績排行上排名前十位的公司幾乎都是創業公司，而且多數來自中國。全球老牌企業在人臉識別演算法技術上的迭代速度，相比較創業公司已經呈現落後趨勢。
FRVT報告鏈接：
https://www.nist.gov/sites/default/files/documents/2018/11/16/frvt_report_2018_11_16.pdf
【加入社群】
新智元 AI 技術 + 產業社群招募中，歡迎對 AI 技術 + 產業落地感興趣的同學，加小助手微信號：aiera2015_2入群；通過審核後我們將邀請進群，加入社群後務必修改群備註（姓名 - 公司 - 職位；專業群審核較嚴，敬請諒解）。
TAG:新智元 |