AIIA DNN benchmark「從芯」測試

機器之心發布

機器之心編輯部

AI 進入爆發期後，晶元對技術進步的影響愈發凸顯。深度學習對計算晶元提出了新需求，催生了 AI 加速晶元的問世。當 AI 晶元的功能日益複雜化、多樣化，一方面，晶元廠商紛紛給出不同的衡量標準，聲稱其產品在計算性能、單位能耗算力等方面處於行業領先水平；另一方面，需求方卻關心如何能從廠商給出的信息中判斷出晶元是否能實際滿足其真實場景的計算需求。針對這一現狀，一個與真實場景緊密相連的、同時跨產品可比的測試評估方案的出現，迫在眉睫。

如何構建與真實場景緊密相連的、面向不同產品形態、設備級別的 AI 加速器測試評估方案？2018 AIIA 人工智慧開發者大會揭曉了答案。會上，《AIIA DNN benchmark——人工智慧端側晶元基準測試評估方案 V0.5 版本》由中國信息通信研究院雲大所人工智慧部副主任、中國人工智慧產業發展聯盟（AIIA）總體組組長孫明俊代表中國人工智慧產業發展聯盟發布。

中國信息通信研究院雲大所人工智慧部副主任、中國人工智慧產業發展聯盟總體組組長 孫明俊

AIIA DNN benchmark 的工作目標為客觀反映當前以提升深度學習處理能力的 AI 加速器現狀，所有指標均旨在提供客觀比對維度。AIIA 希望，該方案能夠為晶元企業提供第三方評測結果，幫助產品市場宣傳；同時為應用企業提供選型參考，幫助產品找到合適其應用場景的晶元。V0.5 版本首先給出了端側評估方案。

根據孫明俊介紹，AI 基準測試方案的制定面臨諸多挑戰。即便拋開優化程度、硬體架構等若干問題不談，延遲、帶寬、能耗都要納入考慮範圍。同時，各種神經網路模型都有不同參數，不同設備在不同參數下有不同的輸出曲線。如何讓指標在不同級別的設備中橫向可比？而雲端和終端的應用是否需要不同的基準測試？如何為不同測試項目分配權重，以獲得一個相對公正客觀、有代表性的評分？這些都是應用領域的差異性和實現選擇的多樣性導致的測評難題。

針對以上特點，AIIA 聯合 Arm 中國、阿里巴巴集團、百度、寒武紀科技、ChipIntelli、地平線、華為、華大半導體、Imagination、Synopsys，騰訊、雲之聲等 12 家企業，推出了 AIIA DNN benchmark——人工智慧端側晶元基準測試評估方案。

AIIA DNN benchmark 將以「版本迭代、不斷豐富、不斷完善」的工作方式，為更多評測應用場景、評測指標等提供評估方案，最新公布的 v0.5 版本提供了「通用晶元 AI 能力評估」和「定製化晶元的 AI 能力評估」2 種方案評測方案。方案覆蓋了時間、性能評價指標以及功耗 3 類測評指標和圖片分類、目標檢測、語音識別、超解析度 4 大應用場景。其中通用晶元的 AI 能力評估限定在指定場景、數據集、網路模型、框架下，而定製化晶元的 AI 能力評估將更加關注 AI 晶元對於特殊場景的優化能力，如安防、自動駕駛、智能音箱等。針對每一個具體變數，方案都提供了 check list 選項，供被測方選擇。

目前 AIIA DNN benchmark 晶元基準測試評估方案是初級版本，預計會在 10 月底到 11 月初面向企業徵集首輪評估對象及方案，首輪測試對象主要為端側設備。AIIA DNN benchmark 將會從場景、指標、部署位置等角度不斷做版本更新，誠邀企業參與。

可以預見，AIIA DNN benchmark 的發布，能夠促進晶元供給側與需求側的交流，讓需求方的意見能夠更快傳達到晶元企業，讓企業進行有針對性的改良，加快行業迭代速度，推動 AI 產業的快速進步。

本文為機器之心發布，轉載請聯繫本公眾號獲得授權。

------------------------------------------------

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！