AIIA DNN benchmark基於開源模塊測試標準發布

中關村在在線消息：AI晶元在人工智慧領域扮演者重要的作用，如何評價一款晶元的好壞以及易用性也顯得至關重要，與通用處理器不同，AI處理器面向與多元化，多場景。同時提供本地端與雲端的數據協作。在2018AIIA人工智慧開發者大會上，基於開源社區的AIIA DNN benchmark測試標準正式出爐，並發表了白皮書。

·AIIA DNN benchmark基準測試模型將在10月底落地

據工作人員介紹，目前AIIA DNN benchmark晶元基準測試評估系統是初級版本，軟體上線的時間在10月底到11月初左右，測試的標準主要集中在設備終端，但會有兩套測試方向，一種是面向於通用處理器的晶元測試方案，而另外一種則是面向於專屬領域人工智慧晶元的測試。兩套測試標準都是基於訓練框架和推論框架進行協同。而從面向的群體方面來看，這套測試基準系統也會解決針對於AI使用者以及AI提供者，也就是C端到B端技術難點問題，評測將從應用場景，評測數據，深度學習模型，評測指標來展開。

AIIA DNN benchmark晶元基準測試評估系統發布

目前已知發布的這個版本為Version 0.5，這個版本是基於真實場景的端側benchmark評估方案提供2種方案評測方案，即通用晶元的AI能力評估和定製化晶元的AI能力評估，涉及3類指標以及4大應用場景。具體的通用晶元的AI能力評估，是在指定場景、數據集、網路模型、框架的評測。而定製化晶元的AI能力評估將更加關注AI晶元對於特殊場景的優化能力，如安防、自動駕駛、智能音箱等。當然在整個測試環節當中，有三項指標會作為評測跑分的重要依據，即時間指標、性能評價以及晶元功能情況。同時再圖片分類，目標檢測，語音識別，超解析度四個應用場景進行綜合評估。

該評估方案融合了通用與定製化晶元兩種方案

·聯合多家企業打造評測共識體系

其實基於AI晶元的性能測試跑分軟體並不少見，我們熟知的阿里AI matrix、寒武紀的benchip,以及百度的deepbench等等，但這些軟體其實並沒有站在一個很大的角度來去串聯整個人工智慧晶元領域，AIIA DNN benchmark這套系統則站在了一個相對比較客觀的角度來進行跑分測試。並且開源社區也在積極的聯繫更多具有人工智慧晶元研發能力和製造的一些科技企業參與其中，通過企業的參與與完善能夠加速AIIA DNN benchmarks版本的迭代。

·基於人工智慧處理器測試體系的市場思考

筆者認為人工智慧處理器有別於通用處理器，它的結果其實並不會過重的看重處理器性能的跑分成績，而是這顆處理器是否能夠在這個領域和當前設定的環境下幫助我們來解決相應的問題，也就是處理器是核心，而通過處理器打造的這一套人工智慧系統和服務才是我們需求的關鍵。其實這麼多年以來，人工智慧跑分系統之所以目前還沒有任何一家企業被公認成為做標準的行業測試體系，其原因就在於人工智慧處理器的多樣化因素，處理器的尺寸，功能，構架，製程不同，應用的領域、範圍、特定場景不同。也就導致了人工智慧處理器的複雜化。而評測體系如果想要建立好，就必須要把所有處理器可能遇到的場景和問題考慮進去。這點也正是行業難點之所在。不過，基於開源的模式固然可以讓眾多企業積極的參與進來，通過參與評測標準進而可以更好的更新自己的處理器產品。但因為規則制定者與參與者過多，同事也容易造成評測標準和評測機制的失衡。這些其實都是AIIA DNN benchmarks開發者需要考慮的問題。不過好在我們得知目前AIIA DNN benchmarks這套系統是免費提供。相信肯定也會有不少的企業會願意試用。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！