AiRiA研究院打造量化神經處理器，用全棧方案賦能行業

*本文來源於物聯網智庫，雷鋒網已獲得授權。

導讀

曾幾何時，我們驚訝於AI算力和智力的創新程度，但彼時AI所創造的產業價值並不明顯。隨著移動互聯網時代走向物聯網時代，越來越多的場景和終端需要對數據進行即時高效的處理（如車聯網、無人機、工業現場、物流、安防等場景），AI算力和智力從雲端下沉到邊緣，為物聯網提供火眼金睛和靈敏大腦，成為AI和IoT一拍即合的「共識」。

在人工智慧（AI）大熱的這些年裡，技術突破不斷刷新著人們的認知，應用範疇也不斷延伸到新的領域。尤其萬物智聯大趨勢下，新場景、新需求、新機遇倏然出現，對AI提出更加多元、精準、高性能等新的要求。AI的能力與物聯網(IoT)的需求結合越來越緊密，它們互為因果，共同加速著AIoT挖掘新的潛能。

那麼，2019年對於AI玩家們來講，有哪些不可錯過的演進趨勢、即將出現的重要突破和極具價值的應用方向呢？

AI下沉，從雲到邊

曾幾何時，我們驚訝於AI算力和智力的創新程度，但彼時AI所創造的產業價值並不明顯。隨著移動互聯網時代走向物聯網時代，越來越多的場景和終端需要對數據進行即時高效的處理（如車聯網、無人機、工業現場、物流、安防等場景），AI算力和智力從雲端下沉到邊緣，為物聯網提供火眼金睛和靈敏大腦，成為AI和IoT一拍即合的「共識」。

這一趨勢從兩年前開始出現，邊緣智能現已成為實現萬物互聯走向萬物智聯不可或缺的一環，也給如火如荼的AI晶元領域再添一把火。

聚焦場景，由「通」到「專」

同樣是因為IoT場景的多樣化，讓AI從雲端走向邊緣/端側的過程備受挑戰。物聯網時代，面對紛繁複雜、千差萬別的數據和場景，如何滿足其個性化需求、為其生產/生活/運營提供恰如其分的算力，通用晶元顯得力不從心；而面向特定類場景、提供特定性能的AI晶元成為新的風向，得到許多AI創新者當下的青睞。

科技領域的創新往往是市場驅動著技術，AI也不例外，在IoT市場的驅動下，邊緣智能和面向特定場景的AI晶元兩大趨勢已成業內主流。那麼，從供給側角度來講，AI領域玩家又如何以技術創新來滿足智聯網時代無處不在的AI需求呢？如何選擇有潛力的AI應用場景？邊緣智能當前面臨哪些困難？有哪些值得關注的技術進展？在近日的「普惠AI，芯向邊緣」戰略發布會上，中國科學院自動化研究所南京人工智慧晶元創新研究院（AiRiA研究院）用成果展示了對這些問題的思考。

普惠AI，勢在必行

長久以來，產業界、學術界和資本界從未放棄對AI價值的拷問，即，AI究竟能為哪些產業真正賦能，為其業務提升或模式革新帶來多大助力，這是對AI市場價值的最好證明。

未來已來，AIoT時代圖像信息將是未來數據洪流的主要呈現方式，因此AI加持下的圖像處理將對相關行業產生巨大推動。事實上，安防、車聯網、無人機、智能物流、工業視覺等場景近年來的規模爆發也正印證了這一點。中科院自動化所所長、AiRiA研究院院長徐波表示：以模型創新為源頭，以晶元和系統為技術載體，與領域快速融合併呈現顛覆性應用的人工智慧生態正在快速形成。從政策角度來看，人工智慧連續三年被寫入政府報告，並且總理在今年首次提出「智能+」，再次從國家戰略的高度為AI產業注入新動力。

面對市場訴求和國家戰略， 作為「人工智慧國家隊」的AiRiA研究院認為，AI要想脫虛向實，必須通過多行業的大規模落地來實現，換言之，如何克服技術和模式的重重困阻，讓各行業用上AI，用好AI，才是AI落地與破局的當務之急。因此AiRiA研究院肩負起「普惠AI開拓者」的重任，以清晰的市場洞察和深厚的技術積累，一步一步向這個宏偉願景邁進。

普惠AI的路上，有哪些難題困擾著業界？

普惠AI意味著為萬物賦能，從雲端到邊緣的大勢所趨也是AiRiA研究院作為AI晶元的後來入局者直接選擇切入的方向。由於計算位置和形式的變化，讓AI載體、設計思路都需要重新被定義。

雲端的AI不受體積和功耗方面的束縛，可以在一定成本下做到極致的性能。然而在邊緣端，AI載體（晶元）必須考慮終端場景的體積、功耗和成本實情（如機器人、可穿戴設備、無人機等場景中），如何在三者受限的情況下實現最高的AI性能，是考驗晶元團隊極具挑戰性的難題。

AiRiA 研究院常務副院長程健博士表示，若以犧牲AI晶元的性能來滿足IoT終端對體積、功耗和成本的要求，是一種「妥協」而非創新，如何在尋求平衡，做到較低功耗、較小體積和較低成本的情況下，還能保證性能不受到影響，才能真正滿足諸多行業場景對邊緣智能的綜合訴求。那麼，AiRiA研究院是如何應對這些嚴苛挑戰，達成AI晶元領域重大突破的呢？這就要提到中科院自動化研究所基於十幾年對量化處理技術的深厚積累了。

量化處理技術是如何幫助AI晶元在成本、功耗、性能等綜合方面發揮優勢的？

量化模型壓縮處理技術可以極大簡化整個計算過程。AiRiA 研究院副院長冷聰博士進一步介紹道，量化技術的精細化程度越高，對整個計算過程簡化和整合的效率就越高。目前業內採用量化處理技術的標配是支持8比特，但AiRiA 研究院能做到4比特、2比特甚至任意1比特的量化，在國際上也達到了領先水平。

隨著量化程度的提高，AiRiA研究院自主設計的量化神經處理器QNPU（Quantized Neural Processing Unit）可通過大規模神經網路實現片上計算，從而減少或無需訪問外部存儲，這就解決掉耗費極大功耗、帶寬和體積成本的「內存牆」難題。這樣一來，就滿足了多種IoT的邊緣計算場景的應用，在小規模的、小體積、小功耗的前提下仍保證高可靠的計算性能，這是QNPU非常突出的特性和優勢。

在如火如荼的AI大潮中，如何以科研人的態度做「嚴肅的人工智慧晶元」？

近年來隨著全球科技革命的升級，晶元產業一直被寄予厚望，尤其在競爭激烈的AI領域，巨頭與新創企業不斷以更新更強的AI成果衝擊著人們的眼球。然而更值得思考的是，我們究竟需要什麼樣的AI技術和產品、方案和應用？如何將技術成果實現普惠？

AiRiA研究院首席科學家張暘博士認為， AI和科研一樣需要求真務實，脫虛向實，因此以科研人的態度、穩健的節奏來做「嚴肅的人工智慧晶元」，是AiRiA研究院在技術優勢之外更加獨特的高度，他帶領晶元團隊開發的 AiRiA研究院第一款QNPU晶元Watt A1即將正式問世，預計在下半年9月份、10月份流片，採用台積電28nm工藝，峰值算力達24Tops，支持1080P四路視頻實時檢測，MobileNet圖像分類達每秒8000幀。目前在WattA1的demo展示中，基於QNPU的自動駕駛、人臉識別等高性能應用場景都得到充分體現。

全棧方案，賦能行業

在賦能行業、加速落地的路上，AiRiA研究院以行業需求為導向，為企業用戶構建軟硬一體的AI解決方案。除了QNPU之外，AiRiA研究院還推出了模型壓縮工具QTrainer和深度學習推理引擎QEngine。QTrainer不僅支持QNPU，還支持第三方開發自定義應用。QEngine也是針對量化架構，兼容多種處理器和硬體，它們共同將軟體、硬體、演算法協同優化，構建全棧的AI解決方案。

目前，AiRiA研究院已與多個行業的領先企業達成合作，以上游技術的定位與下游各行業的集成商廣結生態，包括智慧安防、智慧零售、自動駕駛、智慧物流等領域，共同推動AI在不同行業的滲透。在「普惠AI，芯向邊緣」戰略發布會上，AiRiA研究院與賽格導航、高新興物聯達成戰略合作，三方合作推出「基於低成本晶元的自動駕駛演算法軟加速」方案。該方案基於QEngine引擎，結合高新興物聯的智能通信模組，為賽格導航的ADAS高級駕駛輔助系統提供了高性能、高可靠的落地支撐，實現主動安全、車隊管理、駕駛行為分析等多種場景應用的生態綻放。

仰望星空，放眼未來

AI的發展潛力和行業潛力還有更多可能性值得探索，普惠AI之路任重而道遠。比如，AI晶元性能的進一步突破，真正的AI晶元應該是具備自學性的能力，朝著無監督、自主進化方向。

未來，AiRiA研究院將立足邊緣端推理專用處理器，向著自主進化晶元領域邁進，為更廣闊的應用場景賦予智能，為國之重器晶元產業的發展增添助力。

物聯網智庫「2019-2020中國物聯網產業全景圖譜」

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！