【新智元導讀】人工智慧產業得以快速發展，都離不開晶元。清華大學——北京未來晶元技術高精尖創新中心根據學術界和工業界的最新實踐，邀請國內外AI晶元領域的頂尖研究力量，共同發布了《人工智慧晶元技術白皮書》，文末附下載鏈接。

無晶元，不 AI

近些年隨著大數據的積聚、理論演算法的革新、計算能力的提升及網路設施的發展，使得持續積累了半個多世紀的人工智慧產業，又一次迎來革命性的進步，人工智慧的研究和應用進入全新的發展階段。

實際上，人工智慧產業得以快速發展，都離不開目前唯一的物理基礎——晶元。可以說，「無晶元不 AI」。

為了更好地釐清當前AI晶元領域的發展態勢，進一步明確AI晶元在新技術形勢下的路線框架、關鍵環節及應用前景，清華大學——北京未來晶元技術高精尖創新中心，根據學術界和工業界的最新實踐，邀請國內外AI晶元領域的頂尖研究力量，共同發布了《人工智慧晶元技術白皮書》。

下圖為編委會成員名單，大家感受一下：

白皮書主要闡述和討論了以下內容：

1. AI晶元產業的戰略意義
2. AI晶元的技術背景背景
3. 近幾年AI晶元在雲側、邊緣和終端設備等不同場景中的發展
4. 面臨的架構挑戰，分析技術趨勢
5. 建立在當前技術集成上的雲端和終端AI晶元架構創新
6. 存儲技術解決方案
7. 前沿研究工作和新技術趨勢
8. 介紹神經形態計算技術，分析該技術面臨的機遇和挑戰
9. AI晶元的基準測試和技術路線圖
10. 展望AI晶元的未來

AI晶元的技術背景

不同的應用場景，不同的精度需求

AI系統通常涉及訓練(Training)和推斷(Inference)過程。

訓練過程對計算精度、計算量、內存數量、訪問內存的帶寬和內存管理方法的要求都非常高。

而對於推斷，更注重速度、能效、安全和硬體成本，模型的準確度和數據精度則可酌情降低。

人工智慧工作負載多是數據密集型，需要大量的存儲和各層次存儲器間的數據搬移，導致「內存牆」問題非常突出。

為了彌補計算單元和存儲器之間的差距，學術界和工業界正在兩個方向上進行探索：

1. 富內存的處理單元。增加片上存儲器的容量並使其更靠近計算單元
2. 創建具備計算能力的新型存儲器算(Process-in-Memory PIM)，直接在存儲器內部(或更近)實現計算

低精度、可重構的晶元設計是趨勢

低精度設計是AI晶元的一個趨勢，在針對推斷的晶元中更加明顯。

同時，針對特定領域(即：具有類似需求的多種應用)，而非特定應用的可重構能力的AI晶元，將是未來AI晶元設計的一個指導原則。

另一方面，AI演算法開發框架，如TensorFlow和PyTorch等，在AI應用研發中正在起到至關重要的作用。

通過軟體工具，構建一個集成化的流程，將AI模型的開發和訓練、硬體無關和硬體相關的代碼優化、自動化指令翻譯等功能無縫的結合在一起，將是成功部署的關鍵要求。

發展現狀

2015年開始，AI晶元的相關研發逐漸成為學術界和工業界研發的熱點。到目前為止，在雲端和終端已經有很多專門為AI應用設計的晶元和硬體系統。

雲端晶元：大廠和初創公司都看好；FPGA正在逐漸崛起

GPU，特別是NVIDIA系列GPU晶元，被廣泛應用於深度神經網路訓練和推理。

很多公司開始嘗試設計專用晶元，以達到更高的效率，其中最著名的例子是 Google TPU。

Google最近還通過雲服務，把TPU開放商用，處理能力達到180 TFLOP，提供64GB的高帶寬內存(HBM)，2400GB/s的存儲帶寬。

不光晶元巨頭，很多初創公司也看準了雲端晶元市場。如Graphcore、Cerebras、Wave Computing、寒武紀及比特大陸等也加入了競爭的行列。

此外，FPGA也逐漸在應用中佔有一席之地。目前FPGA 的主要廠商如 Xilinx、Intel都推出了專門針對AI應用的FPGA硬體。

主要的雲服務廠商，比如亞馬遜、微軟及阿里雲等也推出了專門的雲端FPGA實例來支持AI應用。

一些初創公司，比如深鑒科技等也在開發專門支持FPGA的AI開發工具。

邊緣計算讓傳統終端設備煥發青春

隨著人工智慧應用生態的爆發，越來越多的AI應用開始在端設備上開發和部署。

智能手機是目前應用最為廣泛的邊緣計算設備。手機大廠如蘋果、華為、高通、聯發科和三星在內的手機晶元廠商紛紛推出，或者正在研發專門適應AI應用的晶元產品。

而這個新興的領域，也為初創公司提供了生存的土壤，地平線機器人、寒武紀、深鑒科技、元鼎音訊等，均致力於製造晶元和系統解決方案。

而一些傳統的IP廠商， 包括ARM、Synopsys等公司也都為包括手機、智能攝像頭、無人機、工業和服務機器人、智能音箱以及各種物聯網設備等邊緣計算設備，開發專用IP產品。

自動駕駛也是未來邊緣AI計算的最重要應用之一。

雲+端相互配合，優勢互補

總的來說，雲側AI處理主要強調精度、處理能力、內存容量和帶寬，同時追求低延時和低功耗；邊緣設備中的AI處理則主要關注功耗、響應時間、體積、成本和隱私安全等問題。

目前雲和邊緣設備在各種AI應用中往往是配合工作。最普遍的方式是在雲端訓練神經網路，然後在雲端(由邊緣設備採集數據)或者邊緣設備進行推斷。

AI晶元的技術挑戰和設計趨勢

但是物理設備的功能，都有一個極限。這個極限限制了硬體設備，面對不斷增加的旺盛需求，形成阻礙。

AI晶元所面臨的兩個技術挑戰及解決思路

1. 馮·諾伊曼瓶頸：內存之牆。解決思路包括減少訪問存儲器的數量，降低訪問存儲器的代價
2. CMOS工藝和器件瓶頸。可以通過開發提供大量存儲空間的片上存儲器技術，並探索利用片上存儲器去構建未來的智能晶元架構

AI晶元架構設計趨勢

雲端訓練和推斷的設計趨勢：大存儲、高性能、可伸縮。從NVIDIA和Goolge的設計實踐，我們總結出技術發展的幾個特點和趨勢：

1. 存儲的需求(容量和訪問速度)越來越高。
2. 處理能力推向每秒千萬億次(PetaFLOPS)，並支持靈活伸縮和部署。
3. 專門針對推斷需求的 FPGA 和 ASIC

邊緣設備的設計趨勢：把效率推向極致。相對雲端應用，邊緣設備的應用需求和場景約束要複雜很多，針對不同的情況可能需要專門的架構設計。

拋開需求的複雜性，目前的邊緣設備主要是執行「推斷」。在提高推斷效率和推斷準確率允許範圍內的各種方法中，降低推斷的量化比特精度是最有效的方法。

軟體定義晶元。在 AI 計算中，晶元是承載計算功能的基礎部件，軟體是實現 AI 的核心。

AI 晶元必須具備一個重要特性：能夠實時動態改變功能，滿足軟體不斷變化的計算需求，即「軟體定義晶元」。

可重構計算技術允許硬體架構和功能隨軟體變化而變化，具備處理器的靈活性和專用集成電路的高性能和低功耗，是實現「軟體定義晶元」的核心。

Thinker晶元採用了下面3個層面的技術。

1. 計算陣列重構
2. 存儲帶寬重構
3. 數據位寬重構

AI晶元中的存儲技術和新興計算技術

傳統AI晶元的存儲技術需要解決的問題

近期，面向數字神經網路的加速器(GPU、FPGA和ASIC)迫切需要AI友好型存儲器。

中期，基於存內計算的神經網路可以為規避馮·諾依曼瓶頸問題提供有效的解決方案。

後期，基於憶阻器的神經形態計算可以模擬人類的大腦，是AI晶元遠期解 決方案的候選之一。

解決存儲瓶頸的新興計算技術

主要的新計算技術包括近內存計算、存內計算，以及基於新型存儲器的人工神經網路和生物神經網路。

雖然成熟的 CMOS 器件已被用於實現這些新的計算範例，但是新興器件有望在未來進一步顯著提高系統性能並降低電路複雜性。

神經形態晶元：即「仿生電腦」

神經形態晶元(Neuromorphic chip)採用電子技術模擬，已經被證明了的生物腦的運作規則，從而構建類似於生物腦的電子晶元，即「仿生電腦」。

神經形態晶元具有如下特性：

1. 可縮放、高並行的神經網路互聯
2. 眾核結構
3. 事件驅動
4. 數據流計算

近些年，神經形態計算也用來指採用模擬、數字、數模混合VLSI以及軟體系統實現的神經系統模型。

受到腦結構研究的成果啟發，研製出的神經形態晶元具有低功耗、低延遲、高速處理、時空聯合等特點。

展望未來

人工智慧晶元還處在它的「嬰兒期」，未來充滿了不確定性。如果能有統一的終極演算法出現，那麼我們很可能會看到一個終極晶元出現。

AI晶元是整個人工智慧技術發展的基礎，也將是推動整個半導體領域技術進步的最重要的力量之一。

隨著人工智慧和物聯網的持續快速發展，越來越多的應用需求和應用場景將不斷湧現。

需求驅動的AI晶元技術創新將促進創新鏈與產業鏈更加緊密結合，推動開放合作、共享共贏的產業生態形成。

CMOS技術與新興信息技術的交叉融合，開源軟體到開源硬體的潮流漸顯，預示著我們將迎來一個前所未 有的協同創新機遇期！

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！