多媒體技術研究：類腦計算的研究進展與發展趨勢

最新 01-21

多媒體技術研究：2015—類腦計算的研究進展與發展趨勢

黃鐵軍1，施路平2，唐華錦3，潘綱4，陳雲霽5，於俊清6

1.北京大學信息科學技術學院，北京 100871

2.清華大學精密儀器系，北京 100084

3.四川大學計算機學院，成都 610065

4.浙江大學計算機學院，杭州 310058

5.中國科學院計算技術研究所，北京 100190

6.華中科技大學計算機學院，武漢 430074

摘要：目的類腦計算，是指模擬、模擬和借鑒大腦神經網路結構和信息處理過程的裝置、模型和方法，其目標是製造類腦計算機和類腦智能。方法類腦計算相關研究已經有20多年的歷史，本文從模擬生物神經元和神經突觸的神經形態器件、神經網路晶元、類腦計算模型與應用等方面對國內外研究進展和面臨的挑戰進行介紹，並對未來的發展趨勢進行展望。結果與經典人工智慧符號主義、連接主義、行為主義以及機器學習的統計主義這些技術路線不同，類腦計算採取模擬主義：結構層次模仿腦(非馮·諾依曼體系結構)，器件層次逼近腦(模擬神經元和神經突觸的神經形態器件)，智能層次超越腦(主要靠自主學習訓練而不是人工編程)。結論目前類腦計算離工業界實際應用還有較大差距，這也為研究者提供了重要研究方向與機遇。

關鍵詞：類腦計算；神經形態計算；類腦智能；神經形態器件；神經網路晶元；脈衝神經網路

引用格式：黃鐵軍，施路平，唐華錦，潘綱，陳雲霽，於俊清．多媒體技術研究：2015—類腦計算的研究進展與發展趨勢[J]. 中國圖象圖形學報，2016,21(11):1411-1424．

DOI：10.11834/jig.20161101

Research on multimedia technology 2015—advances and trend of brain-like computing

Huang Tiejun1，Shi Luping2，Tang Huajin3，Pan Gang4，Chen Yunji5，Yu Junqing6

1. School of Information Science ＆ Technology，Peking University，Beijing 100871，China

2. Department of Precision Instrument，Tsinghua University，Beijing 100084，China

3. College of Computer Science，Sichuan University，Chengdu 610065，China

4. School of Computer Science & Technology，Zhejiang University ，Hangzhou 310058，China

5. Institute of Computing technology，Chinese Academy of Sciences，Beijing 100190，China

6. School of Computer Science & Technology，Huazhong University of Science & Technology ，Wuhan 430074，China

Abstract:ObjectiveBrain-like computing is the device, model or methodology which emulates, simulates or imitates the structure of the brain』s neural system and its information processing mechanism, with the goal to produce the brain-like computer and brain—level intelligence.MethodThis report reviews the progress and challenges of brain-like computing in the last two decades , in the world and in China, including related research in the brain science, the neu romorphic devices, neural network chips, brain inspired computing models and applications. The future development trend is also prospected.ResultDifferent from the classical artificial intelligence methodologies, including the symbolism, connectionism, behaviourism and statisticsism, brain-like computing follows the imitationism: imitate the brain at structure level (non von Neumann architecture), approximate the brain at device level (neuromorphic devices emulating the biological neurons and synapses), and surpass the brain at intelligent level (mainly by autonomous learning and training rather than manual programming).ConclusionAt present, there is still a big gap between the practical application of brain computing and the practical application of the industry, which provides an important research direction and opportunity for the researchers．

Key words：brain-like computing; neuromorphic computing; brain-inspired intelligence; neuromorphic device; neural network chip; spiking neural network

引言

長期以來，製造智能機器一直是人類的重大夢想，計算機是承載這一夢想的最新載體。現代計算機剛剛登上歷史舞台的1956年，人工智慧學科就誕生。60年來，人工智慧經歷了3次浪潮，基本思想可大致劃分為符號主義、連接主義、行為主義和統計主義。這4個流派從不同側面抓住了智能的部分特徵，在「製造」人工智慧方面都取得了里程碑式的成就。近年來，深度學習風起雲湧，在圖像和語音識別等領域取得突破性進展，人工智慧迎來第3次浪潮。特別地，阿爾法圍棋(AlphaGo)綜合深度學習(連接主義)、特徵匹配和線性回歸(統計主義)、蒙特卡洛搜索(符號主義)和強化學習(行為主義)的思想，利用高性能計算(CPU+GPU)和大數據(16萬局人類對弈)，2016年3月一舉戰勝圍棋九段高手李世石，最近已經名列世界職業圍棋第一位。

機器智能的快速提升吸引了全球目光，靠4條經典路線甚至「四劍合璧」就能設計出達到人類水平的類人智能或者具有自我意識的強人工智慧嗎?回答是否定的，其根本原因在於：傳統人工智慧的思維定式是在「理解智能」機理的基礎上設計製造人工智慧系統，而人類對自身智能的認識還處在初級階段，要在「理解智能」的基礎上設計類人智能，實際上是把解決「製造智能」問題的前提設定在一個更難問題(「理解智能」)基礎上，犯了本末倒置的錯誤。

然而，如果跳出傳統思維的窠臼，回顧一下生物智能和人類智能的產生及其進化發展過程，就會發現通向「類人智能」還有一條「新」路線，這裡稱為「模擬主義」(Imitationism)：不尋求先「理解智能」，而是先設計更先進的大腦探測工具，從結構上解析大腦(即大腦「反向工程」)，再利用工程技術手段「照葫蘆畫瓢」式地構造出仿腦裝置，最後通過環境刺激和交互訓練「模擬大腦」，實現類人智能，簡言之，「先結構後功能」引。之所以「新」加了引號，是因為「先結構，後功能」是數千年來人類工程技術實踐慣用的技術路線。

模擬主義可以說是符號主義、連接主義、行為主義和統計主義之後的第5個流派，但也和前4個流派有個千絲萬縷的聯繫。特別地，模擬主義可以說是走向極致的連接主義：神經元、神經突觸和神經環路都儘可能逼近生物對應物，從而從基元到網路都重現生物對應層次的功能。傳統人工神經網路儘管也是連接主義，但是思路相反：靠簡化的神經元模型和人工設計的網路結構嘗試產生複雜功能，儘管也能實現某些功能，但並不知道什麼時候才能產生類人智能。而模擬主義先從結構層次逼近生物神經網路，產生類腦功能的機會更大，成功之後再試圖理解功能發生的原理。

沿著模擬主義的路線實現類人智能，需要設計開發新的載體平台。經典計算機是數理邏輯的開關電路實現，馮·諾依曼提出這一結構時也沒期望用這個結構模擬大腦，相反，馮·諾依曼認真考慮了根據大腦神經網路結構設計新型計算機。在摩爾定律作用下，計算機性能數10年指數增長，給人以無所不能的假象，實際上，即使用現在最強大的超級計算機來模擬人類大腦，也至少還存在兩個數量級的差異，在功耗方面更是遙不可及。因此，要按模擬主義的路線「仿腦」，就必須設計全新的軟硬體系統，這就是「類腦計算機」，或者更準確地稱為「仿腦機」。

類腦計算機採用脈衝神經網路替代經典計算機的馮·諾依曼體系結構，採用微納光電器件模擬生物神經元和突觸的信息處理特性，或者說，類腦計算機是按照生物神經網路採用神經形態器件構造的新型計算機，更準確地應該稱為「類腦機」或「仿腦機」(brain-like machinery)。

下面簡要回顧一下類腦計算和類腦計算機的發展歷史：

1)1989年，加州理工Carver Mead撰文提出了「類腦工程」的概念，並撰寫了一本書，題目為「模擬VLSI與神經系統」(analog VLSI and neural systems)，採用亞閾值模擬電路來模擬SNN，其應用是模擬視網膜。

2)1990年—2003年，摩爾定律持續發展，基於馮諾依曼架構的處理器主頻與性能持續增長，而類腦計算則10餘年沉寂。

3)2004年左右，單核處理器主頻停止增長，設計者開始轉向多核，同時學術界開始尋求非馮·諾依曼架構的替代技術。類腦計算經過10多年的小眾研究，開始引起廣泛關注。

4)2004年，斯坦福大學教授Kwabena Boahen (Carver Mead的學生)研製出基於模擬電路的類腦晶元NeurogTid。

5)2005年，英國Manchester大學基於ARM開始研製支持脈衝神經網路的多核超級計算機SpiNNaker。

6)2005年，歐盟啟動FACETS(fast analog computing with emergent transient states)項目，由海德堡大學牽頭研製基於模擬混合信號(AMS)的神經形態晶元。

7)2005年，美國國防研究局DARPA啟動SyNAPSE(systems of neuromorphic adaptive plastic scalable electronics)項目，支持IBM與多家合作單位聯合研發類腦晶元。

8)2005年，瑞士洛桑聯邦理工學院(EPFL)研究者Henry Markram與IBM合作啟動了「藍腦計劃」(blue brain project)，在IBM Blue Gene/L超級計算機上開展儘可能逼近生物真實的大規模仿生神經網路模擬。

9)2008年，惠普公司實現憶阻器(memristor)原型，能夠模擬神經突觸功能，並展示了首個憶阻器與硅材料的混合電路。全球人造突觸熱潮興起。

10)2011年，歐盟啟動BrainScaleS(brain-in-spired muhiscale computation in neuromorphic hybrid systems)項目，作為FACETS延續項目，研發大規模並行類腦計算機。

11)2012年，藍腦項目所模擬的最大神經網路包括100萬個神經元與l0億個突觸，其規模相當於蜜蜂的大腦，模擬速度比實時慢約300倍。

12)2013年，歐盟啟動人腦計劃(HBP)，由EP-FL的Henry Markram牽頭，包括6個平台：神經信息學平台、醫學信息學平台、腦模擬平台、高性能計算平台、類腦計算平台與神經機器人平台。

13)2013年，美國啟動BRAIN(brain research through advancing innovative neurotechnologies)計劃。BRAIN並不直接涉及類腦計算，但它將推動對於生物大腦的深入理解，這是類腦計算研究的重要基礎。

14)2014年，Dharmendra Modha領導的IBM SyNAPSE項目推出了TrueNorth晶元，包含54億個半導體，功耗只有70mw，比半導體數量相當的傳統CPU功耗低5000倍左右。實現的一個用於視覺對象檢測的應用系統，包含300萬個神經元，功耗只有200mW。

15)2015年3月，德國海德堡大學在一個8英寸矽片上集成了20萬神經元和5000多萬突觸，採用這種「神經形態處理器」的類腦計算機成功運行。

16)2016年3月，歐盟人類大腦計劃宣布把剛剛建成的兩套類腦計算機通過互聯網對外開放使用，以支持神經微迴路模擬以及在機器學習和認知計算中應用類腦原理的相關研究。這兩套系統即上面提到的德國海德堡大學的BrainScaleS系統和英國曼徹斯特大學的SpiNNaker系統。

17)2016年8月，IBM蘇黎世研究院製造出脈衝神經元。與之前採用電阻、電容等模擬器件構造模擬神經元不同，這種人造神經元使用相變材料，特徵尺寸達到納米級別，未來可以小到14nm。每個單元能穩定存儲3比特數據，還能執行多種計算，如檢測數據關聯等，並且像生物神經元一樣具有隨機性。

18)2016年9月，日本東海大學繪製出首個果蠅全腦神經網路3維圖譜，共計10萬神經元。

近十年來，類腦計算相關研究已經取得不少階段性成果，近3年來，各國腦計劃相繼展開，大腦解析的步伐正在加快，未來10年有望實現高等動物全腦解析。類腦計算機實現方面，就像1948年晶體管的發明引發計算機革命一樣，納米級別的人造突觸和人造神經元的出現，有望掀起一場計算機的新革命，開啟通往強人工智慧的大門。

國際研究現狀

1.1 神經形態器件

開發與神經網路演算法相匹配的神經網路硬體系統，是一個全新的領域。現階段，模擬生物神經元的行為與構造是主要研究方向，實現了仿生的電子器件被稱為神經形態器件。人腦中，神經元是構成神經系統結構和功能的基本單位，它具有接受、整合和傳遞信息的功能，神經元之間由突觸進行連接，神經元和連接突觸構成了信息傳遞的基本通道與迴路，被認為是神經系統的學習和適應等過程的關鍵環節。各種神經形態器件，即圍繞神經元和突觸，進行功能和行為上的模擬。基於人腦中大約有1011個神經元和1014個突觸，研製具有高密度和超低功耗的神經網路是該領域的主要目標。

基於傳統的成熟半導體工藝的神經元形態器件和突觸形態器件首先被提出並應用於對神經網路的模擬。一般來說，硅基神經元形態器件主要由動態電導模塊(即信息處理)、脈衝觸發器、閾值和修復期模塊、觸發頻率適應模塊、以及樹突軸突模塊組成[8]。用硅基形態器件組成的神經網路系統，可以進行實時模擬，其速度並不依賴於神經元及其連接的數量，比計算機模擬能效高，適合實時及大規模的神經模擬。但是，硅基神經形態器件，特別是基於SRAM和DRAM的存儲器，表現出較高的功耗，且在斷電後，信息全部丟失。因此，研究人員將目光投向了新型的固態存儲器。

惠普於2008年首度實現了由蔡少堂(LeonChua)提出的憶阻器器件[8]。該憶阻器器件使用二氧化鈦(TiO)作為阻變層[9]，並首先提出利用憶阻器去模擬突觸[10]。文獻[11]使用摻銀的非晶硅作為阻變層也展現了憶阻器特性，同時通過改變脈衝的寬度去模擬STDP學習法則。文獻[12]使用Ta2O5/TaOx雙層阻變層實現憶阻器並展現STDP等學習法則。文獻[13]採用TiN/HfOx/A10x/Pt的結構來實現憶阻器，可實現1000倍電阻變化，快編程速度約10ns，合理的擦寫次數(105)，同時展現了較低的功耗(6pJ)，為大規模硬體實現神經網路打下基礎。文獻[14]通過利用TiO2阻器短期記憶功能，對神經元的膜電壓進行模擬、調製。

文獻[15]展示了基於相變存儲器的突觸形態器件，用較低的能耗演示了長期增強型和長期減弱型學習法則，並討論了STDP的兩種學習機制。同時，利用相變存儲器進行Hopfield循環網路模擬，實現強健的聯想學習和序列學習，並分析了器件阻值的變異對神經網路的影響[16]。惠普利用NbO2所具有的從絕緣體變到導體的莫特變換屬性[17]，開發了類神經元形態器件，用簡單的電路即實現了對複雜的Hodgkin-Huxley神經元觸發模型的模擬，展示重要的神經元all-or-nothing觸發函數。文獻[18]利用自旋轉移矩磁存儲器(STT-MRAM)非傳統工作區間去模擬突觸。該器件的架構與傳統MRAM的略有不同，使耗電量更少，密度更高，具備快速讀寫和信息長久保存能力。

1.2 神經網路晶元

隨著智能計算和類腦計算的發展，神經網路晶元作為核心部件受到了學術界和工業界的廣泛關注。神經網路晶元大致可以分為4個大類：人工神經網路晶元、脈衝神經網路晶元、視覺處理晶元和類腦晶元工藝器件基礎研究。人工神經網路晶元預期將在近期取得較廣泛的實際應用進展；脈衝神經網路晶元尚處於探索性應用階段；視覺處理晶元則專門用於完成圖像和視頻處理任務。

脈衝神經網路晶元的代表是IBM2014年發布的「真北」(TrueNorth)[19]，其基本結構由硬體神經元和神經元之間的脈衝連接組成，硬體神經元接收輸入脈衝，在累積到一定閾值後被激活產生輸出脈衝。「真北」具有4096個處理核，每個內核包含256個硬體神經元，因此總共可以模擬100萬個神經元和2.56億個突觸。其峰值性能達到了266GB/s，定點運算速度。「真北」晶元包含有54億晶體管，是迄今建造的最大的CMOS晶元之一。

表1列舉了國際上具有代表性的類腦計算項目所採用的晶元或硬體平台[6]。基於大規模CPU或GPU集群的模擬系統未列入(例如瑞士基於IBM藍色基因超級計算機的「藍腦計劃」與日本基於「京」超級計算機的模擬系統)。

表1中除了曼徹斯特大學的SpiNNaker系統是採用多核ARM平台運行軟體，其他晶元均是基於硬體電路設計：數字電路或者模擬混合(AMS)。大部分晶元是實時運行的，可以與外界進行實時交互。海德堡大學的HICANN(high input count analog neural network)系統的模擬速度比實時要快一萬倍。

2015年，加州大學和紐約州立大學石溪分校首次用憶阻器創建出了神經網路晶元，該晶元通過無晶體管的金屬氧化物憶阻器閂(Crossbars)創建，目前僅能夠識別3X3像素黑白圖像中的圖案，距離真正人類智能還有較大差距[20]。由於憶阻器是前沿技術，如果採用憶阻器來實現真正仿腦要求規模的神經網路，還需很長時間的努力。

1.3 類腦計算模型

類腦計算綜合神經科學、認知科學和信息科學來探索生物神經系統是如何實現智能的，進而建造人工智慧系統模擬生物神經系統。與傳統人工智慧、神經網路不同，類腦計算以大量的神經科學理論和實驗結果為依據，包括感知信息處理、學習、認知與記憶等功能為一體的智能化計算平台[21]。與傳統的人工神經網路(ANN)相比，類腦計算採用生物大腦所採用的脈衝神經網路，以非同步的、事件驅動的方式進行工作，更易於在硬體上實現分散式計算與信息存儲，能實時處理多感官跨模態等非精確、非結構化數據[22]。

經過近30年發展，雖然在神經電路的硬體模擬和簡單類腦計算演算法上，如視覺和聽覺的信息處理和識別，取得了很多成就，但是在實現高層信息的表達和組織以及認知上，依然面臨很多挑戰。本部分將著重闡述研究現狀、面臨的問題、解決該問題的框架和演算法原理。

1.3.1 神經系統信息編碼

利用脈衝神經網路進行輸入信息的分類、識別和學習，需要解決神經信息編碼和學習演算法這兩個主要問題。不同的神經信息編碼結果對學習性能將產生重要影響。神經信息編碼包含兩個過程：一個是特徵提取；另一個是脈衝序列生成。感知神經系統首先對接收的感知信息進行關鍵信息表達或採樣，對應於機器學習的特徵提取過程，這方面神經計算的機理目前還沒有成熟的理論和演算法。在脈衝序列生成方面，研究人員常用的有兩種方式：脈衝平均率編碼(rate coding)和時間編碼(temporal coding)。脈衝平均率編碼以脈衝的頻率來表達所有脈衝序列的信息，不能有效描述快速時變的感知信息。不同於平均率編碼，時間編碼考慮了精確定時的脈衝承載了有效的信息，因而可以更加準確地描述神經元的活動。神經科學實驗都表明精確脈衝定時在視覺、聽覺等感知信息處理中的重要作用[22]。

與採用平均率編碼的傳統ANN相比，SNN可以對快速時變信息進行特徵提取和分析。Hopfield[23]首先提出了一種時間編碼演算法「時滯編碼(latency coding)」，即神經脈衝的產生時間與刺激的強度呈負相關。由於其編碼的簡單和直觀的特點，在SNN的研究中，時滯編碼成為對視覺和聽覺輸入信息編碼的主要方法。神經科學研究還發現了神經信息的群體編碼(population coding)，即通過神經元群而不是單個神經元的狀態表達信息的方案[24-25]。由於神經系統的複雜性，單個神經元的活動容易受到影響，所以群體編碼有利於提高信息編碼的可靠性。

由神經科學實驗提出的神經編碼方法對信息的提取包含了大量冗餘信息，因此，直接應用神經編碼方法(如時滯編碼)往往不能為SNN學習提供有效的信息表達。為了提高信息編碼的有效性，研究人員嘗試在編碼過程中引入了不同的機制：文獻[26]用Gabor濾波器對輸入圖像預處理，提高了SNN的識別精度；文獻[27]用自組織映射(SOM)先對原始音頻數據提取特徵，然後再進行脈衝編碼，實現了對高雜訊情況下的語音識別。

1.3.2 脈衝神經網路學習與訓練

由於神經元之間的可塑性使得生物神經系統具有強大的學習和適應環境的能力，因此在建模中考慮由外界環境變化和神經過程引起的神經突觸的變化的調整能力是極為重要的。突觸權重(synaptic weights)定義了兩個神經元之間連接的強弱。赫布(Hebb)提出了第1個有關於神經突觸權重修改的假設。基於此假設的學習演算法可被總結為「同時激發的神經元連接在一起」。它被認為是學習跟記憶的根本機制並作為線性相關器被廣泛應用於不同的神經網路模型中。雖然脈衝神經網路更為注重神經生理學的學習方法，但目前生物神經系統中完整的學習過程和機制仍然不清楚。

隨著精確脈衝定時(precise spike timing)和突觸前激發和突觸後激發之間的時間間隔被發現，毫秒級精度學習受到了熱切關注。在過去的幾十年里，科研人員從生物實驗現象和結論中汲取靈感來探索神經突觸可塑性(即學習)理論。通過引入突觸前後脈衝之間的時間相關性(temporal correlation)，畢國強和蒲慕明提出了脈衝時間依賴的可塑性(STDP)機制並被推廣到不同的脈衝學習機制[28-29]。由於STDP原本是無監督學習機制，為了解決SNN的監督學習問題，人們將STDP機制與其他權值調整方法結合，這其中主要包含梯度下降和Widrow-Hoff規則，以此推導出不同的監督學習演算法。相對於在單層SNN領域的大量的研究工作，多層SNN的學習演算法研究卻非常缺乏，主要原因是STDP機制的前向傳播的單一性和神經脈衝的不連續性，給多層SNN的監督學習演算法的構造帶來很大的挑戰。Bohte等人[30]仿照ANN的誤差反傳(errowback-propagation)機制，首先提出了基於梯度下降的多層SNN學習演算法SpikeProp。

由於SNN的訓練演算法不太成熟，一些研究者提出了將傳統的ANN轉化為SNN的演算法，利用較為成熟的ANN訓練演算法來訓練一個基於ANN的深度神經網路，然後通過發放頻率編碼(firing rate encoding)將其轉化為SNN[31]，從而避免了直接訓練SNN的困難。這些工作目前局限於前饋神經網路。基於這種轉換機制，HRL Labs研究者將卷積神經網(CNN)轉換為Spiking CNN，在常用的物體識別測試集Neovision2與CIFAR-10上的識別準確率接近CNN；瑞士研究者將深度信念網(DBN)轉換為Spiking DBN，在手寫數字識別測試集MNIST上的識別準確率接近DBN。目前還未見有人嘗試將SNN應用於圖像物體識別測試集ImageNet，可能是因為ImageNet需要巨大的深度神經網路，轉換後的SNN的軟體模擬所需運算能力超出了一般台式機的運算速度。

還有一種SNN架構稱為液體狀態機(LSM)[33]也可以避免直接訓練SNN。LSM與基於ANN的回聲狀態機(ESM)類似，神經元之間的連接與權重是隨機產生的而固定的，神經網路形成一個「水池」，其作用將外界輸入映射到一個高維狀態空間以便於分類，因此SNN本身不需要訓練，而只須訓練一個輸出層分類演算法。只要SNN的規模足夠大，理論上講可以實現任意複雜輸入的分類任務。

1.3.3 神經形態認知計算架構

認知計算以由神經元和神經突觸組成的計算系統為重點，致力於推動對大腦中信息處理和神經突觸通信相關的腦功能障礙的理解研究。通過將神經元和神經突觸作為最基本的運算單元推動類腦計算科技的進步，將為神經處理器、信息處理技術和非馮·諾伊曼結構計算機的發展提供理論和實驗基礎。

加拿大滑鐵盧大學Eliasmith團隊的SPAUN腦模擬器是多腦區協同計算領域標誌性的工作。該團隊早期曾提出神經工程框架理論(NEF)，通過定義功能函數並用神經網路逼近函數的思路來建立神經信息處理與認知功能實現之間的聯繫[34]。2012年，該團隊基於早期的積累及新提出的語義指針架構統一網路，在其SPAUN項目中將250萬個虛擬神經元組織為約10個模塊化腦區，並在此基礎上構建工作流式的腦區計算環路，發展出模擬筆跡、邏輯填空、簡單視覺處理、歸納推理、強化學習等能力，實現了基於多腦區協同的多個特定功能神經網路[35]。然而該項目的問題在於為不同任務的實現人工構建了不同的工作流，腦區模型之間的協同並非自組織的，這與人腦的工作機制具有很大差異，即SPAUN腦區計算環路並不具有真正的自適應性和通用性，而是根據不同任務人工組織的[36]。

由Hawkins提出的分層時序記憶(hierarchical temporal memory)模型更為深度借鑒了腦信息處理機制[37-38]，主要體現在借鑒了大腦皮層柱6層組織結構及不同層次之間的信息傳遞機制和皮質柱的信息處理原理等。該模型非常適用於處理帶有時序信息的問題，並被廣泛地應用於物體識別與跟蹤、交通流量預測、人類異常行為檢測等。

1.4 仿生感知與類腦應用

傳統攝像頭是基於周期性的視頻幀的，幀頻越高，視頻質量越好，時間敏感度越高，但視頻碼流所需帶寬也就越大，事實上，每秒超過1000幀就難以在常規晶元和設備中應用了。受生物視網膜中神經元傳輸信息方式的啟發，加州理工學院的Mahowald和Mead在20世紀90年代初提出了一種稱為地址事件表達(AER)的非同步信號傳輸方式：當像素陣列中某個像素髮生「事件」時，將此像素的位置與「事件」輸出。基於這一原理，瑞士蘇黎世大學研發了動態視覺感測器(DVS)[41]，其基於事件驅動原理來檢測圖像中像素的亮度變化：當某個像素的亮度變化超過某一閾值時(從亮變暗或從暗變亮)，則輸出一個脈衝；如果圖片是靜止不動的，沒有像素的變化，那麼攝像頭就不會有任何輸出。脈衝編碼採用AER模式，包含發出脈衝的時間戳與像素地址。這種類腦攝像頭的時間解析度可達微秒級，可以實現高速移動物體的跟蹤，而其所需碼流帶寬比傳統的高速攝像頭低很多。由於DVS的輸出是一系列的脈衝，而不是傳統的基於像素矩陣的圖像幀，傳統的信號與圖像處理演算法並不適用，需要設計新的後端處理演算法。很直觀的一個思路是採用SNN來實現後端處理演算法，當然也可以採用其它演算法。DVS研究團隊已經與IBM TrueNorth團隊展開合作，將TrueNorth晶元用於DVS的後端處理。DVS的低帶寬優勢使其在機器人視覺領域具有天然優勢，已有工作將其用於自主行走車輛與自主飛行器中。新加坡南洋理工大學的陳守順博士研製出了時間靈敏度達到25ns的非同步感測晶元[42-44]。Orchard等人介紹了一種用於對象識別的脈衝層級模型[45]，利用AER視覺感測器的輸出中所蘊含的精準時域信息進行對象識別。類腦耳蝸釗是基於類似原理的類腦聽覺感測器，可以用於聲音識別與定位。

圖.1 基於脈衝時間的模式識別模型結構

Fig.1 Pattern recognition model structure based on pulse time

儘管脈衝神經網路已經被成功應用於模式識別問題，神經系統是如何從感覺編碼到突觸學習利用脈衝時間進行運算的問題仍值得研究。文獻[47]提出了一個基於脈衝時間的模式識別模型，如圖1所示。

上述模型主要由編碼和學習網路兩個部分組成。時滯編碼(latency code)和相位編碼(phase code)結合編碼方法(圖2)被用來將圖像信息轉化成為由神經脈衝序列組成的時空斑圖(spatio temporal pattern)。隨後，一個單層脈衝神經網路被用來學習識別不同的輸人。

圖.2 時滯一相位編碼的流程圖

Fig.2 Flow chart of time delay and phase coding

儘管許多以前的研究工作被認為是受生物邏輯啟發的聽覺前端，比如基於Gammatone濾波器組的語音識別，傳統的模式識別方法GTCC(Gammatone cepstral coefficients)，但是並沒有一個完整的生物系統。實驗結果表明神經元之間的交互是通過短時脈衝的方式，這代表外部刺激是以時空脈衝序列的模式存在於大腦中。文獻[48]從生物的角度出發，提出了一個基於局部頻譜特徵的聲音識別系統(LSF-SNN系統)，如圖3所示。

圖.3 基於局部頻譜特徵的聲音識別系統

Fig.3 Sound recognition system based on local spectral features

國內研究現狀

近幾年來，國內在神經形態器件的研究方面也取得了長足的進步。特別在新型固態存儲器的研究領域，取得了可喜的科研成果。

北京大學利用過渡金屬氧化物憶阻器展示了STDP學習法則，在硬體上首次實現了異源性突觸可塑性[49]，提出關於金屬氧化物阻變效應的統一機制，闡明了金屬氧化物憶阻器中阻變效應的微觀物理機理；建立了適用於大規模電路模擬、能夠精確描述表徵器件特性與物理效應的集約模型[50]。清華大學系統研製和開發了多款用於模擬突觸的憶阻器器件。文獻[51-52]實現了多阻態及低耗電。利用石墨烯獨特的雙極型輸運特性，首次實現了基於2維材料的類突觸器件[53]。南京大學研製了基於氧化物雙電層晶體管的人造突觸/神經元，和具有高質子導電特性的自支撐殼聚糖膜，並在這兩種器件上，實現了LTP，STP和STDP等學習法則[54-57]。中科院上海微系統與信息技術研究所在自主新型相變材料開發和相變存儲器工程化方面取得了很好的進展，開發出Ti-sb-Te等人[58-59]自主新型相變材料，在12英寸40nm的工藝線上，開發出非標準流程的1D1R工藝，存儲單元成品率大於99.9%，為嵌入式應用神經網路晶元開發奠定了基礎。華中科技大學重點開發了針對相變存儲器的神經形態器件，包括突觸的模擬和神經元的模擬，實現了4種不同形式的STDP學習法則，和神經元在連續的脈衝刺激下超過閾值而產生積分觸發的特性[60]，還基於憶阻突觸器件提出了多種非易失性布爾邏輯的運算方法[61]。國防科技大學基於Au/Ti/TiO2/Au憶阻器器件，建立了一個基於體材效應和界面效應的憶阻器物理模型[62]。

中國科學院計算技術研究所和法國INRIA提出了國際上首個深度神經網路處理器架構，相關研究論文兩次獲得計算機體系結構頂級會議ASPLOS和MICRO最佳論文[63]。在此基礎上，中國科學院計算技術研究所研製了「寒武紀」深度神經網路處理器晶元，包含獨立的神經元存儲單元和權值存儲單元，以及多個神經元計算單元。「寒武紀」晶元每秒能處理160億個神經元和2.56萬億個突觸運算，可達到512GB/s浮點運算速度，比Intel通用處理器性能和能效提高100倍，可廣泛適應各種智能處理應用。IBM、Intel、HP、微軟、MIT、哈佛大學、斯坦福大學、UCLA、哥倫比亞大學和喬治亞理工等國外知名機構紛紛跟蹤引用「寒武紀」，開展深度神經網路硬體探索。目前「寒武紀」研究團隊已完成專利布局，成立了創業企業，開展產業化工作，正在與曙光合作研製智能雲伺服器，與多個核心手機晶元廠商合作研製面向下一代智能手機晶元的智能處理器。未來，「寒武紀」需要在超大規模人工神經網路晶元架構、智能處理指令集、智能編程語言和編譯器，以及自主智能演算法等方面取得進一步突破，力爭形成具有小樣本學習能力的智能軟硬體。

清華大學的施路平教授團隊於2015年針對未來通用人工智慧的發展要求提出類腦混合計算範式架構，並發展了基於CMOS的類腦晶元「天機」，既支持脈衝神經網路，也支持ANN(analog neuralnet work)，及各種混合集成網路，受邀在電子器件國際頂級會議IEDM2015上做了特邀報告。單個晶元包含6個核，核間通過2×3的片上網路進行互聯，可達到153．6GB/s定點運算速度。每個核包含神經元塊、權值網路、路由器、同步器和參數管理等模塊，支持256個簡化脈衝神經元的計算，運行頻率為100MHz。此外，清華大學已經設計完成兩款基於阻器的大型神經網路晶元。其中一款是限制玻爾茲曼機，可以對圖像等進行特徵提取。另外一款是基於憶阻器的完整雙層神經網路，能夠實現手寫體數字的識別。

浙江大學計算機學院、微電子學院及杭州電子科技大學聯合研究團隊主要面向低功耗嵌人式應用領域，於2015年研發了一款基於CMOS數字邏輯的脈衝神經網路晶元「達爾文」，支持基於LIF神經元模型的脈衝神經網路建模[66]，單核支持2048個神經元、400萬個神經突觸(全連接)和15個不同突觸延遲。2016 IEEE CIS計算智能相關的Summer School還將達爾文晶元作為一個案例供所有參加人員編程實踐與應用開發。

表2給出了前面提到的國內部分單位的智能晶元在性能、應用領域、所支持的網路類型和編程支持等方面的對比情況。

發展趨勢與展望

類腦計算經過幾十年的發展，取得了令人欣喜的成果。然而，受限於對複雜神經系統的認知，我們只是揭開了其神秘面紗的一角。隨著實驗技術的進步與解剖學、生物學和生理學等相關領域研究的發展，我們必將對大腦的計算模式有更深、更多的了解，實現類腦計算將不是夢想。可以預見，類腦計算將是未來很長一段時間人類科學技術研究的熱點和前沿。同時，隨著人類對於智能系統、智能機器人的需求不斷增加，類腦計算將具有非常廣闊的應用前景[68]。

3.1 神經形態器件

基於硅基的神經形態器件，如SRAM和DRAM，他們的優點是工藝成熟，動態功耗相對較低，缺點是需要持續供電以維持存儲器的狀態，靜態功耗較高，一旦斷電，信息全部丟失，需要重新寫入，而且，他們在實現仿生學習法則方面，比較困難。因此，在該領域的研究方向主要是固態存儲器，包括憶阻器(memristor)，電橋式阻抗存儲器(CBRAM)，相變存儲器(PCRAM)，磁存儲器(MRAM)等。

基於氧化物的憶阻器具有穩定性好、模擬性能好、可擦寫次數高、數據保存時間長和兼容當下半導體工藝等優點，也是當下重點研究對象之一。在減少耗能，仿生學習等方面，取得巨大的進展。但其非線性不夠理想，當大規模集成時，串擾將是一個需要解決的問題。另外，器件的穩定性和可控性仍有待提高，需要重視由器件自身及器件間的異變帶來的對神經網路的負面影響。

電橋式阻抗存儲器的耗能較低，具有較高的非線性，在模擬學習法則方面，具有獨特的優勢。但其異變較大，可重複性較差、不易控制，而且所用材料與半導體後端兼容性較差，在材料的選用和集成方面，需要更多的研究。

自旋轉移矩磁存儲器具有集成密度較高，耗電較低，可擦寫次數極高等優點。但其工藝製造相對複雜，成本較高，而且開關比有限，在電路設計及應用方面，需要投入更多的研究來補償限制。

相變存儲器是所有固態存儲器中研究最為成熟的、離商業化最近的器件。研究表明，相變存儲器工作電流與器件底面積成正比，當底面電極直徑減小到20nm時，Set和Reset的功耗都將隨之降低。另外，據報道，用碳納米管做電極的相變存儲器，可達到更低的功耗。由於相變存儲器的單向特性，可以用二極體做選擇器件，很容易的實現3維交叉式堆棧結構，再加上優異的讀寫次數和超低的功耗[69]，是一種非常有潛力的、可以大規模應用的突觸形態器件候選者，但其單向性在實現學習演算法等方面，增加了一定的難度。

另外，在系統設計與集成方面，該領域仍處於前期研發階段。其中最為重要的是整個系統架構還沒有公認的技術方案，另外如何實現高密度和低功耗的大規模集成，並實現對仿生法則的凝練、選擇、模擬，將是一項重大的挑戰。

在所有問題之上，有一個最重要的問題，那就是模擬生物的形態器件，到底需要精確模擬到哪個層級?哪些仿生學習法則是有效的和必要的?在這個領域，我們亟需一個像牛頓定律或馮·諾依曼架構那樣具有指導性的法則。

3.2 神經網路晶元

隨著谷歌的AlphaGo程序在圍棋比賽中戰勝人類世界冠軍李世石，英國《金融時報》認為，智能時代已經到來。而以智能手機、智能駕駛、智能製造、機器人和智能家居為代表的智能產品將會需要新的智能晶元，而目前的智能晶元主要是指各種神經網路晶元。從技術發展看，人工神經網路晶元預期將在近期取得較廣泛的實際應用進展；脈衝神經網路晶元尚處於探索性應用階段；視覺處理晶元則專門用於完成圖像和視頻處理任務。

目前中國已經在神經網路晶元、智能操作系統、智能演算法方面具備了相應的研究基礎，形成了研究鏈。神經網路晶元屬於高端集成電路晶元製造。一方面，中國智能終端生產企業和互聯網應用服務企業有著大量的神經網路晶元採購需求，如百度、科大訊飛、騰訊、阿里等大數據云計算龍頭企業需要神經網路晶元提高服務質量降低運營成本，京東、華為等終端軟硬體企業需要神經網路晶元提供服務內容升級。但是我國集成電路產業整體仍然落後於國際發達國家，整個產業從生產製造到市場受到跨國壟斷企業明顯壓制。受行業特點和國內晶元製造技術發展水平的制約，高端晶元研發製造成本對於創新企業仍然高昂。

整個智能產業鏈由應用層、技術層和晶元層3個層次組成，神經網路晶元屬於的最底層。從上到下隨著開發門檻的變化，能參與其中的公司越來越少。在應用層，會有海量的公司，主要是將智能應用在各個具體的行業中，例如智能+機器人，智能+客服，智能+製造，智能+商業分析，智能+手機等等。在應用這個層面，產值高，但比較分散散，單個公司輻射面小。技術層供應用所需的核心共性智能演算法、模型和方法。例如，不管機器人還是客服都需要語音的智能識別，那就需要語音、圖像和視頻的智能分析與處理以及自然語言理解等。具備這個能力的公司就非常少了。最下面的是硬體基礎層。無論應用和技術怎麼變，最終都是要跑在晶元上的。而晶元開發門檻高，公司更少。像信息時代，也就是In．tel，ARM寥寥幾家。最終主導神經網路晶元的公司也非常地少。因此掌握了神經網路晶元，就能從產業鏈的最源頭全方位輻射整個智能產業。對於從事神經網路晶元開發的公司，應該予以支持。

綜上所述，神經網路晶元設計製造屬於高端製造業，要發展神經網路晶元技術，需要重點支持神經網路晶元開發公司，發展高端智能產品，制定產品標準、提供政策法規支持，支持智能晶元產業聯盟。

3.3 類腦計算模型與應用

基於亞閾值的模擬混合信號晶元可以做到超低功耗，但基於模擬混合信號的應用開發十分困難，在可編程性方面輸給了數字電路技術。所以可在硬體方面進行器件的優化和改進，降低晶元功耗。類腦計算的主要優勢是功耗低。如何更好的發揮類腦計算的優勢將會成為研究的一個重要方向。其中，軟硬體的有效結合將會推動類腦計算快速發展。為了在硬體層次提高晶元的性能，需要首先在軟體層次進行模擬。所以需要開發一定的軟體平台進行演算法或模型的模擬和模擬。如果能夠在軟體模擬方面發現演算法或模型取得突破性進展，加上硬體器的加速，就可以促進晶元性能的提升。

脈衝神經網路訓練演算法的理論發展還不夠成熟，在計算神經科學和脈衝神經網路的研究中，人們往往孤立地研究神經信息編碼或學習，很少有研究將編碼和學習統一為一個完整的計算過程並綜合考慮編碼與學習之間的適應性問題。因此，儘管研究者針對脈衝神經網路提出了各種學習演算法，其主要用於如何識別各種時空數據，而這些演算法是否能有效識別實際的輸入信息(如圖像或語音)卻依然是個未知數。因此，研究具有高效信息處理能力的基於完全時間編碼的多層SNN(比如優化脈衝編碼方法，尋找高效的學習演算法)，將為SNN在類腦計算領域中的應用提供有效的計算模型和理論基礎。

目前已有感測器可以採集到脈衝數據，這為類腦計算機的輸入提供了有力支撐。隨著大規模視頻監控、無人駕駛等應用需求的出現，對更靈敏、更智能和複雜度更低的機器感知演算法是必然發展方向，脈衝陣列式感知信號表達和基於脈衝神經網路的檢測跟蹤識別演算法必將成為未來的主流。

類腦計算技術的發展將推動圖像識別、語音識別、自然語言處理等前沿技術的突破，機器人視聽感知和自主學習是很有希望的應用方向，無人駕駛等領域應用需求也很迫切，類腦計算應用有望推動新一輪產業革命。

目前類腦計算離工業界實際應用還有較大差距，這也為研究者提供了重要研究方向與機遇。我們認為基於脈衝神經網路的類腦晶元在未來5～10年將會是一個重要的研究題目，其產業化前景是否能夠被工業界廣泛接受，則取決於研究者在此期間是否能夠在某些方面取得突破進展，其中視聽感知是最有希望率先突破的方向。

志謝論文的撰寫得到了北京大學、清華大學、中國科學院計算技術研究所、浙江大學、四川大學和華中科技大學相關研究團隊研究人員的大力支持，特此感謝。

參考文獻

猛戳圖片，搶先了解第一屆國家智能產業峰會詳細內容！