中科院科技前沿論壇：看腦科學如何助力人工智慧

機器之心報道

編輯：夏亞妹妹、蔣思源

5 月 8 日，由中國科學院學部主辦的「腦科學與人工智慧」科學與技術前沿論壇召開，本論壇從腦科學如何支持人工智慧的發展和類腦智能的態勢與發展研討兩個議題切入，邀請了相關領域的院士、教授、研究員和學生等 300 余名嘉賓參會，共同對目前腦科學與人工智慧的融合發展現狀進行全面深入探討。

機器之心梳理了本次論壇四場報告的概要，並就報告中提到的「卷積與生物記憶」和「反向傳播演算法與腦研究」等研究方向進行了拓展解讀，同時也精選了專題討論環節中五個值得關注的問題。

一、四場報告概要

報告一： 大腦可塑性與類腦智能研究

報告人：蒲慕明院士，中國科學院外籍院士、中國科學院神經科學研究所所長、中科院腦科學與智能技術卓越創新中心主任

概述：蒲院士在報告中稱，過去 50 年對大腦最重要的理解即因感覺、運動、認知行為相關的電活動對神經元與突觸功能和構造的修飾而形成認知行為的改變，即神經系統功能及結構的可塑性；並提出多尺度腦結構與神經網路連接圖譜，大腦在基因、蛋白、細胞、環路等層面的運作原理及認知與智力的神經基礎能幫助在類腦智能領域構建新的類腦智能計算方法、類腦機器學習演算法、類神經計算器件和類腦智能系統。

報告二：人腦視覺認知原理和啟發

報告人：何生教授，中國科學院生物物理研究所研究員，腦與認知科學國家重點實驗室主任

概述：何生教授的科研方向為人類視覺認知的功能神經機制，其在報告中介紹了認知科學研究中視覺腦的特徵和分工，以及視覺認知科學在深度神經網路構建時值得借鑒及對應應用的解讀。

報告三：生物啟發的模式識別

報告人：譚鐵牛院士，中國科學院院士、中國科學院自動化研究所智能感知與計算研究中心主任

概述：報告重點講解了基於生物機制啟發的模式識別與計算機視覺的發展史及現狀，比如從局部特徵描述子、顯著性注意機制、特徵的分層處理機制等角度；並以神經元、神經迴路、功能區域、學習機制四個層面從微觀到宏觀展望了受生物啟發的可借鑒於網路模塊、多模態記憶網路、發育學習、強化學習、遷移學習、知識學習、生成學習、概念學習等模型的模式識別方式。

報告四：自駕駛認知

報告人：李德毅院士，中國工程院院士、總參第 61 研究所研究員、中國指揮和控制學會名譽理事長、中國人工智慧學會理事長

概述：李院士在報告中闡述腦認知的內涵應該包含記憶認知、計算認知和交互認知三大塊，其中交互認知需要被額外重視。同時，李院士認為在自動駕駛的核心是物化駕駛員在開放條件下對不確定性駕駛環境的認知，重點是物化駕駛員認知，解耦出類腦的功能模塊，研發機器駕駛腦，和汽車一起構成輪式機器人；並呼籲業內人士需要大力發展基於駕駛的圖靈測試來推動我國類腦研究和無人車的產業化。李院士在整篇報告都一再強調對認知的度量，認為概念若不能形式化則對工程無意義。

二、報告中備受關注的研究方向

在各位院士教授的報告中，有多個研究方向備受專家學者關注，比如卷積表徵記憶、混沌系統編碼時序、類腦結構降低晶元功耗等。機器之心選取了「卷積與生物記憶」和「反向傳播演算法與腦研究」兩大研究方向進行解讀。

卷積與生物記憶

眾所周知卷積是數學中十分重要的一個概念，但如何用這個概念來表達記憶？我們可以隨李德毅院士所做的報告，進一步推導這一想法。當然，在我們了解卷積、推導用卷積表徵記憶之前，需要理解記憶和儲存的區別。

根據李院士的報告，記憶不是簡單的儲存，其伴隨一定的取捨，而取捨就是通過計算進行簡化和抽象的過程，記憶和計算總是同時發生的。通常，時間越長所丟失的信息就越多。記憶常常也存在聯想和搜索，而模糊信息的聯想與搜索恰恰也都是計算。所以無論語言記憶還是圖像記憶，他們本質上都是統計記憶，越是長期的、大量的和反覆的，就越難以遺忘。這裡就類似於模型的訓練，大量數據的訓練的模型可以獲得一個穩定、魯棒的系統。少量數據訓練的模型總是存在偏差，系統隨著新數據的加入而變得不夠穩定。

明確了什麼是記憶之後，接下來從數學定義和在深度學習中的應用兩方面，明確卷積這一概念。

1. 卷積的數學定義

相信很多讀者第一次接觸卷積都是在物理或概率論中，即兩個統計獨立變數 X 與 Y 和的概率密度函數是 X 與 Y 的概率密度函數的卷積。也即若有隨機變數 X、Y 相互獨立，且聯合分布（X、Y）服從概率密度 f（x，y），那麼隨機變數 Z=X+Y 的概率密度可由卷積公式計算：

那麼在泛函分析中，卷積（Convolution）是通過兩個函數 f 和 g 生成第三個函數的一種數學運算元，表徵函數 f 與 g 經過翻轉和平移的重疊部分的面積。所以在簡單定義下，設 f(x)、g(x) 是 R 上的兩個可積函數，作積分：

則代表卷積公式。

數學中的卷積概念並非通俗易懂，可以使用案例理解這一概念。假設你向一個漏斗加水，每一次加一小燒杯水（一燒杯水遠小於漏斗的容積），那麼每加一燒杯水，漏斗中都會多一些（漏斗一直在漏水）。每一次加水後漏斗中都凈增了一些水，這就像兩個函數 f(x) 和 g(t) 的積。

由於積分就是微元的加法，漏斗中水的總體積就是該卷積公式的結果。越早倒入的水對最後總體積增量貢獻越小，某一時刻的輸出是之前很多次輸入乘以各自的衰減係數之後疊加形成的，將不同時刻的輸出點放在一起，形成一個函數就是卷積。

因此在這一個案例中，f(t) 就是第 t 步所倒的水，g(x-t) 就是第 t 步所倒的水在 x 時刻的作用程度。

2. 卷積在神經網路中的基本概念

卷積神經網路是利用過濾器抽取像素值矩陣中的特徵，不過既然說到了矩陣，我們可以複習一下矩陣乘法和矩陣 Hadamard 乘積。以下分別是 Hadamard 乘積和矩陣乘法。

Hadamard 乘積

矩陣乘法

我們可以通過以下圖解理解 CNN 中的卷積：

其中，圖像的輸入深度為 3（RGB），顯示在第一列矩陣當中。濾波器 wo、偏置項 b0 和濾波器 w1、偏置項 b1 分別顯示在第二列和第三列。從上圖可以看出，圖像和濾波器對應位置乘積和再加上偏置項就得出特徵圖矩陣。例如特徵矩陣的第一個元素 3，其就是濾波器 w0 和對應圖像輸入矩陣的乘積和再加上偏置項 b0，即 X[:，:，0]×W0[:，:，0]+X[:，:，1]×W1[:，:，1]+X[:，:，2]×W2[:，:，2]+b0=0+2+0+1=3。

在卷積神經網路里，可以把卷積想像成一種混合信息的手段。想像一下裝滿信息的兩個桶，我們把它們倒入一個桶中並且通過某種規則攪拌攪拌。也就是說卷積是一種混合兩種信息的流程。

卷積事實上就是一種數學運算，跟減加乘除沒有本質的區別。雖然這種運算本身很複雜，但它非常有助於簡化更複雜的表達式。在物理和工程上，卷積都有著官方的應用。

那麼現在，我們再以上文為基礎探討一下李德毅院士眼中的卷積。李院士認為卷積之所以這麼重要，不僅在於其能抽取圖像特徵，更重要的是卷積能度量記憶。記憶的可度量性才是對科研和工程最重要的，其表達形式正是已有認知和遺忘的卷積。

為什麼已有認知和遺忘的卷積可以表徵記憶？我們可以從以下李院士所展示的案例理解這一概念：

在腦認知的形式化中，卷積公式可能佔據了重要的位置。正如上圖所示，水箱存水量即累積量，f(t) 即在第 t 個微元所增加的水量，而 g(x-t) 即第 t 個微元在時刻 x 的作用程度。所以 f(t)×g(x-t) 的累積量就是存水量，存水量也就表達了記憶。如果我們替換掉上圖的公式來表達記憶，那麼其可以寫為：

如上方程式表達，對於整體認知，遺忘和認知的乘積代表著某一時刻將遺忘這一效果載入到認知中。隨時間的流逝，遺忘效果不停地載入到認知上，即每一個時間步認知和遺忘都會乘積一次。並且認知函數 f(x) 對整個記憶 h(t) 的貢獻應該是隨時間增大而減少的，這一點正好體現在卷積的特性中，即 g(t-τ) 函數中。因此 f(x)×g(t-τ) 的積分便是記憶的累積量。

如若將上述表達式再細緻一點就可寫為：

這一組方程將感覺記憶、工作記憶和長期記憶進行了形式化表達，人的記憶認識形態和動態演化就能用下圖粗略地表達：

正如李院士所說，因為記憶包括識記、保持、再認和重現四個過程。也就是最開始由感覺記憶函數學習，但這個時候遺忘的速率是比較快的，隨後工作記憶函數採用更慢一點的遺忘速率保持記憶，並在幾次循環後達到長期記憶。

在之後的專題討論中，也有其他學者針對李院士所提出的形式化記憶表示肯定，並且該學者表明他們研究組可以從黎曼廣義動力學角度證明利用卷積表達認知和記憶是可行的。但需要確認的是在腦科學中是否存在實驗能證明這一觀點，即記憶到底在生物層面是如何產生的。

遺憾的是要在生物層面實現該證明還是十分困難的，因為腦科學領域暫時還沒有對記憶的運作原理有相關解釋，我們需要知道記憶發生在哪些區域、哪些神經元處理著記憶信息，才能理解記憶運作的機理。

反向傳播演算法與腦研究

在蒲慕明院士的報告中，一個重點是反向傳播演算法對腦研究的啟發可能是巨大的，即腦科學在啟發人工智慧的研究的同時，人工智慧的研究也會啟發腦科學的發現。對此，蒲院士做了進一步探討，希望能以其自身在反向傳播演算法和腦科學研究的經驗來展示人工智慧研究確實會啟示腦科學研究。

八十年代中期，反向傳播演算法（Backpropagation Algorithm，BP 演算法）的提出轟動了整個機器學習領域。該演算法令監督學習的發展十分迅速，甚至有學者表明如果沒有反向傳播演算法，深度學習不一定會實現（當然還是有不需要傳統反向傳播演算法的深度學習演算法：合成梯度）。

對於反向傳播演算法來說，如果輸出正確，那麼網路就保持不變；如果輸出錯誤，就會根據損失函數調整神經網路中神經元的權重，試圖修正錯誤。而對於腦科學來說，Francis Crick（諾貝爾獎獲得者）早就探討過反向傳播對腦科學的影響，並表明雖然反向傳播演算法十分高效且有趣，但他無法想像生物神經元能實現反向傳播這一概念。

因為反向傳播是計算模式，它通過輸出的錯誤來修正輸入的權重，這並不是生物機制。蒲院士表明現在情況好像有了改變，實驗證明反向傳播模式可能真的存在於生物機制中。不過在進一步了解這一機制前，我們需要了解什麼是反向傳播演算法。

反向傳播演算法必須從前向傳播說起，現假設有一個三層神經網路（圖一），我們先了解其正向傳播的基本概念。

圖一：三層神經網路示意圖

該神經網路有三層：輸入層、隱藏層和輸出層。輸入層和輸出層各有一個偏置項和兩個神經元。神經元的激活函數一般是非線性函數（如 f(x)=sign(x)）。而正向傳播的方式即前一層每一個神經元的值和對應傳向下一個神經元權重的乘積和，也就是對應神經元和權重的線性方程。如上假設標紅神經元的激活函數為 f(x)=sign(x)，前一層與該神經元連接的權重為 w0、w1 和 w2，那麼該神經元由正向傳播所得到的值為 f(w0*1+w1*x1+w2*x2)=sign(w0*1+w1*x1+w2*x2)。在 NN 里，輸入層每一個神經元一般對應著一個特徵值，而這些特徵由上文的方式正向傳播計算最終得到輸出層的類（Class），比如說圖像識別中貓或狗的類別。

現在，為了訓練這樣一個神經網路（當然結構比上文複雜得多，可能有多個隱藏層且每層有很多神經元），通常就是使用反向傳播演算法連續更新權重（即如圖一中的 w0、w1 和 w2），直到損失函數收斂到局部極小值（因為神經網路是非凸函數，不能收斂到全局最小值）。

簡單來說，反向傳播演算法最初所有的邊權重都是隨機分配的。對於所有訓練數據集中的輸入，人工神經網路都被激活，並且觀察其輸出。這些輸出會和我們已知的、期望的輸出進行比較，誤差會「傳播」回上一層。該誤差會被標註，權重也會被相應的「調整」。該流程重複進行，直到輸出誤差低於制定的標準。上述演算法結束後，我們就得到了一個學習過的人工神經網路，該網路被認為是可以接受「新」輸入的。該人工神經網路可以說從幾個樣本（標註數據）和其錯誤（誤差傳播）中得到了學習。

現假設我們計算了輸出節點的總誤差，並將這些誤差用反向傳播演算法傳播回網路，以計算梯度。接下來，我們使用類似梯度下降之類的演算法來「調整」網路中的所有權重，目的是減少輸出層的誤差。如下圖所示，輸出層的結果與標註之間的差為最開始的誤差，現在誤差沿著紅色箭頭向前一層傳播並更新權重。從數學上來說，由於最速下降法是一階導數，而誤差可藉由一階導數的鏈式求導法則向前傳播。

假設初始權重為 w0、w1 和 w2（如圖一所示），則更新後的權重為 w4、w5 和 w6（如圖二所示）。

圖二：誤差反向傳播示意圖

如果我們現在再次向網路輸入同樣的樣本，網路應該比之前有更好的表現，因為為了最小化誤差，網路已經調整了權重（如圖三所示）。採用更新後的權重計算將使得誤差減少，這意味著我們的網路通過誤差更新權重，學習了如何正確地進行分類。

圖三：網路權重調整示意圖

用我們數據集中的其他訓練樣本來重複這一過程，則可視為神經網路學習了這些例子。

當然反向傳播演算法的具體數學式我們並沒有推導，但其主要就是遵循鏈式法則進行求導，如果感興趣的話，我們推薦 Andrew Ng 的 Machine Learning 課程，該課程對反向傳播演算法有詳盡的解析。

至於反向傳播演算法到底如何影響腦科學的研究，蒲院士在報告中有提供實驗能觀察到這一現象。在體外培養的神經元里，神經元可以相互產生連接，我們可以用這四個神經元記錄其電位反應（如圖四所示）。這四個神經元之間可以產生 16 個連接，我們就可以測量這 16 個連接里是否產生了權重的改變，即產生了 LTP（長時程增強，短時間快速重複高頻刺激傳入 N 元，突觸傳遞效率長時程增強）。比如說我們刺激神經元由 E2 到 E1，那麼現在觀察上游和下游的神經元突觸到底有沒有變化。

圖四：四個神經元電位反應實驗結果（圖片來源：報告文稿）

蒲院士表示，在實驗中有九個連接有神經反應，其中的三個連接也有強化現象。強化現象不是說會產生記憶儲存的地方，其可以傳到網路裡面其他的突觸，這個現象我們稱逆向傳播；而且不僅有逆向傳播，還有側向傳播。這個現象與在神經網路中的情況很相似。最後他們的試驗結果表明，假定一個突觸產生了 LTP 或 LTD，那麼神經元就會將這一信息反向傳播，產生強化就會增強電位差，弱化就會削弱電位差。這裡與反向傳播演算法傳遞誤差類似，因為產生錯誤就會得到電位抑制，也就是產生 LTD，那麼這一弱化信號反向傳遞到其他神經元就會得出相似的效果並得以更新電位差與神經元狀態。

三、專題討論部分提問及回答

專題討論一：腦科學如何支持人工智慧的發展

主持人：王佐仁，中國科學院上海生命科學研究院神經科學研究所副所長、高級研究員

參會人：

• 郭愛克，中國科學院院士、中國科學院生物物理研究所、中國科學院上海生命科學研究院神經科學研究所研究員

• 蒲慕明，中國科學院外籍院士、中國科學院神經科學研究所所長

• 徐波，中國科學院自動化研究所所長

• 何生，中國科學院生物物理研究所研究員、腦與認知科學國家重點實驗室主任

• 蔣田仔，中國科學院自動化所腦網路組研究中心主任

• 魯華祥，中國科學院半導體研究所研究員

• 楊天明，中國科學院上海生命科學研究院神經科學研究所研究員

• 崔翯，中國科學院上海生命科學研究院神經科學研究所研究員

圖為專題討論一的現場；圖中從左到右分別對應上述參會人（拍攝：機器之心）

問題 1：現在的神經網路都沒有談到同步和非同步的問題，或者能做到大多數同步。若希望將時間編碼融入到空間編碼裡面，神經科學在哪些方面能提供借鑒？

回答1：對於時間編碼這個問題，個人覺得核心的一個概念是時間在大腦中如何表徵。實際上多個不同的研究表明，大腦在很多情況下對時間的編碼是模糊的，只有在非常特殊的情況下有例外。就像大多數人都通過戴手錶來看時間，絕大多數情況下，我們大腦對時間的感覺是非常不精確的。運動控制在小腦時間編碼非常重要。

回答2：時間的維度在神經網路中的表達，很多腦神經網路可能沒有用空間的概念，新的神經網路裡面已經開始用了。

回答3：就時間如何編碼這一問題，現在領域裡做大腦中關於時序處理主要用一種叫遞歸神經網路的模型來做。這個遞歸神經網路的一個特性就是在這個網路裡面存在著大量的相互連接，可以是興奮性及抑制性兩種連接同時存在，這個網路就可以顯示非常多的動態性。如果把參數調到某一定範圍的話，還可以產生一種混沌的狀態。混沌系統有非常強大的編碼能力，能把時序信息編碼在裡面。現在領域中有很多的工作用這種混沌或者接近混沌的遞歸網路神經系統去描述大腦是如何運作。比方說，去學習一些在時間上要求非常精確的運動的任務。雖然說現在還不明確大腦中處理記憶的機制，但個人認為是一個非常有前景的領域研究方向。

回答4：微分動力系統裡面基本上有三種情況，一種是不動點，一種極限圈，還有一種混沌。這三種情況都不是描述表徵時間信息的方法，這就為什麼好多遞歸神經網路研究進展不下去的非常重要的一個觀點。我也認為小腦對於精確控制時間是非常重要的。業內對小腦中的神經網路研究比較少；反而對於傳統的神經網路相關時間編碼的研究已走進死胡同了。關於序列信息或者語言信息如何產生，用遞歸神經網路的方法來研究，個人認為很難再走得很遠。

回答5：通過複雜性的提高，其實許多有時序的東西都能全部編碼在網路上。以前在我們的工作中，比如語音是最典型的時序信息，模型輸出有三個狀態和四個狀態。現在我們最新結果都不是這樣的，輸出就是一個狀態，就是一個神經元，時序全在網路上完成編碼。所以從這個角度來說，我們原有的神經科學對時序的處理，在這裡面很難去啟發；但是最本質的問題，我們用現有的人工神經網路再往前去走的話，對計算量、對學習這種數據的要求會越來越高。比如說我們最基本的講類腦和受腦啟發，要用脈衝神經網路；這裡如果用基本的模型如脈衝神經網路，可能大量的腦科學裡面對一些這種時序的處理機制都會有缺陷，包括蒲先生講的傳遞之間每個都有五到七毫秒的延時。雖然數學上是最優的，但也更加耗能，且光從準確率角度來說還是挺困難。

問題 2：腦科學、認知神經科學或者神經生物學與人工智慧的相關性如何？如何給人工智慧提供有用機制？

回答 1：認知神經科學比腦科學更高一個層次，包括心理學的概念；認知神經科學嚴格來講以神經科學為基礎，是心理學的概念；神經科學以神經生物學為基礎。應該講從最合適的物質和思想結合考慮，腦科學比較合適，認知神經科學的物質基礎相對差一點。

回答 2：現在深度神經網路這麼流行，很難說其根本的來源是認知科學還是具體的人。可以稱其屬於跨腦科學與認知科學的層次。個人認為更偏計算認知神經科學。

回答 3：個人認為現在腦科學對人工智慧這個領域貢獻最大的一些發現還都屬於微觀層次的。比如像赫伯學習定律、突觸學習機制，其在生物中首先發現，到現在基本上是做人工智慧的神經網路當中最重要的計算原理。還有其他包括神經迴路的許多發現也是現在深度學習的重要基礎。像我們研究的神經生物學，有在研究比較高層的認知，也有比較底層的分子、突觸、細胞之間的連接，這些都會對整個領域有貢獻。

回答 4：我來自中科院半導體所，我們研究神經網路，更偏重於從晶元的角度來做神經網路這方面的工作。從做晶元的角度來說，受腦科學的啟發還是挺多的。從微電子的角度來說面臨 1）性能；2）功耗等問題，從神經元的工作機理中可以得到啟發。其次，神經元分群這種群的結構，若能做到可塑性，對晶元設計製造來說有很大幫助。通過後期的可塑讓晶元完成不同的功能，類似 FPGA 的結構；同時群內部互聯也將更多有聚類的形態。

回答 5：在腦科學或者是生物學裡，若有研究數學方面的人才加入會更好。特別是如突觸、神經的一些現象，用數學來表現，就可一目了然；如果不用數學表現，用生理學的這些詞和說法來講，和社會學一樣很難用數學來表現，其研究進度總是沒有辦法提升。比如剛才蒲院士在講的，一個脈衝會產生一個電壓的變化，再有一個電壓的變化形成的疊加就是卷積。如果用數學的表示就是卷積，並把脈衝的頻率當成函數的話，後面這個電壓的變化就全是純函數。實際上這個可以用數學來表示的，如果每一個小的一點點用數學表示，把方程式統合在一起，工學就很容易實踐了。

回答 6：我自己在研究基於脈衝神經網路的學習演算法，覺得目前基於脈衝神經學習計算，面臨較大的挑戰或制約之一是編碼問題。比如說圖像總要把它編碼成脈衝序列，但之後神經元之間究竟是採用哪種模型來學習，用什麼方式學習還未知。編碼是一個能夠影響脈衝神經元在未來人工智慧行業發展的非常關鍵的問題。

專題討論二：類腦智能的態勢與發展研討

主持人：劉成林，中國科學院自動化研究所副所長、模式識別國家重點實驗室主任

參會人：

• 蒲慕明，中國科學院外籍院士、中國科學院神經科學研究所所長

• 陳熙霖，中國科學院計算技術研究所副所長

• 徐波，中國科學院自動化所所長

• 李永傑，電子科技大學生命科學與技術學院神經信息教育部重點實驗室教授

• 侯增廣，中國科學院自動化研究所複雜系統國家重點實驗室副主任

• 黃鐵軍，北京大學信息科學技術學院教授、計算機科學技術系系主任

• 呂金虎，中國科學院數學與系統科學研究院研究員

圖為專題討論二的現場；圖中從左到右分別對應上述參會人（拍攝：機器之心）

專家就主題發表的核心觀點：

• 陳熙霖：今天深度學習的成功是數學的成功，基本上和腦的關係不大。工業界花很多時間去做深度學習是沒有問題的，但作為學術界，學術界應該花更多的精力跳出深度學習。

• 李永傑：視覺系統研究其實有很多生物的智能都可以借鑒，比如說像郭院士研究的果蠅，包括其他一些擁有獨特視覺優勢的動物。他們擁有的獨特視覺能力是人類很難達到的，比如說貓的夜視能力。

• 侯增廣：現有機器人更多為工業機器人，其智能僅停留在增強人的能力，遠遠沒有達到智能水平。所以將來人工智慧或者是腦科學發展到一定程度，為機器人能夠提供一些技術的時候，機器人完全可以融入我們這個社會。

• 黃鐵軍：1）如何達到通用人工智慧是我們應該首先討論的話題；2）當我們談從腦科學、類腦、仿腦的時候，一定要分清楚層次，最最基本的層次一定分清楚功能和結構兩個層次。雖然目標是功能，但必須先考慮什麼樣的結構實現這個功能，若不考慮層次是給自己找了一個難的挑戰性問題；3）強人工智慧需要有新的計算平台來執行運算，才能逐漸走向實現強人工智慧的目標。

• 李金國：實現 1）智能湧現的機理；2）神經元可塑性等自組織的能力的機理；3）學習的機理 這三個挑戰，對人工智慧的發展有推動性作用。

問題 1：譚院士下午提到關於腦啟發計算，報告最後一個例子就是概念學習，他引用的那篇文獻就是 15 年一篇 Science 的文章，但實際上這篇文章還是用數學的方法，不是生物的神經的機制；文章用貝葉斯規劃的話以文本的識別或者是文本類型的這種識別來做推理，以筆劃作為基本的單元部件，再用貝葉斯數學的方式來推理的。這種方式來做概念學習的話，在我們實際工程裡面屬於非常簡單的例子，但這種計算量還是非常大的。我的問題是，就概念學習這種方式，除了我們在如果沒有生物啟發的話會用數學的方式做，若從神經的機制，我們現在還有沒有這種實驗的可能來觀測概念形成的過程？現在有沒有實驗條件來觀測概念的形成過程？

回答 1：現在可以通過觀測在活體大腦里大量神經元放電的狀態判斷其在放電。因此就概念學習這一方向，以祖母的例子為例，祖母的概念形成之後，我們也可判斷祖母的名字在語言區或者其他區域造成放電與你看到祖母的面孔在面孔區放電是不是同步。我們假設說概念的形成，就是各個腦區跟祖母相關的神經元一起放電，形成大的集群，即假如一起都出現了電活動就是概念。我們可以讓一個人想祖母的概念，並繼而觀測哪些神經元有活動；可以通過觀測激活了哪些區域的神經元來判斷是否能夠喚起祖母的概念。這個實驗是有可能做成，但是技術上還有困難。在人身上是不能做，但是在猴、鼠上可以做。至於在鼠或者猴上檢測到概念的方法，比如在猴上，可能可以做到通過檢測面孔，或做用猴做載體的檢測來實現；當然也有利用宏觀的影像來觀測大面積的電活動在各個區域是否同時出現。跟概念相關的實驗，必須要能夠操縱概念生產的因素，才能決定其產生現象的因果關係。

問題 2： 李老師說他已經用卷積來表示了認知和記憶，我們從黎曼廣義動力學角度證明出來這個觀點是對的。但我們是否能基於從腦神經機制中得到一些發現，通過神經科學實驗來驗證這個觀點？

回答1：就人能記住別人的面孔這一能力，就能確信的是在腦的某些區域你的面孔是被儲存的，但是具體儲存在什麼地方、儲存在哪些網路里還沒有搞清楚，同時也不知道其運作原理。我們現在需要先知道是哪些區域、哪些神經元處理這個記憶的信息，然後我們還需要能夠觀測記憶是怎麼形成的、怎麼樣汲取的，最終才能慢慢理解其工作原理。但現在完全不清楚。

回答2：從神經科學角度來說記憶的基點不太清楚；可能還涉及到另外一個現在有所爭論的方面，即現在我們用的主流的人工神經網路與生物的神經網路之間是不是有一定的相似性，或者是不是受到生物神經網路的啟發而構建的。早期模型的構建還是受到一些神經網路的啟發，如50年代提出的感知模型是受到神經科學的啟發，但是現在的人工神經網路，如全連接前向神經網路和卷積神經網路，和生物神經網路之間的相似性已經比較少了，只能說搭建時受到一些神經網路的啟發。

回答3：這種實驗方向主要是通過腦機介面的方式實現。比如說某一個概念激活了哪些神經元，我們把這種運行機制物化並提取出來，然後用一個解碼的方法解碼出一個具體的概念，但是這還是個非常複雜的過程。怎麼去學習，怎麼了解其編碼及解碼過程，還有本身記憶彌散在我們整個大腦里但具體哪一塊區域跟我們所需要信息相關，這些問題都比較有特異性，且需要進一步了解。比如說語言中樞，可能我們講話的時候，產生的語義的表達一定是在某個語言中樞的一個區域裡面，這個區域裡面我們再通過一個其他的表達產生的迴路，形成驅動。

問題 3：現在腦科學太複雜，我們有沒有可能在可以預期的時間內，把腦的一個高級的功能解析出來？若我們對大腦功能的解析在短期還處於探索階段，深度學習再往前會怎麼走？

回答1：進化過程就是大數據訓練，人類大腦的進化過程也靠了不少大數據的訓練。下一步深度學習的網路、規模、連接要複雜化，並且有更多動態行為。深度學習還會出現越來越複雜的模型，或跟腦的結構類似，也有可能跟腦的結構不類似。用更複雜的結構去訓練，自然會產生更多的可能性。

回答 2：深度學習發展非常快，大概三個月就會出現不同的新方法。比如我們原來權重連接都是 32 位浮點數表示，現在都可以變成 01 了，即所謂的量化神經網路。01 當然會有點精度的損失，但是變成三位四位這個基本上不會任何損失的。同時從實現效率來說，能耗會降很多。除此之外像神經網路的其他領域現在也有一些進展，現在深度學習也在很多研究區域去學習不同的甚至異構功能，他從不同的結構之間相互去學習。包括小數據。記憶很重要，是因為在記憶使用一些機制後，其就可成為 Zero-shot 學習，或者是 One-shot 學習，這兩種學習對沒見過的數據也能處理。深度學習領域在不斷的發展，從機理上和神經科學也許沒有太多關係，至少從認知這個角度來說，吸收了很多認知科學的原理。但是類腦只是一條技術路徑，將發展到什麼地方停止，很難預計。但是至少我們從腦科學、神經科學的角度，從另外一條路徑往前走，這兩條路徑相互啟發，可能每一條路都會走得更快一點。事實上像我自己團隊（中科院自動化所）裡面就有兩個團隊，一個就做深度學習加記憶這樣的量化神經網路，另外一個團隊就在做脈衝神經網路（Spiking Neural Networks，也簡稱 Spiking）。脈衝神經網路最大的一個問題就是全世界在這個領域裡面做的人太少了。深度學習開源，業內最優秀的人都這塊領域，其代碼和工作效率擁有非常好的基準，發展也非常快。我們做脈衝神經網路的團隊大概有四五個開源的，就拿我們數據去測一點，效率差別很大，裡面代碼的錯誤一大堆，跑出來的結果也不一樣，包括每個神經元的基本的數學模型在實現上沒有差別。所以我說一定鼓勵做脈衝神經網路領域的人來開源，這樣走得更快一點。

回答 3：深度學習是一個做的比較好的複雜函數的擬合器，現有看到所有深度學習最成功的例子都是在那些局部上相關性比較好的，當然現在語言 LSTM（Long Short Term Memory Networks）來了以後他也是通過記憶構建局部相關性。我們看到的東西在屬性、類別到語義之間是個漸進的過程，我們可能比較容易解決的是屬性類別，但實際上屬性類別也是一個相互互為因果的關係。