新型憶阻器晶元：更適合機器學習和大數據！

導讀

最近，美國密西根大學的研究人員開發出一種新型憶阻器晶元，它能夠突破傳統計算機體系結構所遭遇的瓶頸，更加適用於人工智慧的機器學習系統，更好應對複雜的大數據問題，且功耗更低、速度更快。

關鍵字

馮·諾依曼體系結構、憶阻器、機器學習、大數據、人工智慧、晶元

背景

今天的創新技術介紹，還是從著名的「馮·諾依曼體系結構」開始。馮.諾依曼體系結構在計算機技術中有著十分重要的地位，現代大多數的計算機都是按照這個體系結構進行設計的。

那麼，什麼是馮·諾依曼體系結構呢？

顧名思義，這種計算機體系結構是由美籍匈牙利科學家馮·諾依曼（John von Neumann）於1946年提出。一句話來說：

它是一種將「程序」和「數據」放在同一存儲器中的體系架構。

馮·諾依曼提出了「存儲程序」的原理，將程序指令也看作成一種「數據」，和普通數據一樣，存放於同一存儲器中。

接下來，我們通過一張示意圖，更好地了解一下馮·諾依曼體系結構的架構：

（圖片來源於：維基百科）

傳統的計算機教科書都會說明，馮·諾伊曼結構的計算機分五部分：輸入設備、輸出設備、存儲器、運算器和控制器，其中控制器和運算器統稱為中央處理器即CPU。

存儲器（內存）用於存儲程序指令和數據，CPU則用於執行指令和處理相關數據。幾乎所有的馮·諾依曼型計算機CPU，工作都可分為五個階段：取指令、指令解碼、執行指令、訪存取數和結果寫回。然而，其中不少的工作需要和內存進行交互，所以對於這個架構，我們需要特別注意：

CPU和內存是分離的。

然而正是由於這樣，才導致了所謂的「馮·諾依曼瓶頸」：

CPU與內存之間的吞吐量（即數據傳輸率），相比於內存的數據容量，顯得相當小。數據吞吐量也遠遠低於CPU處理數據的工作效率。

例如，當CPU對於大量的數據，只需要進行簡單的指令處理時，這種數據傳輸率就會嚴重影響處理速度，照成數據的傳輸和處理之間，在速度上的不匹配，也就是說CPU必須停下來，等待內存中的數據傳輸過來。

隨著計算機技術的進步，CPU的處理速度在不斷提高，內存的容量也在不斷擴大，但是內存訪問速度的增長卻緩慢，這樣導致瓶頸日趨嚴重。

如今，我們已經進入「大數據」的時代，人工智慧的機器學習技術正迅速發展。但是，由於傳統的計算機硬體體系結構所存在的瓶頸，CPU和存儲器之間進行數據通信時，會出現低速度和高能耗的情況。同時，這樣也會帶來傳統計算機成本和體積進一步增加。

針對這一瓶頸，業界也有一些解決方案，例如：存儲器時鐘頻率、增加匯流排寬度和緩存Cache等技術。筆者曾在《新型緩存技術：將計算機應用程序運行速度提高9%》一文中介紹過緩存相關的創新技術。

但是，它們都是在緩解問題，並不能從根本上解決問題。

創新

最近，美國密西根大學的研究人員進行相關的創新探索，他們受到了哺乳動物視覺系統的啟發，開發出了一種新型的計算機電路，即憶阻器。它可以更好應對複雜的大數據問題，例如：大量的圖片和視頻，並且功耗更低、速度更快。

憶阻器，不僅可以用於存儲數據，還可以實現邏輯計算。所以，它可以有效解決CPU和內存之間速度不匹配的問題，也就是所謂的「馮·諾依曼瓶頸」和「內存牆」的問題，進一步突破帶寬和功耗所帶來的限制。

密西根大學電氣工程和計算機科學專業的教授盧偉（音譯），是這項研究的領導作者，相關研究論文最近發表於《自然納米技術》雜誌上。

（圖片來源於：密西根大學）

技術

接下來，我將從技術角度，帶大家深入觀察一下這項創新技術。簡單說，科研人員要打造的是一種用於下一代計算機的組件，他們想要利用模式識別的方法，進一步解決傳統計算機在處理大量圖片時所面臨的速度和能耗問題。

他們提出了一種能夠快速有效地分析和重建圖像的新方案，核心技術可以從兩方面講：硬體方面，採用的是「32×32憶阻器陣列」；軟體方面，採用的是「稀疏編碼」演算法。下面，我們分別介紹一下這兩項核心技術。

• 憶阻器

憶阻器，相信大家並不會陌生，筆者曾在《蘇州大學科學家利用二維材料製成阻變式存儲器！》、《新型納米級憶阻器誕生：可實時處理神經活動數據》、《新型納米級憶阻器誕生：可實時處理神經活動數據》這幾篇文章中為大家介紹過。讓我們再回顧一下：

憶阻器，英文名 「Memristor」 ，這個概念最早由任教於美國柏克萊大學的華裔科學家蔡少棠於1971年提出。他推斷在電阻、電容和電感器之外，應該還有一種電氣組件，可以代表著電荷與磁通量之間的關係。

憶阻器，是一種有記憶功能的非線性電阻，它的電阻會隨著流過的電流而改變。在斷電之後，即使電流停止了，電阻值仍然會保持下去，直到反向電流通過，它才會返回原狀。所以，通過控制電流變化可以改變它的阻值，然後例如將高阻值定義為「1」，低阻值定義為「0」，就可以實現數據存儲功能。人們通常將它用於構建高密度非易失性的阻變存儲器(RRAM)。

2010年，惠普實驗室再次宣布，憶阻器具有布爾邏輯運算功能，這對於計算機學界來說，是一個大新聞。它意味著：計算和存儲兩大功能可在憶阻器上合為一體。然而，傳統的馮·諾依曼體系結構是將邏輯計算和數據存儲分開，用處理器和存儲器分別來實現。所以，相對傳統計算機，憶阻器將更為高效。

憶阻器網路，與生物大腦的神經網路相似，可以同時處理許多任務。最重要的是，它無需反覆移動數據。它可以並行地處理大量信號，特別適合於機器學習系統。對於實現深度神經網路而言，憶阻器相對於傳統計算機系統結構，是一個更好的選擇。深度神經網路，是機器學習研究中的一個新領域，它旨在建立一個模擬人腦進行分析學習的神經網路，模仿人腦機制來解釋圖像，聲音和文本等數據。

• 稀疏編碼

要了解稀疏編碼這個概念，我們還是從人眼視覺感知機制說起。人眼視覺系統是一種高效的圖像處理系統，從視網膜到大腦皮層存在一系列細胞，會以「感受野」的模式進行描述。感受野，是處理視覺系統信息的基本結構和功能單元。但是，單個神經元只對某一頻段的信息呈現較強的反映，如特定方向的邊緣、線段、條紋等圖像特徵。所以，它的感受野具有局部性、方向性和帶通特性。

那麼，神經元是如何對於這些刺激進行表達的呢？

答案是，它則採用了稀疏編碼(Sparse Coding)原則，將圖像在邊緣、端點、條紋等方面的特性，以稀疏編碼的形式進行描述。從數學的角度來說，稀疏編碼是一種多維數據描述方法，具有存儲能力大、聯想記憶能力、計算簡便、處理速度快等優勢。

對此，我們看看盧偉（音譯）教授的解釋：

「當我們看到一個椅子，我們會能夠識別它，是因為它的特徵和我們存儲在大腦中的椅子圖片相似。儘管並不是所有的椅子都一樣，而且有些和大腦中作為標準的原型不一致，但是每個椅子都保留了一些可以很容易被識別的關鍵特徵。基本上，物體在被正確地分類（以恰當的分類「存儲」在我們大腦中）的時候，它就能被正確識別。」

同樣地，盧教授設計的系統也能夠十分高效地檢測圖案，而且可利用儘可能少的特徵，來描述原始輸入。盧教授說，在我們大腦中，不同神經元用於識別不同的圖案。

「當我們看到一幅圖片，用於識別它的神經元將變得更加活躍。這些神經元也將互相競爭，進而自然地創建一個有效的代表。我們將這種策略實現到我們的電子系統中。」

價值

（圖片來源於：密西根大學）

研究人員訓練他們的系統可以學習圖片「字典」，通過在一些列灰度圖像模式的基礎上進行訓練，憶阻器網路能夠重建一些著名的圖畫和照片，以及其他的測試圖案。

這個系統有望集成進感測器和攝像頭等小型設備中，用於實時處理和分析視頻和圖像。快速高效地處理大量圖像，特別是對於無人駕駛汽車來說，具有十分重要的意義。

另外，由憶阻器構建深度神經網路，打造人工智慧系統，將在圖像、語音、自然語言處理等方面具有廣闊的前景。這項研究再次讓我們感受到了憶阻器在人工智慧和下一代計算機等方面的巨大價值。

參考資料

【1】http://ns.umich.edu/new/releases/24856-next-gen-computing-memristor-chips-that-see-patterns-over-pixels

【2】Patrick M. Sheridan, Fuxi Cai, Chao Du, Wen Ma, Zhengya Zhang, Wei D. Lu. Sparse coding with memristor networks. Nature Nanotechnology, 2017; DOI: 10.1038/nnano.2017.83

【3】https://en.wikipedia.org/wiki/Von_Neumann_architecture

需要進一步探討交流的朋友，請直接聯繫作者微信：JohnZh1984，或者微信關注公眾號：IntelligentThings。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！