從蔡少棠到王智剛：打造基於憶阻器的類腦深度學習計算機

新智元推薦

上世紀 50 年代，馮諾依曼提出了馮諾依曼架構，成為計算機的基礎核心架構沿用至今。半個世紀過去了，其實計算機最核心的計算部件 CPU 並沒有本質變化，與當年馮諾依曼的設想相比，只不過做的更小了，集成度更高了，計算能力更強了。但是最近幾年，計算技術有了突破性的進展。

進展主要在兩方面，一是類腦晶元的出現，一是量子計算的研發。我們今天聚焦前者。

類腦計算晶元的核心想法完全突破了以前馮諾依曼基於加法器的計算框架，改從神經元的角度製造一個晶元。這個晶元中，沒有我們在通用 CPU 中看到的東西，而是一個個神經元，神經元之間則通過神經元的突觸連接起來。這樣的架構天生就是一個神經網路，可以完成基於神經網路的一些演算法，比如 CNN 或者 DNN 演算法，有天生的優勢。

目前，一個晶元上有上百萬個神經元與神經元之間的連接，synapses（神經突觸）可以達到兩億五千多萬個。這樣一個非常複雜的晶元功耗非常低，只有 70 毫瓦。1個智能手機的功耗在 5 瓦左右，它的能耗是手機的 1%，是筆記本電腦的千分之一。所以可以設想一下，一個擁有上百萬個神經元，幾億個神經觸突的晶元，可以做得如此的小，如此的低功耗，去運行模式識別或者深度學習這樣的任務，然後放在各種各樣的感測器上，這就是現在大家都在談論的邊緣計算。

事實上，在 20 世紀 80 年代，超大型體積電路 （VLSI）主要研製者之一 Carver Mead 已經開始利用大規模集成電路來實現此類神經網路計算功能，這項工作獲得了美國太空總署（NASA）與國家衛生研究院（NIH）的重視。

然而在相當長的一段時間裡，基於傳統互補金屬氧化物半導體（CMOS）技術的類腦計算晶元的實現一直進展緩慢。

2008 年惠普公司的研究人員首次做出納米尺寸的憶阻器件。這使得類腦計算晶元的研究有了突飛猛進的發展，它可有效實現可調節突觸強度的生物神經突觸和神經元之間的互聯，從而為類腦計算晶元的快速發展奠定重要基礎。

英國 Kent 大學計算機學院院長、IEEE 計算機協會英國分會主席王智剛教授多年來致力於基於憶阻器的模擬人類大腦的深度學習機器研究，希望打造一個由神經元和憶阻器突觸構成的神經網路計算機。在 2017 年 5月 12 日舉辦的北京市腦科學和類腦計算沙龍上，王教授就他的研究和大家做了題為《建造一台類腦深度學習計算機》的分享。

建造一台受大腦啟發的深度學習機器

1981 年諾貝爾醫學獎獲得者 David Hubel 和 Torsten Wiesel 發現大腦可視皮層是分級的。所以說，人腦就是一台深度學習計算機。

王智剛教授多年來致力於基於憶阻器的能夠模擬人類大腦的深度學習機器研究，希望打造一個由神經元和憶阻器突觸構成的神經網路計算機。

根據他的設想，憶阻器相當於大腦內的突觸，處理器相當於神經元細胞。一台這樣的機器小到可以放在桌子上。而使用當下的半導體技術，其佔據的面積可能相當於一個足球場。

蔡少棠院士。順便一提，他是「虎媽」蔡美兒的父親。

憶阻器之父蔡少棠院士（Leon Chua，美國加州大學伯克利分校）於 1971 年第一次提出憶阻器的概念。他在研究電荷、電流、電壓和磁通量四者之間的關係時，推斷在電阻、電容和電感器之外，應該還存在一個代表電荷和磁通量之間關係的組件。藉助該組件，電阻會隨著通過電流量而改變；當電流停止時，該電阻仍舊會停留在當前值。

2008 年來自惠普實驗室的 Stan Williams 及其團隊在《Nature》上發表了論文《The Memristor：Missing Circuit Element Found》，以實驗的方式認定憶阻器是存在的。從原理上講，憶阻器具備尺寸小、能耗低的優點，並能夠高效地儲存和處理信息，一個憶阻器的工作量相當於一枚 CPU 晶元中十幾個晶體管共同產生的效用。自此，在憶阻器被提出 37 年之後，重新引起了憶感器方向上的研究熱潮。

事實上，惠普實驗室所製作的憶阻器與蔡少棠教授所預測的憶阻器還是存在一些差異的。例如，蔡教授預測的憶阻器是一種連接磁通量 Φ 和電荷 q 的元器件，而惠普製造的憶阻器既沒有磁通量也沒有電荷，它相當於一個化學過程。但在蔡少棠看來，惠普所製造的憶阻器在外部行為上表現為電壓和電流二者之間關係，雖然沒有 Φ 和 q 數學量，但是可以實現憶阻器應有的功能，還是應該視為憶阻器。

研究人員表示，憶阻器器件最有趣的特徵是它可以記憶流經它的電荷數量。按照蔡少棠教授的初始想法——憶阻器的電阻取決於多少電荷經過了這個器件，即讓電荷按某一方向流過，電阻會增加；如果讓電荷以反方向流動，電阻就會減小。簡單地講，這種器件在任一時刻的電阻都為時間的函數——有多少電荷向前或向後經過了它。如果這一簡單想法能被證實，將對計算及計算機科學產生深遠而重大的影響。

利用憶阻器製作一個簡單的神經網路計算機電路，根據 Hebbian 定律：當神經元A的軸突離神經元 B 很近並參與了對 B 的重複持續興奮時，這兩個神經元或其中一個便會發生某些生長過程或代謝變化，使得 A 成為了能讓 B 興奮的細胞之一，它的效能增強了。

通過憶阻器狀態轉換就可以記錄下巴普洛夫條件反射——當狗聽到搖鈴，就會流口水。

在另一個實驗中，阿米巴蟲在不同溫度的水中游的速度不同，每隔 1 小時給水降溫幾分鐘，阿米巴蟲就停止遊動，等水溫回升它會繼續遊動。連續幾小時的相同降溫後，不再降溫，但是阿米巴蟲在原先降溫的那幾分鐘里，依然不遊動，幾個小時後，阿米巴蟲發現「被騙了」，於是不會在那個時間段停止遊動。如果在下一個小時給水降溫幾分鐘，則阿米巴蟲仍然會在接下來的幾個小時的相同時間段停止遊動。

針對阿米巴蟲實驗，利用憶阻器製作等效電路，該電路的核心元件是憶感器，輸入量為溫度，速度用電容上的電壓來代替。該實驗可以模擬阿米巴蟲的行為，從這個實驗可以間接地認為阿米巴內部有一個憶阻器。

用憶阻器製作下一代存儲器——這種存儲器非常簡單，僅僅需要水平坐標 x 和垂直坐標 y，中間用導線連著憶阻器。只要給出一個 x 值和一個 y 值就可以定位到一個地址，在 對應的 x 軸加一半的電壓，在對應的 y 軸加一半的電壓，只有兩個同時滿足，目標元件才可以正常工作，只得到一半電壓的元件是不能正常工作的。

憶阻器存儲器相對於晶體管存儲器的優勢在於其密度大，集成度高，結構簡單，而且憶阻器不會揮發。我們預測，有望利用憶阻器製造下一代計算機器——神經網路計算機 。

深度學習極大地改變了人工智慧面貌，目前普遍認為，人工智慧的春天來了，可作為突觸的憶阻器也可用於深度學習神經網路。

王智剛教授簡介：英國 Kent 大學計算機學院院長、教授、IEEE計算機協會英國分會主席。2004年被任命為劍橋Cranfield高性能計算中心網格中心主任主任（由劍橋大學等出資四千萬英鎊建立）。2006年當選英國皇家計算機學會Fellow，並且是英國政府重點基金項目EPSRC e-Science評審專家和愛爾蘭科學基金（SFI）高端計算組專家。2007年ACM/IEEE超級計算存儲挑戰決賽獎（美國計算機學會/IEEE學會）第一獲獎人。研究興趣包括：類腦計算、憶阻器及其理論、神經網路、非圖靈體系結構、大數據、雲計算、綠色計算等。在世界範圍內多次應邀做主題演講，包括美國普林斯頓大學、卡耐基梅隆大學、歐洲核子研究中心、香港科技大學、希臘亞里斯多德大學以及南非約翰內斯堡大學等。

關於北京市腦科學和類腦計算沙龍：沙龍由北京市腦科學和類腦計算沙龍由北京市腦科學與智能技術研究院、清華大學類腦計算研究中心主辦，北京市科技信息中心等單位承辦。主持人由清華大學類腦計算研究中心主任、千人計劃特聘教授施路平擔任。

點擊【閱讀原文】查看新智元招聘信息。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！