神經網路要從原子抓起：原來白花花的銀子才是神經晶元的未來
編譯 ziqi Zhang
審校 波波
最近幾年，神經網路、深度學習的風靡程度簡直可以跟當年美國19世紀中期的淘金熱同日而語。大量研究者從傳統的「機器學習」方法轉向了對「神經網路」的研究。的確，一方面由於大量訓練數據作為支撐，另一方面其內部的原理模仿了人類大腦神經網路的基本構造和功能，使得「神經網路」這一方法獲得了不錯的效果。
然而，伴隨著機房裡成排的「伺服器」發出巨大的轟鳴聲，你花費著幾個星期甚至幾個月的時間，去訓練一個人類幾秒鐘就可以解決問題的神經網路的時候，你是否想過有一天會出現一個實體？它能真正模仿人類大腦神經的結構和功能，而不再需要依靠代碼構造假的神經網路。
最近，在加州大學洛杉磯分校（UCLA）的加州納米系統研究所（CNSI），研究人員成功開發出了納米級別的神經元晶元，其功能和結構與人類大腦極為相似。
大腦，作為人類最重要的器官之一，不僅僅賦予人類相比動物更加敏銳的思維和解決問題的能力，同時還是身體上執行效率最高、能量轉化率最充分的器官。人類大腦的功耗僅僅是一枚20w白熾燈泡的能耗，相反，作為世界上運算速度最快的計算機之一，日本神戶K型超級計算機的功耗竟高達9.89兆瓦，相當於10000戶家庭的用電需求。你敢相信嗎？而在2013年，即便是消耗這麼大的能量，這個龐然大物仍然要用40分鐘的時間才能模擬出人類大腦在1秒鐘內的思維活動的1%。
所以，UCLA加州納米系統研究所的研究人員，就想讓電腦系統在計算性能和功耗方面能像人腦一樣高效，他們的方法是模擬大腦的結構來構建一個新系統。根據研究所副主任、研究科學家Adam Stieg的說法，他們正在打造的設備，可能是世界上第一種「真正受大腦結構啟發，並能表現出某種大腦特性的設備。」他跟UCLA化學教授Jim Gimzewski共同領導該研究項目。
不同於傳統電腦，新設備不是基於硅晶元的高度有序微電路，而是一塊2mm見方的神經元晶元。該晶元上布滿了由人造突觸所連成的銀制納米電路。不同於硅晶元上極為規則的幾何電路，該晶元看上去相當雜亂，就像「相互糾纏起來的一盤麵條」。事實上，這種混亂並非是UCLA刻意設計出來的，而是晶元藉由隨機的化學和電氣工序自己「生長」出來的。
這種高度自相關聯的納米級神經網路看起來十分混亂或者說隨機，但是它的結構和行為又與大腦中神經元的結構和功能十分相似。CNSI的研究人員正在將其作為學習和計算的類腦設備進行開發。
其實，在這看似雜亂無章的背後，是一種有序的科學，因為這些納米級的亂網恰恰是在模仿大腦內部的神經網路。該網路每平方厘米所擁有的人造突觸梳理大約是10億，這跟真實的大腦神經網路處在同樣的水平。同時，該人造網路的電活動還表現跟大腦一樣的獨有特質：臨界，這是一種介於有序和無序之間的狀態，是工作效率最大化的一種表現形式。
更重要的是，初步的實驗已經證明，該類腦神經元網路在功能方面有著巨大的潛力。比如，它可以進行一些簡單的學習和邏輯操作。具體來說，它能輕鬆過濾接收信號中的噪音，這一點對於當前的語音識別或其它相似任務來說是非常重要，而傳統電腦在執行此類任務時往往力不從心。這就意味著，人類終有一天能造出一台在計算能力和功耗方面可以跟人腦匹敵的設備。
鑒於傳統硅晶元在微型化及能耗方面日益逼近其技術上的極限，該神經元晶元的優勢便相當有吸引力了。「摩爾定律已死，晶體管已經不可能做得更小了，人們總是在問：我們今後該怎麼辦？」神經擬態計算公司CEO Alex Nugent表示他非常看好UCLA這一項目，儘管並未參與該項目，他對這裡的進展還是相當興奮：「我非常喜歡這個想法的前景，傳統計算平台在效能方面至少要落後十億倍。」
像突觸一樣的開關結構
十年前開始進行該項目的時候，Gimzewski教授的目的並非是晶元能效，而僅僅是感到無聊。畢竟那時，他已經用隧道掃描顯微鏡在原子尺度上觀察電路達20年之久了，他是這樣說的，「我對其中的完美和精確控制感到有點厭倦，其背後的還原論尤其讓我無聊。」
2007年，他收到Masakazu Aono的邀請一起來研究單原子開關，後者正在領導位於日本筑波的材料納米結構國際中心。該原子開關的材料是硫化銀，即銀制勺子接觸雞蛋後所變成的黑色物質，介於固體和金屬狀態間。
這是一個神奇的電化學反應：向該設備施加電壓時，帶正電的金屬銀離子將從硫化銀中轉移到陰極的金屬銀一端，並被還原成銀單質。隨著原子大小的銀絲纖維的不斷生長，陰極和陽極之間空隙不斷被填充，最終把開關閉合、讓電流接通。反過來，施加反向電壓則能產生相反的效果：銀橋收縮，開關斷開。
開始研究這個原子開關不久，Aono的團隊就發現了一些不同尋常的現象。原子開關用得越多，開關閉合起來就越容易。如果有一段時間不用，它自己也會慢慢斷開。換句話說，開關可以記住自己過去的情況。Aono他們還發現，不同的原子開關之間似乎可以相互交流，比如激活一個開關，有時會抑制甚至關閉相鄰的其他開關。
Aono團隊的多數成員都想把這一開關的古怪特性用到別的地方。其中，Gimzewski和Stieg（後者剛在前者團隊拿到博士學位）則想到了神經元突觸，也就是人腦神經細胞之間的信號開關，它們也會依據過往的情況來做出不同的反應，彼此之間也會相互影響。在他們多次訪問日本的過程中，一種這樣的想法冒了出來：我們為什麼不能試試把這開關嵌入到哺乳動物大腦皮層的記憶結構裡面呢？（這樣我們就能好好研究其中的作用機制）。
UCLA化學教授詹姆斯·吉澤夫斯基（左），加州納米系統研究所副主任Adam Stieg（右），首先認識到原子開關與突觸的相似之處
但如何造出這一複雜的嵌入結構相當有挑戰性，Stieg和剛剛加入團隊的研究生Audrius Avizienis一起，想出來一種可行的草案。通過將硝酸銀溶液倒在微小的銅球上，他們讓極其細小的銀絲相互交織成一層薄薄的網路。而後將其暴露在硫蒸氣中，以在銀絲之間生成一個硫化銀層，正如Aono團隊最初的原子開關一樣。
臨界自組織特性
當Gimzewski和Stieg把他們的成果告訴其他人時，幾乎沒有人會認為這樣的原子開關可行。有人認為這種設計最終只能呈現出某種靜態的活動，並穩定在那裡；另有一些人則表達出相反的看法：開關效應將導致網路上所有的連接發生級聯，使得電路短路，最終晶元被燒毀。
但是事實上，該設備並未燒毀。通過紅外線攝像機觀察，Gimzewski和Stieg發現，當電流通過設備時，它會不斷改變路徑——這一點證實了該網路的電流活動不是固定在局部，而是像人腦內部一樣高度分散的。
然後到2010年秋天，Avizienis和他的研究生Henry Sillin有一天做實驗，他們在增加輸入電壓的時候，突然發現輸出電壓開始波動，看上去還是隨機的，就像這張由無數銀絲構成的網一下子活了起來。Sillin說：「我們就著迷地坐在那，靜靜地看這奇妙的現象。」
異象之下，必有蹊蹺。經過長時間的觀察和研究，他們摸索出一些規律。對連續數天的重要監控數據進行分析後，Avizienis發現了一些規律：網路在短周期內更容易出現相同的活動水平，長周期則不然。此外，這種活動性在小區域內出現的頻率比大區域更高。
Avizienis說：「這個發現太令人興奮了，我們在第一時間就祭出了該網路的冪定律」。冪定律是描述一個變數隨著另一個變數的變化呈現出巨大變化的數學關係。相比規模更大、時效更長的事件，該定律更多適用於規模較小的短時性隨機系統。該定律由丹麥物理學家Per Bak首先提出，並被作為複雜動力學系統的標誌。他解釋說，冪定律表明任何一個複雜動力系統都是在有序和混度狀態之間的動態「甜點」（sweet spot）上運行，該臨界狀態使得系統的所有部分都連接起來並相互影響，以實現系統運行效率的最大化。
正如Per Bak所預言的，人腦中也已經觀察到了某種冪定律行為：在2003年，NIH神經科學家Dietmar Plenz觀察到，人腦神經細胞群可以激活其它神經細胞群，後者有可以激活其它的，這種方式傳遞下來最終往往會發生了一次全腦範圍的激活級聯。Plenz發現，這些級聯的激活區域的大小是滿足冪定律的，也就是說，人腦的神經活動確實時按最大化活動傳播的方式在運行，且不會有失控的風險。
Plenz表示，上述UCLA實驗設備所展顯的冪定律行為意義重大，因為它意味著，跟大腦一樣，系統各部分之間的相互激活和抑制存在一種微妙平衡。這種行為不會造成網路癱瘓，也不會自行消亡。
Gimzewski和Stieg後來還發現，銀絲網路和大腦之間還有其他相似之處：正如睡眠中的人腦會比清醒時表現出更少的激活級聯一樣，在較低的能量輸入下，銀質網路的簡暫短激活狀態也會變得不那麼常見。從某種程度上，減少系統的能量輸入（電壓），實驗設備也能進入一種類似於人腦睡眠的狀態。
訓練與儲備池計算
介紹過銀絲網路所具備的人腦特性，大家更關心的問題還是它能否真正用於實際的計算任務？初步的實驗表明是可以的，儘管該實驗設備大大不同於傳統的電腦。
其中的一個因素是它不需要軟體。相反，基於輸出信號的測量位置，研究人員發現該網路可以以多種方式來扭曲輸入的信號，這樣的設備就可以用來清除輸入信號中的噪音，這就意味著它可被用做語音或圖像的識別。
這還意味著，該設備還可被用於儲備池計算。因為在一個輸入信號的基礎上，原則上可以產生多達數百萬種不同的輸出信號。據此，用戶可以選取或合併特定的輸出信號，以得到他們所期望的輸入信號的計算結果。舉例來說，如果在同一時間去刺激該設備的兩個不同位置，那麼這幾百萬個輸出中就有可能包含這兩個輸入信號的和。
這裡的挑戰是在於，如何從大量的輸出信號裡面找出正確的輸出值並對其進行解碼，以及如何找出編碼信息的最佳方式使得該網路能夠理解輸入信號。解決問題的辦法就是對設備進行訓練：反覆運行一項任務成百上千次，先用一種類型的輸入訓練，然後再換另一種輸入，最後找出哪種輸出最適合解決問題。
Gimzewski表示：「我們不必對設備進行編程，但我們要選擇最好的方式來對信息編碼，從而使該網路能夠向正確的方向運行。」
在即將發布的論文中，研究人員訓練了一個能夠執行簡單邏輯運算的銀絲網路。而在尚未公開的實驗中，他們訓練該網路了執行一項類似於T迷宮記憶測試的任務。該測試是小白鼠們在實驗室中經常被訓練去做的，只要對迷宮的光線變化做出正確的反應，它們就能得到獎勵。經過這項訓練的銀絲網路，其響應的準確率達到94%。
銀質神經網路（左），將其嵌入到晶元中心的神經元晶元（右），神經元晶元仍然保持了方形網格的外殼，允許用戶將信號作為輸入並可以測量輸出信號
Nugent表示，到目前為止，這些結果僅僅是證明了神經元晶元原則上的可行性。一個能在迷宮中做出決定的小白鼠還是很初級的，跟人們在傳統電腦上用機器學習所做的複雜決策沒法比。Nugent比較懷疑該實驗晶元能在短短几年內出現應用上的大飛躍。
但他強調，其中的潛力巨大。這是因為，像大腦這樣的網路無需將記憶和處理分開執行，而傳統電腦則需要不斷處理這兩大功能區域之間的信息交換。額外的通訊功能就需要額外的能量來為電路供電。Nugent表示，「如果在傳統電腦上模擬人腦的全部功能，可能全法國的電能都不夠你消耗，這裡考慮的還只是中等解析度的大腦模擬。」而如果銀絲網路的效果能達到當前機器學習演算法的程度，它的能耗可能僅需當前的十億分之一。「只要能達到這樣的計算效果，它們在能耗方面絕對完勝傳統電腦。」
加州大學洛杉磯分校的研究結果同時也支持這樣的觀點：在正常的情況下，智能系統可以通過自組織的形式整合成一個完整的系統，而不需要任何模板或者事先的過程去設計。作為該項目的早期支持者，原DARPA項目主管Todd Hylton表示，銀絲網路的成形完全是自發的：「在能量流經它的時候，很關鍵的一點是每次形成新的結構，能量都不會流失到其他地方。當前的計算機模型的神經網路需要設計很久才能存儲某些臨界狀態，而銀絲網路自己就能生長出相似的功能，完全不需要設計。」
Gimzewski堅信，如果用於複雜系統過程的預測，銀絲網路的效果可能要比傳統電腦好很多。傳統計算機用方程對現實世界進行建模，只是相對而言更加接近，並不是完全準確。具有原子開關的神經元晶元利用自身的複雜性與其正在構建的模型相匹配。此外，他們的處理速度本身也相當快速，網路的狀態可以以每秒幾萬次的波動改變。Gimzewski說：「我們在做的事就是創造一個真正的複雜系統，再用它觀察複雜的現象」。
今年早些時候，在美國化學學會舉辦於舊金山的會議上，Gimzewski、Stieg及其同事介紹了該項目的一個實驗結果。他們搜集了洛杉磯連續六年的車流量數據，並將前三年的每小時的車流量以脈衝的形式輸入到神經元晶元中進行訓練。經過數百次以後的訓練，最終它很好地預測出後三年車流量的趨勢，儘管它以前從未接觸過這個問題和數據。
Gimzewski開玩笑說，「將來有一天，我也許該用這個網路來預測股市。」這就是為什麼他拚命讓學生來這個原子開關網路——萬一某一天他真被華爾街挖走了，他的研究也有人接班。
作者 Andreas von Bubnoff
原文地址：
https://www.quantamagazine.org/a-brain-built-from-atomic-switches-can-learn-20170920/
限時乾貨下載
Step 1：長按下方二維碼，添加微信公眾號「數據玩家「fbigdata」」
※合成肌肉獲重大進展，「道德」或成軟體機器人普及最大顧慮
※從三大神經網路，測試對比TensorFlow、MXNet、CNTK、Theano四個框架
TAG:數據玩家 |