為AI尋找最佳人造突觸：IBM電化學RAM亮相IEEE電子元件會議

選自 spectrum

作者：Samuel K. Moore

機器之心編譯

參與：Geek AI、張倩

用什麼樣的設備構建一個神經網路才是最合適的呢？它需要運行速度快、體積小、功耗低，能夠可靠地存儲許多比特的信息。在舊金山舉行的 IEEE 國際電子元件會議上，來自 IBM 公司、普渡大學等機構的研究人員介紹了幾種新設備，試圖接近深度學習和神經形態計算所需的理想狀態。

神經網路可以看作是一組神經元與神經元之間相互連接的結構。這些連接（類似於生物神經元中的突觸）都具有相應的特殊強度或權重。公司和學術研究人員並沒有使用普通 CPU 的邏輯和內存來表示神經網路，而是一直在研究用不同種類的非易失性內存陣列表示它們的方法。這樣，就可以在不移動任何數據的情況下進行關鍵的計算。目前，基於可變電阻式存儲器、快閃記憶體、磁性隨機存儲器和相變內存的人工智慧系統都處於研究過程中，但它們都有各自的局限性。最近，在舊金山舉行的 IEEE 國際電子元件會議上，研究人員提出了一些可能取得更好性能的備選方案。

IBM 公司最近開發了一種名為電化學 RAM（electrochemical RAM）的基礎部件，用於構建完美的突觸結構。與相變內存或電阻式內存一樣，它通過電導率的變化儲存信息。但是，相變內存和電阻式內存只能實現兩個或幾個狀態，而電化學 RAM 可以實現幾十個甚至數百個狀態。

IBM 對電化學 RAM cell 單元的寫入操作驅動鋰離子進出三氧化鎢通道。讀數包括測量通道的電導率。

電化學 RAM 的 cell 單元看起來有點像 CMOS（互補金屬氧化物半導體）晶體管。柵極位於介電層之上，會覆蓋一個半導體通道和兩個電極（即源極和漏極）。然而，在電化學 RAM 中，電介質是鋰磷氮化物，這是一種用於實驗性薄膜鋰離子電池的固態電解質。在電化學 RAM 中，對應於 CMOS 晶體管中硅通道的部分是由三氧化鎢製成的。通常，我們將三氧化鎢用於建造智能窗戶等設備。

為了設置電阻的水平——神經網路項中突觸的「權重」——讓脈衝電流穿過柵極和源極。當這個脈衝具有某種極性時，它會將鋰離子驅入鎢層，使鎢層導電。反轉輸出電壓的極性後，離子會逃逸回磷酸鋰中，從而降低電導率。

當我們想要讀取突觸的權重時，只需要在源極和漏極之間設置一個電壓，然後感知產生的電流。IBM T.J. Watson 研究中心的 Jianshi Tang 說，ECRAM 的優點之一是：可以將當前的讀路徑和寫路徑分離開來。相變內存和電阻式內存必須讓電流通過相同的路徑才能設置和感知電導率。因此，讀取 cell 單元可能會導致其電導率漂移。

（IBM 的一個獨立研究小組也在 IEDM 上提出了解決這個漂移問題的方案。該團隊提出的「投影」相變內存的 cell 單元包含一個可以在不讓讀取電流重寫 cell 單元的情況下將其分流的結構。）

IBM 根據其測試版本的 cell 單元構建了一套測量標準，以測量由這樣的一組單元組成的神經網路可以達到多高的準確率。他們在 MNIST 手寫數字資料庫上進行了測試，實驗結果表明，這個神經網路達到了 96% 的準確率，與理想相差無幾。他們最初想通過將 cell 單元能達到的電導率狀態數增加一倍（達到 110）來提高準確度，但沒有成功。Tang 說：「準確率並沒有進一步提升，這讓我們感到很驚訝」。

普渡大學的神經網路通過調整網路權重的反饋過程進行學習。當設備具有對稱的電氣特性時，其工作效果最好。

IBM 的團隊發現，電導率在上升到峰值和下降之間的輕微不對稱性會阻礙準確率的提升。完全對稱意味著一次電流脈衝應該會改變一定數量的電導率，然後相反極性上相同的脈衝應該精確地將電導率返回到它的起點。與其他非易失性存儲器相比，ECRAM 具有良好的對稱性，但這還並不完美。

將這種不對稱性降低一半，就能使神經網路達到可能的最佳準確率。根據他們的研究，通過調整設備的動態範圍，將不對稱性降低一半是絕對可行的。

IBM 團隊還說明了，ECRAM 的導電通道可以縮小到 100 納米寬的程度，而他們最初構建的導電通道有 60 微米寬。這樣大小的 ECRAM 只需要千萬億分之一焦耳的能量就能改變其狀態，這接近於人類神經元突觸所消耗的能量。Tang 說：「當然，沒有什麼事請是完美的。使用 ECRAM 實現神經形態陣列仍然存在一些挑戰」。

Peide Ye/普渡大學鍺鐵電納米線晶體管可能具有適用於加速人工智慧的特性。

ECRAM 並不是今年 IEDM 上在這個領域的唯一競爭者。由 IEEE Fellow Peide Ye 領導的普渡大學的研究小組小組提出了一種由鍺納米線和鐵電材料製成的裝置。鐵電體對微小的電壓有很強的極化反應。通過在晶體管的柵極上放置鐵電，研究人員希望降低晶體管開關時的電壓，從而降低功耗。但是你也可以在鐵電體中儲存信息。這是通過翻轉部分鐵電體的極性，從而改變在給定電壓下通過晶體管的電流來實現的。這就是 Peide Ye 的團隊所做的工作，他們製造出了一種能夠產生超過 256 種電導狀態的器件。更重要的是，它可以上調或下調那些具有合理對稱性的電導態。一個利用該裝置製作的處理 MNIST 手寫數字任務的模擬網路的準確率達到了 88%。

然而，如果你的神經網路不需要執行學習任務，就不需要這種對稱性和數百種電導狀態。日常生活中，你可能想要人工智慧系統做很多事情，比如讓你的咖啡機在聽到「喚醒命令」後啟動，這些系統會學會在雲端離線工作。完成這項工作所需的權重集合和神經連接將被載入到咖啡機內一個專用的低功耗晶元上。許多初創公司都在尋求為自己開闢一番天地，提供這些具有「推斷」功能的晶元或背後的技術，其中一些公司依賴於使用內存單元來存儲權重並執行關鍵的深度學習計算任務。例如，Syntiant、Mythic 以及 Anaflash 都為它們的晶元處理工作使用了嵌入式快閃記憶體。

聖母大學的 FeMFET 的鐵電層建立在晶體管之上，而晶元往往在這裡進行互聯。

來自印第安納州聖母大學和德克薩斯州奧斯汀市三星高級邏輯實驗室的一組研究人員發明了一種用於嵌入式人工智慧晶元的新型存儲單元：鐵電金屬 FET（FeMFET）。聖母大學的 Kai Ni 希望提升 FeFET 在此類人工智慧應用上的性能；FeFET 一直受制於寫入權重時所需的高電壓，這導致了一些可靠性問題。他們提出的解決方案是將鐵電層從晶體管中移出，使其成為位於晶體管上方的獨立電容器。

將權重寫入可容納兩位比特的 FeMFET，所耗費的電壓不到以前使用鐵電體的人工智慧方案的一半。但就目前而言，實現這種技術需要太長時間。Ni 說：「我們現在唯一的缺點就是寫入速度，我們認為這不是 cell 單元的固有特性，是可以改進的」。

可能目前並沒有用於神經形態晶元和深度學習設備的完美的突觸結構。但從上周在 IEDM 上公布的各種新的、實驗性的測試結果來看，我們將擁有更好的突觸結構。

本文為機器之心編譯，轉載請聯繫本公眾號獲得授權。

------------------------------------------------

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！