相變內存中訓練神經網路壓倒GPU：性能高出100倍，節能勝過100倍

內存中訓練神經網路的專用硬體既快速又節能。

與典型的CPU相比，人的大腦非常節能，一方面是由於它將存儲、通信和處理結合在單單一個執行單元：神經元中。大腦有無數神經元，因而得以並行處理大量任務。

研究人員試圖在傳統CPU上運行神經網路，但遇到了這種根本性的不匹配情況。一次只能執行幾個任務，將數據傳輸到內存是個緩慢的過程。因而，神經網路往往很耗費計算資源和能量。幾年前，IBM宣布了一種新的處理器設計，這種設計離神經元群體更近一點，可極其高效地執行神經網路。但是這對於訓練網路並沒有太大的幫助。

現在IBM又推出了一種專門用於訓練神經網路的硬體設計。而IBM能做到這點，一方面歸因於直接在一種專門的內存中執行訓練。

改變相態

相變內存基於能夠形成兩種不同結構或相態的材料，這取決於材料從液態冷卻的速度有多快。由於這些相態的電導率不同，可以利用此特性來存儲位。還可以控制溫度，那樣位可以進入中間電導的狀態。除了存儲位外，這還可以用來執行計算，因為大量亞閾值相態變化可以逐漸形成位翻轉（bit flip）。

以這種方式執行計算的優點有兩方面：由於操作在內存中進行，所以不需要來回訪問內存；而且可以並行執行許多操作。這些差異與神經元群體的行為有著天然的相似處，這使得相變內存可能很適合神經網路。

事實上，還有一個另外的相似處。神經元活動不是一種二元的、全有或全無的狀態――它會採用開和關之間的一系列中間行為。因此，相變內存能夠採用1和0之間的狀態，這讓它得以直接模仿神經元的行為。

要將這用於訓練神經網路，可以將相變內存位的網格與神經網路的每一層對應起來。更傳統的布線構成的通信網路允許神經元彼此進行通信。通信的強度由內存狀態來決定：狀態介於全開和全關之間的範圍。反過來，該狀態又由所有饋入的位來設定。通信硬體將來自相變內存位的可變強度信號轉換成持續時間不同的信號，這些信號與數字通信網路相兼容。

原則上，這一切很好地配合。然而實際上，存在兩個問題。一個問題就是，硬體在1到0之間沒有我們需要使神經網路高效的同一範圍的狀態。第二個問題是，這個系統的各部分如何響應方面因不同位而存在變化。於是，IBM團隊想出了一個二級（two-level）系統用於訓練。

提高級別

如上所述，在最上面一級，神經網路使用相變位來實現。但是這個硬體不是在每次訓練後加以更新。相反，使用不同的硬體進行幾百次試驗，然後將訓練的結果集成到相變位中。只有訓練會改變位的值時，這個更新過程才會發生，因此提高了效率。

可以把相變網路看作是一個兩位數的第一位：其值對單個神經元的行為有更大的影響。用較傳統晶元實現的第二級如同第二位，原因在於它對整體行為的影響較小。這兩個位的組合加大了網路中單個神經元可能擁有的值的範圍。

這也是每一個訓練周期發生所在的那一級。研究人員將晶體管的柵極連接到電容器，以此模擬相變位的行為。存儲在電容器中的電荷隨後影響柵極的強度，更新電荷可改變強度，這很像改變相變位。不過，電容器中存儲的電荷具有易失性，會在幾微秒內丟失。這就對電容器的值用於更新相變位之前可以完成多少個訓練周期有所限制。

簡而言之，二級系統允許在使用傳統硬體的易失性環境中進行訓練，然後訓練結果用來更新相變位，這充當永久存儲器。可以隨時讀出與每一個「神經元」有關的值，並用於在任何兼容的神經網路（包括IBM的專用晶元）上複製行為。

由於這種環境可以實時重新配置，因而有可能避開單個晶體管的可變性。比如說，在一個訓練周期中用於在層與層之間傳輸信息的硬體可以用來在下一個訓練周期中處理錯誤的反向傳播，反之亦然。久而久之，這應該會抵消設備可變性導致的差異。

快速高效

這一切聽起來不錯，但實際效果怎樣？研究員們使用手寫數字的標準訓練和測試圖片集（名為MNIST，http://yann.lecun.com/exdb/mnist/）對它進行了測試。測試結果通常與名為TensorFlow的標準神經網路軟體庫具有的精確度相差1%以內。

但關鍵是效率。研究人員估計，如果他們的硬體採用先前工藝的技術來製造（實際上是用相當古老的90納米工藝製造），性能將比最先進的GPU至少高出100倍，節能效果勝出100倍。

當然，這些僅僅是估計值。而在某種程度上，這一切都是估計值。雖然該團隊確實用硬體來實現基於相變的層，但基於電容器的層的一些細節卻用模擬器來實現。沒有理由認為它們不用能硬體來實現，但毫無疑問一些細節和可能的問題直到真正用硬體來實現才會顯現出來。

不過，潛在的效率提升還是相當大，IBM已經表示願意製造專用的神經網路硬體。因此，不久可能會有一些實際環境的數字來佐證這篇報道。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！