新型光子晶元：效率更高、能耗更低

導讀

據美國麻省理工學院官網近日報道，該校研究人員開發出一種新型「光子」晶元，它用光取代電，並在處理過程中的能耗相對較低。該晶元處理大規模神經網路的效率比目前的經典計算機高數百萬倍。

背景

神經網路，是廣泛應用於諸如機器人目標識別、自然語言處理、藥物開發、醫療成像以及為無人駕駛汽車供電等任務的機器學習模型。

汽車上的神經網路晶元可預知汽車撞人的風險（圖片來源：韓國科學技術院）

新型光學神經網路，採用光學現象來加速運算，比電子神經網路更快速、更高效。

光子神經形態處理器（圖片來源：Johannes Feldmann）

但是，隨著傳統神經網路和光學神經網路變得越來越複雜，它們會消耗大量電力。為了解決這個問題，研究人員與主要的科技公司例如谷歌、IBM、特斯拉都開發出了「人工智慧加速器」，這種專用晶元可以提升訓練和測試神經網路的速度以及效率。

創新

對於電子晶元（包括大多數的人工智慧加速器）來說，能耗都存在著一個理論上的最小值。近日，美國麻省理工學院的研究人員開始為光學神經網路開發光子加速器。這些晶元的運行效率提高了幾個數量級，但是它們卻依賴於一些體積龐大的光學元器件，這些元器件限制了這些晶元在相對較小的神經網路中的應用。

在一篇發表於《Physical Review X》期刊上的論文中，麻省理工學院的研究人員描述了一種新型光子加速器，它採用更加緊湊的光學元件和光學信號處理技術，顯著地降低了能耗和晶元面積。這項技術使得晶元可以擴展應用到比電子神經網路大幾個數量級的光學神經網路上。

（圖片來源：麻省理工學院）

神經網路在「MNIST圖像分類數據集」上的模擬訓練表明，加速器理論上處理神經網路的所需的能耗，不足傳統電子加速器能耗極限的千萬分之一，並且大約為光子加速器能耗極限的千分之一。研究人員們正在開發原型晶元，以通過實驗證明這些結果。

技術

神經網路通過包含互連節點（稱為「神經元」）的許多計算層來處理數據，以查找數據中的模式。神經元從它們上游的鄰居中接收輸入，並計算出輸出信號，該信號被進一步發送至下游的神經元。每個輸入也賦予了「權值」，這個值基於它相對於所有其他輸入的重要性。隨著數據通過層「更深」地傳播，這個網路逐步地學習更複雜的信息。最終，輸出層基於整個層的計算生成預測。

所有的人工智慧加速器都旨在減少在神經網路中特定的線性代數步驟（稱為「矩陣乘法」）中處理和移動數據所需的能量。在那裡，神經元與權值都被編碼成獨立的行與列，然後再組合起來以計算輸出。

在傳統的光子加速器中，編碼有關於層中每個神經元信息的脈衝激光，流入波導並通過分束器。生成的光學信號被饋送到方形光學元件（稱為「Mach-Zehnder」干涉儀）網格中，它被編程以執行矩陣乘法。用每個權值信息編碼的干涉儀，採用信號干擾技術，來處理光學信號和權值，以計算出每個神經元的輸出。但是，這裡存在著規模的問題：每個神經元都必須有一個波導，每個權值都必須有一個干涉儀。因為權值的數量是神經元數量的平方，所以那些干涉儀會佔據很大的空間。

電子研究實驗室的博士後瑞安·哈默利（Ryan Hamerly）表示：「你迅速地意識到，輸入神經元的數量永遠不能大於100左右，因為你無法在晶元上安放那麼那麼多的元件。如果你的光子加速器每層可以處理的神經元不超過100個，那麼將很難在那個架構中實現大型神經網路。」

研究人員的晶元依賴於更加緊湊、節能的「光電」方案，該方案通過光信號編碼數據，但是使用「平衡零差檢測」來進行矩陣乘法。這種技術可以在計算兩個光信號的幅度（波高）乘積之後生成可測量的電信號。

編碼有關每個神經網路層的輸入和輸出神經元信息的光脈衝（訓練神經網路需要這些信息）流過單個信道。用矩陣乘法表中整行的權值信息編碼的單獨脈衝流過單獨的信道。攜帶神經元與權值數據的光學信號，成扇形散開到零差光電探測器的網格中。光電探測器採用信號的幅度來計算每個神經元的輸出值。每個探測器將每個神經元的電氣輸出信號反饋到調製器中，該調製器將信號轉換回光脈衝。該光信號變成了下一層的輸入，以此類推。

該設計的每個輸入和輸出神經元只需要一個信道，而且零差光電探測器的數量與神經元一樣多，而不是與權值一樣多。因為神經元的數量比權值的數量少很多，所以這樣就顯著地節約了空間。因此，晶元就可以擴展至每層超過一百萬個神經元的神經網路。

對於光子加速器來說，信號中存在不可避免的雜訊。饋入晶元的光線越多，雜訊就越少，準確度就越高，但是效率卻變得相當低。輸入光線越少，效率就會越高，但是會對神經網路的性能產生負面影響。可是，該校研究生伯恩斯坦（Bernstein）表示，這裡有一個「最佳點」，它採用最小的光學功率同時保持準確度。

這個對於人工智慧加速器而言的最佳點，是通過單次執行兩個數字乘法（例如矩陣乘法）操作所消耗的焦耳量來度量的。現在，傳統加速器以皮焦耳（一萬億分之一焦耳）來度量。光子加速器以阿焦耳來度量，效率高出一百萬倍。

在他們的模擬中，研究人員們發現，他們的光子加速器能以低於阿焦耳的效率來運行。伯恩斯坦表示：「在失去準確度之前，你可以發送一些最小的光學功率。我們晶元的基本極限比傳統加速器低得多，也低於其他光子加速器。」

價值

哈默利表示：「人們正在尋找可以超越能耗基本限制的技術。光子加速器很有前景，但是我們的動機是構造一個可擴展至大型神經網路的光子加速器。」

這些技術的實際應用包括減少數據中心的能耗。論文共同作者、電子研究實驗室的研究生亞歷山大·斯路德（Alexander Sludds）表示：「運行大型神經網路的數據中心的需求不斷增長，隨著需求增長，在計算上處理的難度也越來越大。」

關鍵字

人工智慧、神經網路、光學晶元

參考資料

【1】http://news.mit.edu/2019/ai-chip-light-computing-faster-0605

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！