當前位置:
首頁 > 新聞 > MIT Nature Photonics新突破:實現光學深度神經網路系統

MIT Nature Photonics新突破:實現光學深度神經網路系統

選自MIT

作者:David Chandler

機器之心編譯

參與:機器之心編輯部


儘管科學家和研究者一直在探索新型的計算形式,但目前電子計算仍然是絕對的主流。隨著以深度學習為代表的人工智慧技術的興起,人們也開始關注如何開發出能更有效、更高速地執行神經網路運算的計算硬體。近日,麻省理工學院(MIT)的研究者在 Nature Photonics 上發表的一篇論文《Deep learning with coherent nanophotonic circuits》提出了一種使用光子技術實現神經網路的方法,而且他們還已經對這一概念進行了實驗驗證。MIT 官網對這一研究進行了報道解讀,機器之心對這篇文章以及原論文的摘要進行了編譯介紹。

MIT Nature Photonics新突破:實現光學深度神經網路系統

該概念圖展示了集成在印製電路板上的可編程納米光子(nanophotonic)處理器,其將助力深度學習計算

基於模擬人類大腦激活傳導的人工神經網路,與其多層疊加的「深度學習」計算機系統已經成為了計算機科學的熱門話題。除了引發了如人臉識別和語音識別等技術的變革外,這些系統不僅可以利用眾多的醫學數據找到可以高效診斷的模式,同時還能掃描化學成分而找到可能的新藥物。

但是,即使對於最強大的計算機,這些系統執行所需要的計算也是十分複雜和巨量的。

近日,MIT 的一個研究團隊連同其他一些研究員開發了一種新型計算方式,該方法利用光而不是電,因此該計算方法能大大提高某些深度學習計算的效率和速度。該研究結果發表在近日 Nature Photonic 期刊上,而完成這項研究的人員包括 MIT 博士後 Yichen Shen、研究生 Nicholas Harris、教授 Marin Solja?i? 和 Dirk Englund 等人。

Solja?i? 表示,多年來,許多研究者都聲稱開發出了基於光學的計算機,但是「人們太誇大其辭了,結果反噬其身」。雖然還有很多研究者提出這種光子計算機無法實現,但這個團隊基於光學開發的神經網路系統「也許適用於一些深度學習應用」。

傳統的計算機架構對於一些重要的神經網路任務所需要的各種計算來說並不是很高效。這樣的任務通常涉及到大量的矩陣乘法,因此在常規的 CPU 和 GPU 晶元上需要密集的計算。

在多年的研究之後,該 MIT 研究團隊找出了一種以光學執行這些操作的方案。Solja?i? 說:「我們這種晶元只要調試好,就能執行矩陣乘法,並在理論上幾乎能立即實現零能耗(zero energy)。我們已經展示了其關鍵組成模塊,但整個系統還沒有構建完成。」

作為類比,Solja?i? 指出即使是普通的眼鏡鏡片,它也對穿越的光線執行了一些列複雜的計算(即波函數的傅立葉變換)。雖然光束在新型晶元中執行的計算方式很不一樣,但基本的原理都是一樣的。新方法使用多條光束並通過其間的光波干涉而產生干涉圖樣,而這些干涉圖樣就承載著預設計算的結果。這種方法構建的晶元,研究者就稱為可編程納米光子處理器。

Shen 說,因此原理上講,使用這一架構的光學晶元可以更快速地執行傳統人工智慧演算法的計算,且能耗只佔傳統電子晶元的千分之一不到。他說:「用光來做矩陣乘法的天然優勢在加速和降低能耗方面發揮了大作用,因為密集矩陣乘法是人工智慧演算法中最耗能和耗時的部分。」

這種新型可編程納米光子處理器由 Harris 及其同事在 Englund 的實驗室開發,使用了一個波導陣列,其中的波導以一種可按需修改的方式互連在一起,它們可以根據特定的計算對波束進行編程。Harris 說:「你可以編程任何矩陣運算。」該處理器可以引導光線穿過一系列互相耦合的光子波導。該團隊的完整方案需要使用交錯的器件層,其可以應用一種名為非線性激活函數(nonlinear activation function)的運算操作,該運算類似於大腦中的神經元運算。

為了證明這一概念,該團隊設置了可編程納米光子處理器來實現可識別四個基本母音的神經網路。即使目前系統還很基本,但依然可以達到 77% 的準確率,與之相比,傳統方法的準確率接近 90%。Solja?i? 說:「在擴展該系統取得更高準確率方面不存在大的障礙。」

Englund 補充說可編程納米光子處理器還有其他應用,比如,數據傳輸的信號處理,他說:「該系統也可以勝任高速模擬信號處理,且比其他一開始把信號轉化為數字的傳統方法更快,因為光在本質上是一種模擬介質。」又說:「這種方法可在模擬領域做直接處理。」

該團隊表示,這個系統走向實用還需更多的努力和時間;然而,一旦系統獲得擴展完整運行,就能實現很多用例,比如用於數據中心或安全系統。Harris 說:「該系統也可推動無人駕駛汽車、無人機的發展,以及在你需要做大量計算卻苦於沒有功率或時間時,該系統都會有所幫助。」

以下是對原論文的摘要介紹:

論文:使用相干納米光子電路的深度學習(Deep learning with coherent nanophotonic circuits)

MIT Nature Photonics新突破:實現光學深度神經網路系統

論文地址:https://www.nature.com/nphoton/journal/vaop/ncurrent/full/nphoton.2017.93.html

人工神經網路是一種靈感來自於大腦中信號處理過程的計算網路模型。這些模型可以極大提升許多機器學習任務的表現,包括語音識別和圖像識別。但是,今天的計算硬體在實現神經網路方面還很低效,這在很大程度上是因為其是為馮·諾依曼體系結構設計的。為了開發出為實現專為人工神經網路調節的電子架構,使其能實現更高的計算速度和準確度,人們已經付出了巨大的努力。在這裡,我們提出了一種可用於全光學神經網路的新架構,其在理論上可以在當前最好的用於傳統推理任務的電子設備的基礎上實現進一步的計算速度和功率效率提升。我們使用一個硅光子集成電路進行了實驗——該可編程納米光子處理器包含一個具有 56 個馬赫-曾德爾干涉儀(Mach–Zehnder interferometer)的級聯陣列;該實驗演示了這一概念的關鍵部分,並且表明了其在母音識別上的可用性。

MIT Nature Photonics新突破:實現光學深度神經網路系統

圖 1:ONN 的一般架構

MIT Nature Photonics新突破:實現光學深度神經網路系統

圖 2:OIU 示意圖

MIT Nature Photonics新突破:實現光學深度神經網路系統

圖 3:母音識別

喜歡這篇文章嗎?立刻分享出去讓更多人知道吧!

本站內容充實豐富,博大精深,小編精選每日熱門資訊,隨時更新,點擊「搶先收到最新資訊」瀏覽吧!


請您繼續閱讀更多來自 機器之心 的精彩文章:

研學社|一起研習 Domingos的《終極演算法》第二期
聯合國首次人工智慧峰會召開:讓AI符合可持續發展目標
我們和專家聊了聊,梳理了軟銀收購波士頓動力這件事
Yoav與LeCun深度學習之爭:谷歌VP談NLP「三幕劇」
百度教育打造「看、聽、說、想」能力,使個人獲得專屬學習路徑

TAG:機器之心 |

您可能感興趣

深度學習框架排行榜:找工作學TensorFlow,PyTorch搜索量逼近Keras
類Keras的PyTorch 深度學習框架——PyToune
Karpathy更新深度學習開源框架排名:TensorFlow第一,PyTorch第二
深度學習之CapsuleNets理論與Python實踐!
深度學習戰爭:Facebook 支持的 PyTorch與Google的TensorFlow
Nike新跑鞋Epic React Flyknit 深度測評
OATH Protocol和QuarkChain達成深度戰略合作
《Tensorflow:實戰Google深度學習框架》
Keras vs PyTorch:誰是「第一」深度學習框架?
教你使用Keras on Google Colab微調深度神經網路
深度學習綜述:Hinton、Yann LeCun和Bengio經典重讀
深度強化學習-Policy Gradient基本實現
拆解改造 Tom Sachs x Nike「Mars Yard Overshoe」,並深度解構這位紐約裝置藝術家
LeCun、Bengio、Hinton三巨頭曾合體,Nature發文綜述深度學習
原Movidius CEO Remi El-Ouazzane:深度了解終端視覺處理器VPU
第55期:Python機器學習實踐指南、Tensorflow 實戰Google深度學習框架
ArXiv最受歡迎開源深度學習框架榜:TensorFlow第一,PyTorch第四
從AlexNet到MobileNet,帶你入門深度神經網路
Matlab對深度學習工具包DeepLearnToolbox的例子實現
深度學習訓練決策,Waymo披露ChauffeurNet進展