Nature | 光學CNN層替換傳統CNN層，超省電

科技 08-26

選自N

ature

作者：

Julie Chang 等

機器之心編譯

參與：高璇、劉曉坤

CNN 計算效率的研究一直備受關注，但由於功率和帶寬的嚴格限制，CNN 仍難以應用在嵌入式系統如移動視覺、自動駕駛中。在斯坦福大學發表在 Nature 旗下 Scientific Reports 的這篇論文中，研究者提出在 CNN 網路前端替換一個光學卷積層（opt-conv）的方案，可以在保持網路性能的同時顯著降低能耗，並在 CIFAR-10 數據集的分類任務上驗證了其結論。光學卷積層也就是用光學器件實現的卷積層，其光學運算具備高帶寬、高互聯和並行處理特性，並能光速執行運算，功耗接近於零。該技術有望在低功耗機器學習領域得到進一步發掘。

引言

深度神經網路已在各個領域取得了廣泛應用，從計算機視覺到自然語言處理以及遊戲等。卷積神經網路（CNN）利用各種圖像特徵的空間不變性，在圖像分類、圖像分割甚至圖像生成等計算機問題中非常受歡迎。隨著各類任務的性能大幅提高，這些網路中的參數和節點數也急劇增加，訓練和使用這些網路的能耗和內存也相應增加。

雖然學習網路權值的訓練階段很緩慢，但在推理過程中，由於要數百萬次的引用內存和矩陣乘法，就算是大型模型也需要大量能耗和內存。為了提高效率，可採取保持性能的同時壓縮 CNN 的方法，包括修剪法、量化訓練、霍夫曼編碼，以及更換架構。硬體方面，有很多機器學習的專門處理單元，如如 IBM 的 TrueNorth 晶元、Movidius 視覺處理單元（VPU）、谷歌的張量處理單元（TPU）。其他以推理為重點的針對嵌入式視覺應用嘗試將一部分圖像處理結合到感測器上，以消除或減少將完整圖像數據傳送到處理器的需求。CNN 計算效率的研究一直備受關注，但由於功率和帶寬的嚴格限制，CNN 仍難以應用在嵌入式系統如移動視覺、自動駕駛和機器人、無線智能感測器中。

研究者試圖採取一種互補的策略，在模擬電路或數字電路計算前增加一層光學計算，提高性能的同時，僅增加最小電路的計算成本和處理時間。光學計算因其高帶寬、高互聯和固有的並行處理特性而備受關注，計算速度都為光速。在自由空間或光子晶元上就可以進行一些超低功耗甚至零功耗的操作。作為構建光學 CNN 的框架，可優化和擴展的光學配置將保留這些優勢，並將引起計算機視覺、機器人、機器學習和光學社區的興趣。光學神經網路（ONN）最初是由光學器件執行計算量巨大的全連接層矩陣乘法的研究引起。最近在學術研究和工業領域都重新引起了人們的關注。然而，ONN 的文獻中都未涉及卷積層，但卷積層在計算機視覺應用中非常重要。此外，這些方法都是利用相干光作為信號發展起來的，這使它們難以適應計算攝像系統。

研究者從計算成像的角度實現光學 CNN：通過光學和演算法協同設計，將圖像採集和計算結合起來。計算型攝像機利用定製光學器件中光的物理傳播特性，來編碼在標準 2D 圖像抓取中丟失的場景信息。研究者提出一個位於前饋 CNN 之後的計算成像系統模型，用來協助輸入圖像的分類。通過將 CNN 的第一個卷積層引入光學器件，可以減少推理過程中的電路處理器的負載。此外，在成像場景中，輸入信號已經是光信號了，所以在感測器讀取之前，很容易通過額外的無源光學元件進行傳播。ASP 視覺系統曾探究過一種混合光電 CNN 的概念，使用 angle sensitive pixel（APS）來近似經典 CNN 的第一個卷積層，但是卷積核集是固定的。同時另一項研究將優化的元素結合到神經網路啟發的多層光學系統中，但並沒有創建出新的 CNN。相比之下，他們的目標是設計一個帶有光學卷積層的系統，用於解決特定分類優化問題，進而通過自定義的光電 CNN，實現低功耗推理。

本文提出一種光學卷積（opt-conv）層的設計，該層具有可優化的相位掩模，該掩模利用由線性和空間不變的成像系統執行的固有卷積。首先研究者在兩個模擬模型的圖像分類中測試了他們的方法。光學相關器作為卷積層中最簡單的應用，由一個對圖像進行了模板匹配的卷積層構成，曾被用於光學目標檢測和追蹤。下面將說明 opt-conv 層如何擬合更大的混合光電 CNN，該卷積層的輸出會饋送到數字化的全連接層。在這兩種情況下，研究者證明了模擬光電配置的分類準確率可以與同一網路結構的無約束電子的分類準確率相媲美。最後研究者通過創建優化的相位掩模並構建雙層混合光電網路原型，在灰度 CIFAR-10 數據集上進行分類，驗證了模擬結果。數字全連接層在測試數據集上的分類準確率約為 30%，而研究者採用的模型原型得到了 44% 以上的準確率，在計算成本相同時，可得到近 50% 的單層性能提升。相比之下，增加一個標準卷積層也能提升相似的準確率，但會使計算成本數量級增加。綜上，研究者證明了包含初始光學計算層的混合光電卷積神經網路如何在性能上得到提升，同時將系統的延遲或功耗降到最低。

論文：Hybrid optical-electronic convolutional neural networks with optimized diffractive optics for image classification

論文鏈接：https://www.nature.com/articles/s41598-018-30619-y#author-information

卷積神經網路（CNN）在各類計算機視覺應用中都有驚艷表現，但它們的高性能需要以高計算成本為代價。儘管在演算法和硬體方面都有所提高，但由於功率限制，在嵌入式系統中運行 CNN 仍然很困難。在本文中，研究者嘗試採取一種互補的策略，在電路計算前增加一層光學計算，在提高圖像分類性能同時，僅增加最小電路計算成本和處理時長。研究者設計了一種基於優化衍射光學元件的光學卷積層，並在兩個模擬實驗中進行了測試：一個學習到的光學相關器和一個雙層光電 CNN。研究者在模擬和光學原型中證明了他們的光學系統的分類準確率可以與對應的電學實現相媲美，同時大大節省了計算成本。

圖 1：光學卷積層設計。（a）4f 系統圖，可以通過在傅里葉平面上放置相位掩模來實現光學卷積層（opt-conv）。（b）數字卷積層的標準組成，包括輸入圖像、卷積核堆棧和相應的輸出量。（c）opt-conv 層中的等效組成，核和輸出以二維數組的形式平鋪在平面，而不是堆疊在深度維數中。

實驗結果

圖 2：學習到的光學相關器。（a）光學相關器示意圖，其中 conv 塊由圖 1 所示的 4f 系統組成。（b）多通道無約束數字卷積層、多通道非負數字卷積層、平鋪核單通道 opt-conv 層，以及以先前優化的平鋪核為目標的相位掩模優化產生的 PSF 的特徵優化核。

圖 3：混合光電 CNN。（a）有單個 opt-conv 層的模型原理圖，對感測器圖像進行處理並送入後續的數字 CNN 層。（b）優化的相位掩模模板和生成的相位掩模在不同縮放級別的顯微圖像。（c）在相應的正（頂部兩行）和負（底部兩行）子圖像做差後，由相位掩模、樣本輸入圖像、各自感測器圖像和假陰性子圖像產生的 PSF 的模擬和捕獲版本的比較。