79刀的深度學習推理計算棒，讓人工智慧「即插即用」！

去年 4 月，PingWest品玩曾經介紹過 Movidius Fathom：一枚藏在 U 盤裡的深度學習計算棒。

之後沒多久，英特爾就收購了計算棒背後的 Movidius，一家總部位於愛爾蘭都柏林的深度學習技術公司。一年後，Movidius 完成了與英特爾新技術事業部的整合，重新設計了 Fathom 的外觀，將產品重新命名為 Neural Compute Stick（神經計算棒，以下簡稱 NCS）。

PingWest品玩獲悉，今天這款產品正式開始銷售。

和顯卡、FPGA（現場可編程門陣列）等高功率、高性能，可用於訓練神經網路的設備不同，Neural Compute Stick 更偏向神經網路的「推理」(inferencing)，也即將訓練好的神經網路投入使用。

低功耗是 NCS 的最大優勢。在不增加耗電的前提下解放主機處理器，賦予深度學習能力，是 NCS 的主要用途。

在訓練神經網路相比，推理神經網路所需的計算極大減少。然而在很多終端產品（比如機器人）上，由於整體功耗和成本限制，不能添加 Wi-Fi 模塊保持隨時聯網，也不能放太強的處理器，這就導致 CPU 核心被本地推理神經網路的任務佔用，沒有足夠的額外算力去做其他事情（比如無人機的飛控等等）。

受到計算能力和功耗的制約，「終端深度學習」(deep learning on edge) 目前境地比較尷尬——卻正好是 NCS 的用武之地。

我去英特爾辦公室查看了幾個 NCS 和英特爾「歐幾里得」 (Euclid) 開發套件配合使用的 demo 環境。歐幾里得上有一個 RealSense 視覺感知模塊，處理器、顯卡、邏輯主板、內存、介面、電池、Wi-Fi/藍牙等一應俱全，可以理解為一台小電腦。

用歐幾里得單機運行一個比較主流的 Alex-net 物體識別網路，直接將主機 CPU 佔用率推到了 90%+，內存佔用超過了 30%，輸出的圖像幀率降到了 5FPS，功耗超過了 8W；把 NCS 插到歐幾里得上之後，推理 Alex-net 的計算下行到了 NCS 上， CPU佔用率只有 30%，內存佔用降低到了 2.5%，幀率升至 10FPS，總體功耗降低到了 2.25W。

NCS 內置 Movidius 自行設計研發的 Myriad 2 VPU（視覺處理單元）。如果說攝像機、感測器是計算機視覺的「眼睛」，VPU 就是的「大腦」。與適合多種計算用途的 CPU、GPU 不同，Myriad 專門為計算機視覺進行優化，可以用於 3D 掃描建模、室內導航、360°全景視頻等更前沿的計算機視覺用途。

GIF/1.1M

採用新製程工藝生產的 Myriad 2，1W 功率範圍內的性能達到了驚人的一千億次浮點運算，「即插即用」實現本地低功耗實時分析、調試和部署深度神經網路。

在適配性上，NCS 原生支持業界主流的 Caffe 框架，強大的運算性能可以本地運行卷積神經網路，內部人士告訴我未來很快就會加入 TensorFlow 支持。

NCS 原型機（Movidius 給了我一枚做紀念）

為什麼從去年發布到現在，拖了一年才開始發售？很重要的一個原因在於英特爾提供了重要的供應鏈資源，降低了生產成本，建議零售價從去年的 99 美元砍到了 79 美元。這個價格能讓 NCS 更受機器學習研究員和工程師的歡迎，Movidius 的調研顯示該群體在全球大約有 60 萬人左右。

在 Movidius 的預想中，機器人創業公司可以用 NCS 來開發具備計算機視覺能力的原型產品，如果有創客對引入神經網路感興趣，也可以購買 NCS 來減輕自己的開發壓力。

USB-A 介面使得 NCS 的泛用性很強，也可以插到主機上，完成一些簡單的部署工作即可對電腦、伺服器的神經網路運行帶來顯著優化。不僅如此，同時插入多枚 NCS，也將帶來線性的性能提升（實驗室測試最多同時插入 4 枚）。

英特爾將在夏威夷舉辦的計算機視覺學術會議 CVPR 上，以及通過兩家指定的在線供應商銷售這枚神經網路計算棒。更進一步，Movidius 也希望能獲得深度學習生態鏈的上游——框架開發者的青睞。據 PingWest品玩了解，目前這種計算棒類型的深度學習推理設備在市場上還沒有第二款，不過也有一些大公司和創業公司在低功耗領域內發力——好在這次，英特爾已經通過收購提前搶佔了市場。

「希望 NCS 能成為深度學習人士最常用的工具。」一位內部人士告訴PingWest品玩。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！