高通AI晶元來了，瞄準視覺場景賦能IoT

人工智慧晶元早已成為晶元巨頭關注的焦點，早些時候，Nvidia就宣布將把某些Nvidia的技術整合到ARM的晶元設計中，特別是針對物聯網設備實現AI的處理器優化。雷鋒網消息 ，近日高通推出視覺智能平台，搭載了採用10nm FinFET製程工藝、專門面向IoT的SoC。QCS605和QCS603 SoC集成ISP、高通AI Engine及連接和安全技術，能為終端側的攝像頭處理和機器學習提供強大的計算能力，面向廣泛的物聯網應用。

高通新SoC平台如何讓IoT設備也實現AI功能？高通IoT產品經理Seshu Madhavapeddy為此做了進一步解讀。

為什麼需要視覺智能SoC平台？

正如20世紀80年代PC消除了高價值計算必須在大型主機上運行，智能物聯設備以及支撐這些設備的晶元正在證明AI計算也可以在邊緣完成，而非僅僅在雲端。越早打破數據中心在AI中的獨特地位，AI能更早和容易被普通終端用戶和開發者所接受。

Madhavapeddy表示新的SoC平台為IoT邊緣計算而設計，通過讓更多地計算在設備中進行儘可能減少數據向遠程基礎設施傳輸，讓物聯網終端變得更加智能。QCS605和QCS603 主要面向智能視覺領域，應用於安防攝像頭、運動攝像頭、可穿戴攝像頭、虛擬現實（VR）360度與180度攝像頭、機器人和智能顯示屏等。

Madhavapeddy進一步解釋，之所以要推出新的平台是因為IoT攝像頭與手機攝像頭有較大的區別。首先，與手機攝像頭不同，IoT攝像頭往往工作在低光照環境；其次，IoT攝像頭有非常不一樣的圖像穩定需求，IoT攝像頭所需的並非模糊不清的快照，而是運動場景中頭盔上的視頻拍攝，或無人機在執行任務過程中攝像頭的清晰和實時反饋。

高通視覺智能平台（Qualcomm Vision Intelligence Platform）

詳解QCS605和QCS603

高通AI Engine

高通新推出的視覺智能SoC平台集成Qualcomm人工智慧引擎AI Engine，AI Engine由多個繼承的硬體和軟體組件組成。包括了驍龍神經處理引擎（NPE）軟體框架，其中包含採用TensorFlow、Caffe和Caffe2框架進行開發的分析、優化與調試工具，ONNX（Open Neural Network Exchange）交換格式，以及Android Neural Network API和Qualcomm Hexagon Neural Network庫。AI Engine還包括軟體開發工具包SKD。當然，高通希望開發者和OEM廠商能輕鬆將訓練網路接入到此平台。

基於AI Engine和驍龍神經處理引擎軟體框架，視覺智能平台可為深度神經網路推理提供高達每秒2.1萬億次運算（TOPS）的計算性能。同時，人工智慧引擎也可以優化推理，即根據部署到設備的機器學習模型對圖像數據進行評分。當然，模型訓練仍然會在使用大量GPU具有更強性能的雲端進行。

視頻特性

Madhavapeddy表示，圖像不僅僅是靜態的，也有動態的視頻，不過603和605都具有強勁的視頻性能。605支持4K@60fps和1080p@60fps、4K@30fps和720p@30fps的視頻流，以及更低解析度的多個並發視頻流。

為了實現非凡的圖像質量，視覺智能平台集成了支持雙1600萬像素感測器的雙14位Qualcomm Spectra 270 ISP。此外，該視覺智能平台包括物聯網細分領域所必需的視覺處理功能，如可防止高動態範圍視頻出現「疊影」效果的交錯式HDR（staggered HDR）、電子穩像、畸變校正、降噪、色差校正，以及硬體運動補償時域濾波（MCTF）。

異構計算架構

視覺智能平台QCS605晶元組的異構計算架構，集成八核Kryo 360 CPU、Adreno 615 GPU和Hexagon 685向量處理器。該視覺智能平台的集成式顯示處理器可為一系列顯示屏提供硬體加速合成、3D覆蓋，以及包括OpenGL、OpenCL和Vulkan在內的主流圖形API支持。該架構支持多種高級操作系統，能幫助開發者和製造商在其解決方案中輕鬆構建差異化特性，如VR 360度攝像頭的端側內容拼接，自主機器人導航與避障，以及運動攝像頭的視頻摘要。

QCS603和605都集成Adreno GPU、多核Kryo CPU、和Hexagon 685向量處理器以及高通AI Engine，都屬於為電池供電產品設計的低功耗產品。對比而言，605是8核CPU，603是雙核CPU， 603的運行功率更低、晶元更小，以更低的規格實現更多的功能。

Wi-Fi、音頻、安全特性

據雷鋒網了解，高通視覺智能平台都板載Wi-Fi，605具備MU-MIMO和雙頻並發特性的2x2 802.11ac Wi-Fi、603具備1x1 802.11ac Wi-Fi。

音頻方面，支持Qualcomm 3D音頻套件、Qualcomm Aqstic音頻技術和Qualcomm aptX音頻。該平台還具備Qualcomm噪音抑制與迴音消除技術，以終端側音頻分析與處理特性，支持自然語言處理、音頻語音識別和語音插播功能，打造可靠的語音界面，甚至在吵鬧或嘈雜的環境，或當用戶遠離終端時也可實現。

視覺智能平台基於硬體的安全特性可通過下列功能支持可靠的物聯網終端，包括硬體可信根的安全啟動、可信執行環境、硬體加密引擎、存儲安全、貫穿生命周期控制的調試安全、密鑰分發和無線協議安全等。

雷鋒網報道 via ZDNet

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！