打破常規CMOS，芯侖欲用動態視覺感測器掀起自動駕駛新浪潮

傳統攝像頭正朝著更高幀率、更大解析度的方向發展，多感測器融合也被行業定義為自動駕駛實現的必經之路，這帶來的是越來越大的數據量。多數軟體晶元公司還在尋找如何快速準確處理大量數據的最佳方式，而芯侖科技卻將精力放在機器視覺的數據之源——前端攝像頭。

11月28日，芯侖科技創始人兼首席科學家陳守順教授出席合肥高新區舉辦2018全球物聯網創新峰會，進行了關於《顛覆性的物聯網感知方案——動態視覺感測器》的主題演講。

打破常規的 CMOS 圖像感測器和圖像處理演算法，從博士時代開始探究動態視覺感測器的陳守順，將這項技術應用到自動駕駛創業中。2012年，陳守順做出第一款動態視覺感測器晶元；2015年，其帶領團隊在新加坡成立Hillhouse Technology；兩年後的夏天，團隊回國，公司重新命名為上海芯侖光電科技有限公司。當初的視覺感測器晶元經過多輪產品迭代，目前已經演進至第五代CeleX-V（100萬像素，車規級）。

動態視覺感測器路徑上的供應商為數不多，芯侖與瑞士的Inilabs、法國的Prophesee、三星（licensed IP）屬於同一隊列。專註汽車行業的法國諮詢公司YOLE曾將動態視覺感測器定義為L4和L5級別的自動駕駛必不可少的感測器之一。

傳統攝像頭提供某一時刻的平面圖象，工作方式大致經過重置電荷累計、曝光、輸出三個階段。電荷量根據輸入光的強度發生變化，其將捕捉到的光學信息（包括採集點的灰度和顏色）轉化成數字信號，實現場景的還原。陳守順提到傳統感測器在數據獲取方面依舊存在以下問題：

• 不連續的數據獲取：傳統感測器並非連續曝光，採集存在間隔，攝像頭僅在曝光階段觀察世界，不曝光時是不看東西的，這造成對物體的追蹤存在盲區，丟失了大量物體運動信息，為後端圖像處理演算法帶來問題；

• 無運動的區域持續輸出無效的冗餘數據；

• 快速運動場景下存在圖像模糊；

• 計算資源浪費。

芯侖採用動態視覺感測器（DVS）解決上述問題。基於新型的仿生動態圖像感測器晶元技術，芯侖研發出CeleX?動態視覺感測器。陳守順提到，CeleX感測器的每個像素都能連續的單獨監測光強的波動，並在達到閾值時激發事件從而被讀出。

雷鋒網新智駕了解到，面對快速運動的像素點，常規感測器存在固定幀率、曝光概念，無法準確捕捉完美的運動點。如上圖所示，常規感測器拍攝到的多為一段小條，且存在間斷。不同於傳統CMOS圖像感測器，動態視覺感測器沒有曝光、幀率概念，沒有閑置時間，CeleX動態視覺感測器為連續三維的點雲，在X、Y、T空間內對物體運動軌跡進行連續標註，包含像素點運動位置、時間信息，且時間坐標可以精確到納秒級。

陳守順將動態視覺感測器喻為「敵不動、我不動」，其每一個像素點可進行獨立的運算，在且僅在像素點發生光強變化時進行數據輸出，產生較低的數據率。即對於機器視覺而言，物體沒有變化時不產生數據流傳輸，感測器僅對有效的像素點進行記錄，從而剔除冗餘數據。

由於像素點單獨獲取數據，並以對數方式進行光電信號的轉換，不再受傳統的成像參數（曝光時間、白平衡等）影響，CeleX在高動態範圍方面表現更好。在特殊場景如隧道出入瞬間，感測器不受光照劇烈變化影響，可以做到場景及運動物體全部清晰，這對自動駕駛的意義很大。

鑒於動態視覺感測器中，晶元的輸出數據不受幀率影響，運動頻繁的點讀出次數會相應增多，因此可以完整記錄下打壁球等物體運動的過程。

CeleX感測器對數據進行高速採集，相當於每秒幾十萬幀，像素點的時間解析度為5納秒，動態範圍超過120dB。同時具備兼容性，CeleX也能提供傳統圖像感測器的全副畫面，可以兼容使用基於全幅圖像的演算法，並能在感測器晶元上進行光流運算，提供全解析度運動矢量信息。

CeleX片上光流模式

陳守順著重提到一點，CeleX動態視覺感測器輸出類似於激光點雲，包含三種輸出碼流方式：

圖片模式：和傳統圖像感測器一致的全幅圖像，兼容傳統圖像處理演算法和硬體；

動態模式：通過對自然光強變化的判定輸出仿生的動態特徵脈衝信號（X、Y、A、T）；

光流模式：芯侖獨有的密集光流模式，無需降維，從晶元上得到光流向量場信息，直接輸出全解析度運動矢量信息（方向和速度），無需後期演算法處理。

這也正是芯侖同其它家動態視覺技術方案解決商的一大不同之處。動態視覺感測路徑上共有四家公司：瑞士的Inilabs、法國的Prophesee、三星（licensed IP）及芯侖科技。芯侖最大的優勢在於具備三種輸出數據格式：動態模式、圖像模式及光流模式。Inilabs、Prophesee僅具備前兩種輸出模式。

雷鋒網新智駕了解到，通過傳統感測器計算光流非常消耗資源，而CeleX全幅密集光流模式能在晶元採樣層級上就能實現。CeleX通過靈活利用三種數據流對演算法進行優化，其演算法複雜程度在很多場景下能降級上千倍。

芯侖將自己定義為機器視覺系統解決方案提供商，CeleX作為一種平台化技術，根據不同的應用場景和市場需求，芯侖提供晶元、技術授權或終端解決方案。面向車載領域，CeleX應用到車內駕駛員監控（DMS）和駕駛輔助系統（ADAS）兩大場景。

芯侖選擇從後市場切入，基於動態視覺晶元實現駕駛員監控，進行眼睛眨動及面部肌肉的變化情況識別，同樣輸出三種碼流。芯侖目前同物流車隊合作進行駕駛員監控產品測試。

芯侖ADAS產品車外ADAS相關，陳守順提到，跟傳統的攝像頭技術路徑相比，其感測器從感知到晶元組信號處理輸出，再到控制指令輸出環節速度節省幾百毫秒。對於一台時速120公里/小時的行駛車輛而言，CeleX方案將節省5米制動距離。

雷鋒網新智駕了解到，專註汽車行業的法國諮詢公司YOLE將動態視覺感測器定義為L4和L5級別的自動駕駛必不可少的感測器之一。自動駕駛量產前夜，在ADAS 市場掀起小風浪的動態視覺感測器又能否助力更高級別自動駕駛呢？

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！