中科慧眼CTO崔峰：車載雙目視覺量產沒有捷徑「GGAI視角」

最新 07-25

雙目視覺是利用左右兩個攝像機同步成像，再利用實際場景中遠近物體在左右相機中成像的差異進行測距的視覺感知方法。近的物體，在左右相機中的成像位置差異較大，遠的物體在左右相機中的成像位置差異比較小。

這種仿生視覺感知系統類似於公司觀賞3D電影，通過偏光鏡片，左眼看左相機的圖像，右眼看右相機的圖像，通過大腦理解視覺差異從而形成具有真實遠近關係的立體感覺。

雙目視覺要做的是仿生技術加人工智慧計算、精密製造三位一體的工作。難度在於如何時時刻刻維持各種溫度、各種場景下近乎完美的經過計算的每部雙目相機的立體視覺幾何模型，如果視覺幾何模型發生變化，視覺推理計算的結果就可能不可控。

立體視覺的原理很簡單，但穩定地實現起來卻很難。

在三維立體視覺中，成像環境中的X、Y、Z三維信息都可以通過立體視覺的精確測距能力進行恢復。所有現實世界的每一點的X、Y、Z三維信息，都和兩個攝像機之間的基線長度，每個鏡頭經過標定之後的焦距，以及該點在雙目相機成像中對應的成像點對的視覺差異有關。

為什麼說視覺測距有難度？通過立體相機測距，越近的物體的在左右相機的視覺差異，也即視差的區分度越大，越遠的物體的視差區分度越小。也就是說做一個雙目相機，隨著穩定有效的測距距離達到50米以上、100米以上、150米以上，難度就會越來越大，測距精度和穩定程度較難保證。

可以說，雙目視覺即可具有單目視覺的識別能力，又具有類似於激光雷達點雲的精確測距能力的優勢。性價比較高，應用前景比較廣闊。

中科慧眼創始人/CTO崔峰博士在《2019高工智能電動汽車開發者大會（蘇州站）》上表示，目前中科慧眼前裝L4雙目視覺感測器產品和後裝雙目AEB產品已批量出貨，並以實現商用車的前裝定點，預計在今年7、8月份，會有搭載公司前裝產品的商用車型上市。

2019年會是國內做車載立體視覺公司的具有里程碑意義的一年，中科慧眼的目標是為L0到L5的智能駕駛需求全面賦能。

一、雙目歷史

從1999年最早量產車載雙目系統的斯巴魯，到2016年賓士全系、2016年寶馬全系、捷豹、路虎、2017雷克薩斯、大發，車載立體視覺在從高端車型至低端車型加速推廣。

博世、大陸、日立、奧托立夫、麥格納、采埃孚等一線Tier1也在採用或自主研發雙目方案。而國際廠商的這一技術在國內的推廣力度相對滯後。

從全球來看，就車載立體視覺應用的經驗和指標而言，最成熟的是日本企業，比如日立、理光，而近幾年進行車載雙目視覺創業的公司，很多人才都來自於這些日本公司。

比如斯巴魯的實吉敬二先生，在深圳、長春成立了分公司。理光也在中國尋找合作夥伴，雙目的研發公司和車廠都在大力推廣這些技術在中國的應用。

從晶元廠商來看，包括NXP SV32系列、Ambarella CV2AQ系列、Toshiba Visconti系列等新一代車載人工智慧計算晶元，它們無一例外都包含了立體匹配的模塊。

這表明，深度視覺加上深度學習，會有可能成為下一代車載智能感測器、計算當中非常重要的特徵點。這方面技術的進入門檻會逐漸降低，從成本和方案都會更易用。

從國內來看，做車載立體視覺感測器的廠商有中科慧眼、元橡科技、華芯技研等，大家都在結合自身的技術特點、本地的需求、本地製造商的能力，力爭實現立體視覺在車載應用上的突圍。

目前，中科慧眼已經形成了較為成熟的自主知識產權的研發與製造能力，在全產業鏈都可以形成賦能。至今為止公司已經申請或者獲得國內外專利近百項，人均專利項突出，並在持續增加申請中。

二、從學習到追趕

中科慧眼的一代立體相機平台到二代立體相機平台的演進，從距離點雲解析度、實際的測距能力、，測距準確度上來講，有一個很大的提升，包括達到前裝品質。二代平台的產品，基線長度比較短，測距範圍比較遠，從技術指標上形成了一個對國外標杆產品的追趕。

中科慧眼二代相機的典型配置對應的測距指標，從5米到100米，測距誤差始終穩定的維持在3%以內。在100米以內的距離區間，可應用於ADAS、自動駕駛。

此外，中科慧眼提供基於密集匹配的方案與邊緣匹配方案的全面支持。如圖所示，道路從近到遠延伸，立體測距的距離可以由近及遠用偽彩色從紅到藍來表示。孤立的障礙物，在距離點雲圖上從形態上來講比較孤立均勻，由距離點雲的可以快速完成障礙物的分割，以及道路、路沿、樹木，等駕駛環境的感知。

雙目相機既有圖像可以進行深度學習識別，又有點雲可以進行分割與測距，融合了類激光雷達和機器視覺的綜合能力。

將立體視覺的深度點雲圖和深度學習融合，也是立體視覺發展的趨勢。比如，夜間同車道、對向車道的目標檢測與測距精度都可以藉助深度學習的能力得到加強。

將立體視覺和深度學習結合，可以為客戶提供性價比更高、性能更強的智能視覺感測器，構成一個比較完備的邊緣運算模塊，直接將識別數據，3D-BOX，以及精確的測距距離信息等，輸送給域控制器直接進行AEB剎車或者自動駕駛控制。

中科慧眼不僅僅局限於可見光的視覺，還將可見光相機和紅外圖像融合，得到一個可見光與多波段光信號融合的圖像。

這樣的視覺方案不僅可以在可見光下運作，融合紅外光之後可以感知更加豐富的環境信息。大大降低夜間、雨雪霧天氣對視覺系統的影響。

三、雙目ADAS的量產

實現量產的車規級雙目ADAS產品是獵戶座。雙目相機將精準測距與視覺識別融合可以實現ADAS常見的FCW、LDW、HMW等功能，還可以實現不依賴於識別能力的非標準障礙物的碰撞預警或者主動剎車等功能。

比如視頻中演示的這些場景，一個平板車上有一個模型肢體，幾個堆放的紙箱子也可以作為非標準障礙物被及時檢測出來做主動剎車。

針對商用車的AEB產品，中科慧眼已經實現了量產出貨。針對乘用車，中科慧眼研發了全金屬外殼的全車規雙目相機-岩石城。

目前，中科慧眼的全車規模組全面通過了第三方車規測試認證，並在工作環溫測試、拋負載測試、輻射傳導、靜電放電指標上，全部通過了車規最高等級標準。

針對特殊的具有一定高度的車輛，像商用車、大卡車、雙層大巴，房車在行駛中容易出現的對高處障礙物的刮蹭事故，中科慧眼開發了雙目限高障礙物預警系統-大熊座，可以安裝在相對較高的車輛上，對各類不規則或者是規則的限高障礙物，比如橋洞、天橋、隧道、限高桿的碰撞進行預警，幫助車廠提高客戶體驗，減少事故的發生概率。該產品目前已獲得前裝定點。

中科慧眼針對L0至L2的ADAS應用的產品主要是為了量產落地。針對相對比較複雜的L3至L4的自動駕駛需求，中科慧眼繼續提供高性價比的多維視覺感知模塊。

到目前為止，阿波羅生態系統當中大部分的自動駕駛車輛都裝備了中科慧眼的立體視覺感測器，包括各種商用車輛，巴士、送貨車、清潔車、巡邏車等等。還有一些自動駕駛的合作夥伴陸續會公開中科慧眼的產品。

為了服務於更多致力於立體視覺、視覺感知識別開發的用戶，中科慧眼開發了一個雙目視覺靈動平台，用戶可以根據公司提供的SDK進行二次開發，為立體視覺或多目視覺的開花結果鋪平道路。

四、車規的試金石

崔峰表示，在車載雙目視覺方面，技術指標上國內相比國外正在縮小差距，在產品應用上，國內要更激進一些。

但在國內做車載立體視覺，會受制於成本、供應商、材料、加工工藝、量產經驗積累等方面的限制，需要克服諸多問題，產品能否通過第三方測試的車規驗證，往往是衡量公司成色的試金石之一。

要做到這些，考驗廠商的不只是技術的基本功，還有對供應商的管理、工藝的改進，生產方式等方面所做的探索等等。

崔峰坦言，對中科慧眼而言這些也是從零開始做，非常不容易。車規級產品的開發一定要過一些門檻，但磨刀不誤砍柴工，所有的付出都是值得的。