都在「鼓吹」多感測融合，說的可能都不是一回事「GGAI頭條」

儘管多感測器融合已經成為自動駕駛行業的共識，但怎麼做，做得好既有多種選擇，也不是易事。

隨著中央域控制器的計算能力的提升，以及新的E/E架構成為各家汽車製造商的下一個重點布局目標，「原始數據融合」擺脫延遲，降低成本正在成為焦點。

今天，大多數感測器融合應用融合的是對象數據，而不是原始數據。而在很多量產車上，攝像頭和雷達甚至都沒有進行目標級融合。

目前，行業內主要的多感測數據處理架構主要包括以下三種：

1、分散式：將各獨立感測器獲取的原始數據進行局部處理，然後將處理結果發送到數據融合中心進行智能優化組合，得到最終結果。對通信帶寬的分散式需求低，計算速度快，可靠性和連續性好，但跟蹤精度遠不夠。

2、集中式：將採集到的原始數據直接傳輸到中央處理器進行融合處理，可以實現實時集成。數據處理精度高，演算法靈活，缺點是對處理器要求高，可靠性低，數據量大，難以實現。

3、混合式：混合多感測器信息融合框架（分散式 集中式），部分感測器採用集中式融合，其餘感測器採用分散式融合。混合融合框架具有較強的適應性，兼顧了集中式融合和分散式融合的優點，穩定性強。但混合融合結構比前兩種融合方案更為複雜，增加了通信和計算成本。

因為多感測器的使用將需要處理的信息量增加，甚至相互矛盾的信息，如何保證系統快速處理數據，過濾無用的、虛假信息，確保系統終於做出及時、正確的決定是至關重要的。

多感測器融合在硬體層面並不難實現，重點和難點都在演算法上，具有較高的技術壁壘。

一、原始感測數據融合「熱鬧了」

此前最有名的是西門子公司（收購的Mentor）發布的被稱為DRS360的新平台，不同於傳統的高級駕駛輔助系統(ADAS)，它消除了在每個感測器上使用專用處理器。

到目前為止，每個ADAS感測器(攝像機、雷達、激光雷達)都使用了自己的專用微控制器(MCU)來過濾數據，然後將數據轉發到包含另一個處理器的單獨模塊中，由另一個處理器做出決策。

DRS360模塊由FPGA(現場可編程門陣列)、SoC(晶元上的系統)和微處理器組成，以及允許設備彼此「交談」的通信框架。除此之外，它還使用了專門的軟體來捕捉、處理和融合來自所有感測器的數據。

Mentor公司聲稱，新架構不僅消除了對每個感測器數據處理的需求，而且減少了在中央處理器上發生的處理量。「我們有一種預感，如果我們使用一個集中的原始數據融合集，我們就可以應用機器學習演算法，從而實際上減少中央節點對計算能力的需求。」

Mentor公司預計，該技術將主要吸引一級供應商和大型OEM廠商。多年來，這些工程師中有許多人一直在尋找減少汽車中微控制器數量不斷增加帶來的複雜性的方法，而這是幫助解決這一問題的一種方法。

「感測器供應商沒有動機做我們做的事情，」Mentor公司相關負責人表示，「晶元供應商也沒有很大的動機，因為我們降低了整車的計算需求。但整車廠會喜歡的。」

現在，希望能夠在原始數據融合上提供解決方案的初創公司越來越多。

VAYAVISION是一家提供自動駕駛車輛原始數據融合和感知軟體解決方案的供應商，去年10月這家以色列初創公司拿到了800萬美元的融資（投資方包括三菱HFJ金融、LG電子等），該公司近日宣布推出VAYADrive 2.0。

VAYADrive 2.0是一款AV感知軟體引擎，它將原始感測器數據與人工智慧工具融合在一起，創建自動駕駛車輛周圍區域的精確3D環境模型。

VAYADrive 2.0在多個類別的AV環境感知方面開闢了新領域——原始數據融合、目標檢測、分類、SLAM和運動跟蹤——提供了關於動態駕駛環境的關鍵信息，支持更安全可靠的自主駕駛，並優化了性價比高的感測器技術。

VAYAVISION首席執行官兼聯合創始人羅尼·科恩表示:「這一推出標誌著自動駕駛汽車新紀元的開始，將一款基於原始數據融合的AV感知軟體推向市場。」

羅尼·科恩表示，VAYADrive 2.0提高了自動駕駛汽車的安全性和可負擔性，並為OEM和Tier1s提供了大規模量產基於多感測融合的自動駕駛汽車的可能。」

VAYADrive 2.0軟體解決方案結合了人工智慧、分析和計算機視覺技術與計算效率，以提高AV感測器硬體的性能。該軟體兼容多種攝像機、激光雷達和雷達。

VAYADrive 2.0解決了業界面臨的一個關鍵挑戰：檢測「意外」對象。道路上充滿了訓練數據集中沒有的「意外」物體，即使這些數據集積累了數百萬公里的數據。

目前，行業內還無法完全做到基於深度神經網路的系統100%檢測到「意外」。要檢測物體，沒有一種單一類型的感測器是足夠的。相機看不到深度，對光線和天氣敏感度高；距離感測器，如雷達，解析度低；激光雷達，還太貴，關鍵是過車規的只有一款SCALA。

VAYADrive 2.0對距離感測器進行稀疏採樣，並將距離信息分配給高解析度相機圖像中的每個像素。這使得自動駕駛汽車能夠接收到關於物體大小和形狀的關鍵信息，能夠將道路上的每一個小障礙物分開，並準確地定義道路上的車輛、人和其他物體的形狀。

「VAYADrive2.0架構為汽車廠商提供了一個可行的選擇，以替代市場上常見的『目標級對象融合』模型的不足。」VAYAVISION聯合創始人兼首席技術官Youval Nehmadi表示，「這對提高檢測精度、降低從L1-L3升級過程中的高誤報率至關重要。」

近日，VAYAVISION宣布，他們獲得歐盟委員會歐洲創新委員會(EIC)一筆245萬歐元的中小企業扶持基金，以支持向歐洲市場的推廣原始數據融合技術。

VAYAVISION也被選中作為「地平線2020工作計劃2018-2020」的一部分，入圍的Seeing the View方案詳細說明了如何利用這筆資金支持將該公司的首款感知軟體產品VAYADrive 2.0推向歐洲市場。

其中包括對VAYADrive 2.0進行調整和定製，為歐洲市場做準備；營銷和支持基礎設施、培訓以及歐洲本地的業務和支持團隊，以協助歐盟的OEM和一級供應商。

二、原始數據和目標對象融合的利弊

羅尼·科恩說，「實際上，汽車製造商還沒有準備好如何量產自動駕駛，就連被認為是領導者的Waymo也有問題。這個行業最初有很多令人興奮的事情，但並不像看上去那麼簡單——這不僅僅是質量的問題，還有成本和可擴展性，對於量產來說系統的成本效益是至關重要的。」

不過，目前原始數據融合還存在不少問題，所以許多OEM製造商和解決方案商將重點放在了後期的目標級對象融合上。但消極的一面多於積極的一面。

合併對象數據而不是原始數據仍然暴露了系統對單個感測器的弱點。例如，您的被動視覺感測器對數據進行預處理。感測器看到一個停車標誌，但由於貼在標誌上的貼紙，它把這個標誌誤認為限速標誌。激光雷達數據顯示，該標誌是六邊形的，這意味著它是一個停車標誌，而不是限速標誌。

然後，您將有兩個數據流表示相互衝突的觀點，並且需要第三個數據流來打破僵局或決定信任其中一個感測器。除了在系統中傳播感測器缺陷外，後期融合還需要很長時間來做出決策。一些開發人員認為所有這些問題都可以通過早期的原始數據融合來解決。

一些公司表示，原始數據融合將使他們能夠在使用更少能源（和計算）的情況下，以更高的解析度探測環境。當來自不同感測器的所有原始數據在處理之前被混合在一起時，深度神經網路(DNN)可以創建一個更完整的環境圖像。

處理器可以將兩者的原始數據結合起來，以確定它實際上看到的是什麼，而不是激光雷達和被動視覺爭論他們看到的是什麼類型的信號。除了使系統更智能，原始數據融合還可以提高其性能。使用只處理原始數據的演算法可以減少系統延遲。

但原始數據融合非常複雜。不過，仍然有不少企業開始陸續推出自己的解決方案，除了本文前面提到的兩家公司，DeepScale也在開發一個獨立於感測器和處理器的系統。如果你想建立一個更精確的系統並提高它的性能，原始感測器數據融合可能是一條路。

目前，DeepScale還是偉世通DriveCore四個技術合作夥伴之一，使用深度學習，從任何感測器組合中實時創建環境的集成模型。然後，DeepScale的深度神經網路(DNNs)增加了自動駕駛所需的感知能力。

三、毫米波雷達是個「缺口」

當然，原始數據融合還受限於感測器的性能。以傳統的毫米波雷達 視覺融合為例，由於傳統雷達解析度低，很難與攝像頭實現像素級的原始數據融合，一般只能做目標級融合。

近年來，全球在毫米波雷達領域的初創公司都在嘗試向高解析度成像雷達技術方向拓展。他們希望能夠充分發揮毫米波雷達不受天氣、光線影響和多普勒測速的獨特優勢，最大程度克服改善傳統雷達解析度低不能成像的缺點，讓毫米波雷達進入2.0時代。

目前，全球在4D毫米波雷達研發上，有包括傲酷雷達（Oculii）、Arbe Robotics、HENSOLDT、Steradian Semi、ARI、Metawave等多家廠商正在突圍。

傲酷雷達（Oculii）在全球首創了車載4D（X,Y,Z和速度）高清點雲成像毫米波雷達，採用了世界首創的虛擬MIMO方式，用類似激光點雲的成像方式，同時對距離300米內的移動和靜止目標高清成像。

4D（3D空間 1D速度）點雲成像毫米波雷達，被認為是很有前景的主流趨勢之一。這種雷達相比傳統雷達專門有垂直方向天線，可以做到垂直方向的成像和探測，形成立體點雲。

這種雷達技術可以將角解析度大幅提升至零點幾度的水平，逐步接近激光雷達。該雷達不但保留了毫米波雷達全部優點，同時兼具了激光雷達的不少優點。比如點雲成像後，可以像激光雷達一樣對小物體的進行跟蹤識別，以及對移動、靜止物體的同時跟蹤，和行人和車輛同時跟蹤等。

此外，這種毫米波雷達也可以穿過前方車底，對視距以外的部分車輛和行人進行檢測和跟蹤，這是對激光雷達和攝像頭的缺陷重要彌補。

最重要的是，傲酷雷達的點雲的每一點都有一維速度值，在當幀（攝像頭）里直接實時給出該點物體的移動速度。對周邊動態障礙物如車輛行人反應極為靈敏，這點對無人駕駛特別關鍵。而激光雷達則需要運算兩幀或多幀所有的點後，間接算出速度，時延大並容易出錯。

在與視覺原始數據融合方面，4D點雲毫米波雷達具備天然優勢，每秒可以產生幾萬立體點雲。這樣攝像頭可以像和激光點雲融合一樣，和毫米波點雲原始數據融合。

攝像頭 點雲毫米波就可以對周邊複雜環境可以3D實時建模，對行人車輛的距離和速度進行精確監測。攝像頭在大雨、黑天、逆光下的性能下降，也可以被點雲毫米波補上。

這種原始數據級的融合，可以大大提高目標檢測的置信度、降低誤檢率和漏檢率。這樣攝像頭 點雲毫米波就可以成為L3/L4功能下的性能優越、價格合理的感測器組合。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！