取代後視鏡，ULSee發布3D全景行車監控影像系統

機器之心原創

作者：高靜宜

搭載著 ULSee 智能駕駛集成方案的汽車上，4 個攝像頭分別安裝在車身的前後左右，用於採集車輛在行車過程中四周的影像。無論是在高速還是低速行車期間，圖像都可以在經過實時圖像拼接技術處理後，形成一幅無縫完整的車周全景圖，實時直觀呈現在車內的顯示設備上，使駕駛員可以 360 度地了解行車環境並結合前方安全警示系統做出相應決策判斷。與此同時，車內的 3 個攝像頭協同工作實現對駕駛員行為的監測分析，進而判斷駕駛員是否走神、疲勞、偏離開車焦點並在第一時間發出警報確保行車安全。

2017 上海國際車展期間，ULSee 將其智能駕駛集成方案鋪陳在汽車廠商眼前，並首次展示了自主研發的 3D 全景行車監控影像系統。這套系統著重於軟體及演算法功能的提升，不需要特殊硬體，CPU 佔用率小於 8M。據透露，該解決方案已經與德國一線車廠達成合作意向並進入測試階段。成立於 2014 年的 ULSee，專註於計算機視覺技術與人工智慧，目前的研發涵蓋圖像處理、人臉追蹤與識別、手部及肢體的跟蹤、3D 重構、AR/VR 內容創建、自然人機交互等，並被廣泛應用於國內外的安防、金融、交通、娛樂等行業領域。

汽車年銷售量穩步上升，因疲勞和分心導致的交通事故數量不容小覷。維吉尼亞理工大學交通運輸研究院的調查顯示，車禍發生的原因有 93% 都是人為因素造成的，其中有高達 80% 都是由於事故發生前三秒注意力不集中所導致。自動駕駛被認為能夠改善此類事故的高發生率。NHTSA 數據統計預測，到 2040 年，自動駕駛技術將會減少 80% 的交通事故。

盲區是駕駛員的夢魘，主要分為車頭盲區、車尾盲區、後視鏡盲區以及 AB 柱盲區。（一般轎車車身每側有三個立柱，前擋風玻璃兩側的斜柱稱為 A 柱，前後門之間的立柱稱為 B 柱、後擋風玻璃兩側的立柱則被稱為 C 柱。）為了避免由於盲區造成事故，全景影像系統應運而生。

市場上現有的 2D AVM 系統雖然可以實現 360 度環景，但 2D 可視距離較短，僅可以在停車的時候使用。傳統 3D AVM 系統也存在各種局限性，如富士通提出的 3D AVM 系統可視距離較遠，但視角有限；BMW 在去年的 CES 展上提出了無後視鏡 Mirrorless 概念，利用攝像頭取代真正的後外視鏡，利用 6 個攝像頭在高速情況下將左中右三個影像縫合在一起，但是由於立體 3D 縫合會出現高速影像信息失真、低速影像重疊頻繁等問題，所以在低速情況下轉換成三分割模式，駕駛員需要自己來通過所呈現的畫面做路況分辨。

而 ULSee 的 3D 全景行車監控影像系統利用 3 個廣角魚眼鏡頭取代傳統後視鏡，攝取左右及後方 270 度的圖像，可以從一側 A 柱覆蓋到另一側 A 柱，完成 3D 立體影像的實時縫合，可視距離為 35 米，實現無盲區零死角，具備更加廣闊的視野。

ULSee 3D 全景行車監控影像系統測試錄像

這套 Mirrorless 全景 3D 解決方案是 ULSee 公司智能駕駛事業部總經理吳易達及其團隊的研究成果。吳易達是來自台灣工研院的技術專家，從 2002 年至今擁有長達 15 年在計算機視覺領域的研發經驗，並於今年初加入 ULSee 進行智能駕駛產品的落地研發。

ULSee公司智能駕駛事業部總經理吳易達

吳易達在接受機器之心專訪時說：「我們是在和車廠的互動和反饋中注意到了汽車高速行進情況下的死角問題，事實上，那是我們也一直正在做相關的研發工作。去年剛好 BMW 提出 Mirrorless 的概念，日本也推出了未來可以用攝像頭取代後視鏡的法規，我們就在這樣一個環境下推出了目前這套解決方案。雖然看起來這個系統好像也沒什麼，我本來也以為很簡單，就做一下魚眼矯正和圖像縫合，但之後發現這背後其實涉及蠻多的工作，還是要很努力。魚眼鏡頭可以看到 180 度的視角，可是會導致車距失真。利用魚眼矯正可以實時矯正視覺失真，讓呈現的圖像效果比較貼近真實的距離感。在縫合的過程中，我們就好像做菜一樣在裡面添加了很多作料，比如針對物體消失，我們會根據不同的畫面做不同權重的調整。在這一塊，我們有一個比較特殊、比較複雜的模型，可以根據客戶所需要呈現的畫面做一些客制化的工作。」

整個系統的研發中同樣存在很多挑戰，吳易達笑稱，身為研發出身可能美感並不是很好，在與車廠的討論過程中，對於縫合圖像的呈現方式在美觀、人為接受度上是一個很大的問題。另外，不同車型車種的盲區死角並不一致，還需要一個討論、磨合、改進的過程。「目前我們主要針對小型轎車，把 2D、3D 一起吃進來，但是大車更需要這樣的 surround view 系統，因為對於大車的駕駛員來說，看分割的監控鏡頭他可能沒有辦法迅速理解鏡頭真正的方向與車子方位間的關係從而造成困擾。所以我們認為大車這一塊是等著我們開墾的蠻荒地，之後會帶領我們的業務單元把這個市場先做起來。」他補充道。

除了可以攝取 270 度圖像的 3 個魚眼攝像頭，前端還有一個鏡頭支持前方安全警示系統，從而實現車道線偏離預警、前方碰撞預警功能，即人們所熟知的 ADAS。ADAS 市場上的競爭無疑是非常激烈的。撇開利用單只前置攝像頭就可以實現一系列駕駛輔助功能的 Mobileye、依託於雙攝像頭日本的 Hitachi Automobile Systems 等業內領跑科技公司，一些晶元廠商也看好 ADAS 市場，在朝這個方向行進。

「ULSee 切入 ADAS 市場的契機，靠的就是我們所提出的顛覆傳統電腦視覺的理論架構，無需前處理過程。」吳易達介紹道。

傳統機器學習最大的問題就是基於影像處理為基礎，使得人們會拿影像處理的工具來做電腦視覺，但這個過程會存在一些問題。對於所有的訊號處理，去雜訊是非常必要的第一步。在視覺領域，去雜訊就是把高頻的訊號濾掉，這樣影像就會變模糊。就像如果一個帶有眼鏡的人，在把眼鏡拿掉以後看到的所有東西都將是模糊的，這種情況下這個人沒有辦法開車。一般智能圖像檢測系統需要經過實時影像輸入、圖像前處理、特徵提取、深度學習、識別分析等過程，如果略過圖像前處理這一步驟，那麼就可以取得最完整的資訊，最豐富的特徵。「這是一個環環相扣的過程，這樣我們的運算複雜度也會大幅度下降，在一些低階的平台上也可以執行。相應地在 AI 這一部分，我們也就不需要複雜的模型，利用輕量深度學習模型就可以運作。一般來說 CNN 大概需要 10^6 神經元，我們只需要 10^3 就夠了。這樣簡而言之，我們既要執行效果理想，又不需要很多 CPU 效能。」吳易達解釋道。

吳易達認為在 ADAS 市場上，每家公司雖然做法不一樣，但是都在努力，不過有一些做法還是比較可惜的。AlphaGo 下贏韓國棋手所獲得成功讓大家看到深度學習的可行性，可如果研發部門一味看中依賴於數據的深度學習，未來研發人員則將會淪為數據搜集者，無法發揮他們的創造力去探索新的模型。以現實而言，為了避免之前 Microsoft 上架的聊天機器人因為學會髒話而不得不下架的情況發生，ULSee 採用專家系統為基礎的深度學習方法，著手以人為的方式進行介入。百度近期發布的「阿波羅計劃」自動駕駛開放平台在業內引發一系列效應，未來 ULSee 也會在保留自己技術特色的基礎之上，利用這個開源平台進行一些探索嘗試。

上述所提到的環景系統以及 ADAS 系統都是相對車外而言，與此同時，在車內對於駕駛者的行為進行監控分析也是非常重要的一個環節。通過了解車內駕駛員的狀態來對其進行疲勞或是分心檢測，再結合車外所得到的信息構成一個完整的系統。

車內駕駛員疲勞偵測與示警系統利用車內的 3 個鏡頭採用影像處理技術，對駕駛員的面部、瞳孔和肢體進行檢測、追蹤以及識別，從而可以實現對駕駛員的疲勞分心檢測、司機身份的識別、甚至可以實現屬性分析進行一系列個性化設置等功能。ULSee 產品總監 Kevin 在現場演示了這套系統的實時效果：「這裡不僅用了我們最擅長的臉部、眼球、頭部追蹤，其實我們也有用到 skeleton 的定位分析。比如開車講電話這樣危險的動作就通過 skeleton 的分析輕鬆判定出來。」事實上，去年 ULSee 就已經發布了這套車內駕駛員疲勞偵測與示警系統解決方案，目前已經搭載在阿根廷 450 萬輛長途物流貨車上。