清華大學教授鄧志東：起底自動駕駛，從技術路線到產業化落地實踐 | CCF - GAIR 2017

「自動駕駛有可能是人工智慧最具商業價值，而且最早落地的垂直領域。」7月10日，在由中國計算機學會（CCF）主辦，雷鋒網和香港中文大學（深圳）承辦的CCF-GAIR全球人工智慧與機器人大會壓軸日的智能駕駛專場上，鄧志東如是說。

鄧志東現任清華大學計算機系教授、博士生導師。自2009年起，鄧志東帶領團隊開發了三輛具有感知和自主決策功能的自動駕駛汽車，在該領域積累頗深。如今，隨著人工智慧技術的演進和發展，人工智慧在L4（SAE）級別自動駕駛產業落地的進程中發揮著不可替代的推動作用。鄧志東的主題演講也是圍繞這個話題展開，雷鋒網新智駕對演講內容做了不改變原意的整理編輯。

*清華大學教授、博士生導師鄧志東

一、限定區域是個坑

2016年9月20日，美國交通運輸部最新發布自動駕駛聯邦新規，已經明確無人駕駛汽車以SAE的6級作為分級標準（L0-L5）。現在大家普遍感興趣的是L3和L4，L3即限定條件下的自動駕駛，L4即高度自動駕駛。

具體而言，自動駕駛的第一個階段是輔助與半自動駕駛（L0和L1），第二個階段是過渡期的無人駕駛（L2和L3），第三階段是真正的無人駕駛（L4和L5）。

作為過渡期的第二階段，也就是人進行輔助的人機共駕階段，包括L2和L3。

• L2是解放手腳，但人眼和人腦還要受累；

• L3是解放人眼，解放人眼的關鍵是機器能夠代替人對包括極端與緊急情況下的環境進行安全可靠的感知。

L4和L5是真正的無人駕駛階段，最鮮明的特徵就是自主行駛的安全性得到了充分的保證。

• L4是解放人腦，但仍要限定區域和限定功能；

• L5不需要進行任何限定，就跟人一樣，人可以去的地方，車也可以去，人不能去的地方，車也不能去。

所以L2是解放了手腳，L3解放了人眼，L4和L5把人腦也解放了，對車輛的自主行駛完全可以放心。L5甚至都沒有方向盤、踏板和後視鏡了。

從L2到L4，要考慮的一個核心的問題就是限定區域和限定功能。

1、封閉區域的自動駕駛

如限定速度，考慮空曠可視、交通流稀疏等特定的應用場景，具體包括封閉場地的循跡自動駕駛、沿著固定車道的自動駕駛等。在這種情況下，我們可以採用軌跡跟蹤或車道線視覺跟蹤加上簡單的障礙物檢測技術，比較容易就實現到L3、L4級別的自動駕駛。只要能降低成本，就容易獲得商業模式，這就是現在很多人搞的低速車商業落地，這是較容易實現的。

2、結構化道路與限定功能的自動駕駛

如限定行車功能的高速公路和在部分城市道路區域的自動駕駛。這種結構化和半結構化道路相對簡單，再加上對自主行車功能的限制，如觸發條件非常苛刻的自主變道超車等，可能僅需要利用高精度地圖、障礙物檢測加上行為預測技術等，也是相對比較容易實現L3到L4的自動駕駛能力。

3、複雜場景的自動駕駛

比如說更大城區範圍乃至整個城市或各種路況的自動駕駛。Uber現在在匹茲堡市的自動駕駛免費計程車路測與試運行，就是真實城區範圍的自動駕駛，這達到了很高級的階段，因為需要考慮全路網高精度地圖、障礙物檢測、行為預測、複雜決策等，儘管目前車上還保留有兩名安全工程師。這時要實現L3、L4比較困難，但是它的商業價值是巨大的，現在我們說的無人駕駛就是要走到這個高級階段。

由此引申出百度的阿波羅計劃，它的目的是什麼呢？

簡言之，百度在開放式軟體平台方面與博世等Tier1（一級汽車零部件供應商）合作，是否希望成為一家自動駕駛人工智慧演算法公司？同時或希望將重點放在雲端的數據服務平台，退到後方做包括高精度地圖和大數據在內的服務市場？

二、環境感知與環境建模之爭

1、完全基於環境建模的自動駕駛

相對封閉場地的循跡自動駕駛和全路網的固定線路自動駕駛，是一個完全基於環境建模的技術解決方案。

• 優點：使用RTK厘米級精度的軌跡跟蹤，路面行駛可輕易實現高速高精度；

• 缺點：無環境適應性，缺乏自主性。採用的RTK高精度組合導航設備，受差分基站的通信範圍、多徑效應和收星數等影響，同時成本高昂。例如進口的DGPS/IMU最便宜的二十多萬，貴一點的要五六十萬，且僅僅適合於視野開闊的空曠與封閉場景。如果把組合導航設備的價格降低，它也可以實現商業模式。

進一步，可利用高精度地圖來實現自動駕駛，即綜合利用地圖匹配導航來降低導航設備的硬體成本，同時也更有利於實現全路網的自動駕駛。

目前大多數的自動駕駛汽車都是屬於這種類型的。

2、完全基於感知的自動駕駛

即沿固定車道或道路的自動駕駛。

• 優點：全路網自主行駛，具有高度自主性和環境適應性；僅依靠攝像頭或激光雷達，無高精度地圖，無RTK，成本低；

• 缺點：受車道線與路緣質量的影響較大，車速較低，可靠性差。

這種途徑類似於人類的駕駛方式，完全靠感知進行，顯然這種技術路線比較極端，對環境感知的要求非常之高，挑戰極大，也會帶來很多不確定性。

結論：環境感知必須與環境建模結合，以便同時獲得高性能路面行駛能力與局部自主性等。

目前，自動駕駛環境感知的技術路線主要有兩種：一種是以特斯拉為代表的視覺主導的多感測器融合方案，另一種以低成本激光雷達為主導，典型代表如谷歌Waymo。

1、視覺主導，以特斯拉為代表：攝像頭+毫米波雷達+超聲波雷達+低成本激光雷達。

攝像頭視覺屬於被動視覺，受環境光照的影響較大，目標檢測與SLAM較不可靠，但成本低。目前，特斯拉已經在其量產車上列裝了Autopilot 2.0固件，而且成本較低，只有7000美金左右，8個攝像頭組成單目環視，有1個毫米波雷達和12個超聲波雷達，希望從L2跳躍到L4。

經過半年的努力，特斯拉近期已經完成了將路測大數據從Mobileye單目視覺技術過渡到基於Nvidia Drive PX2計算硬體平台的特斯拉Vision軟體系統上，並且在今年3月底發布了8.1軟體版本，它用深度學習的方法在短期內基本達到了Mobileye的技術水平，這是以前很難想像的。特斯拉的自動駕駛技術究竟怎麼樣，一個重要的觀察點就是看它能否在2017年年底，如期從洛杉磯開到紐約，實現全程4500公里且無人工干預的完全自主駕駛。

2、激光雷達主導，以Google Waymo為代表：低成本激光雷達+毫米波雷達+超聲波感測器+攝像頭。

激光雷達是主動視覺，它的目標檢測與SLAM比較可靠，但是卻丟失了顏色和紋理且成本高昂。目前谷歌Waymo自己組建團隊研發激光雷達的硬體，把成本削減了90%以上，基本上是7000美金左右，同時他們已經開始在美國鳳凰城地區對500輛L2級別的車進行社會公測，大大地推進了該類技術路線的落地實踐。

激光雷達主導的解決方案未來可以沿如下兩個方向繼續推進商業化進程：

• 一個是發展攝像頭與激光雷達的硬體模組，把兩者結合起來，既有激光雷達，又有彩色攝像頭，可以直接獲得彩色激光點雲數據。

• 另一個是進一步降低激光雷達的硬體成本，比如研發固態激光雷達並真正實現產業化，屆時成本會下降到幾百美金。

總之，現在自動駕駛領域有三大核心問題需要著力突破：即利用人工智慧，尤其是利用深度學習進行目標識別、自主導航和信息融合，這三方面的技術成果是真正具有商業價值的。

• 目標識別：例如對交通流稠密的複雜城區，如何可靠地進行周邊障礙物的檢測與行為預測，特別是對極端與緊急情況的感知與預測。

• 自主導航：激光SLAM或視覺SLAM及其與低成本組合導航的精準融合；

• 信息融合：多感測器如何進行信息融合。

結論：自動駕駛應以信息化汽車作為底層平台，其中信息化包括數字化或軟體化，也包括內部匯流排化和外部網聯化，這是智能化的基礎和條件。像線控、OTA（空中下載）、SDU（軟體定義升級），應該成為底層平台的標配。

自動駕駛可能是人工智慧最具有商業價值，而且是最早落地的垂直領域。

自動駕駛是一個萬億美元級別的巨大市場。如果考慮到共享無人駕駛汽車更重要的是提供增值服務，若計入增值服務市場，那它的市場價值可以乘以10，也就是可以達到10萬億美元的級別。

自動駕駛汽車是一種非常特殊的產品形態，必須考慮絕對的安全性和低成本，還要有整體的解決方案，形成產業生態，最終去找到它的商業模式。

深度學習源於原始的真實大數據，它的實時性已得到GPU、TPU、FPGA、ASIC和類腦晶元快速發展的支撐，已經成為自動駕駛感知、決策與控制的基礎技術。

深度學習是環境感知和自主決策的決定性技術，可望使自動駕駛汽車具有類似於人類司機的駕駛技能自主學習與改善能力，其中大數據技術與路測成為關鍵。我們人類開車是先去駕校進行有教師的監督學習，然後從駕校出來之後到擁有幾十萬公里的駕駛經驗，這是我們通過試錯式的強化訓練實現的。是不是可以讓機器也有同樣的深度監督學習與深度強化學習能力，像AlphaoGo一樣？

總之，深度卷積神經網路和深度強化學習可以廣泛應用於自動駕駛的感知、決策、控制、分析和學習等各個關鍵環節。

1、環境感知與基於認知地圖的精準自主導航

深度卷積神經網路近期的革命性進展，帶來了人類水平的視覺檢測與識別能力，再加上低成本激光雷達、高精度地圖、5G通信、智能網聯以及智能交通系統和智慧城市的合力支撐，極有可能使極端環境與緊急情況的可靠感知與低成本、高精度自主導航成為現實，助推自動駕駛從L2到L3的發展。

然而深度卷積神經網路有一個最大的缺陷，就是它目前還不能實現語義理解。在這樣的困境下，我們可以通過其他支撐，例如高精度地圖（包括柵格與認知地圖），以及用5G通訊和NB-IoT移動物聯網組成的車聯網，還有ITS等形成合力，來解決這個挑戰性問題。

2、具有自主學習能力的自主決策與智能控制

由AlphaGo強力推動的深度強化學習的最新進展，有可能使自動駕駛汽車擁有類似於人的自主學習能力，獲得包括具有緊急情況預測在內的端到端的自主行為決策功能和數據驅動型智能控制系統，助推自動駕駛從L3跨越到L4。

3、人工智慧有望使自動駕駛落地成為可能

在自動駕駛問題中，弱人工智慧主要涉及演算法（深度卷積神經網路與深度強化學習），數據（目標大數據，目標行為大數據、駕駛行為大數據等），計算（如移動端、雲端、離線訓練深度學習加速器），自動駕駛細分場景（目標與行為意圖感知、認知地圖與導航、信息融合、自主決策、智能控制等）和垂直整合等5個維度。

支撐自動駕駛落地的深度學習演算法與開源代碼框架

支撐自動駕駛發展的演算法中，包括環境感知、障礙物檢測、行為預測、自主導航、自主決策和智能控制等。

• 環境感知：主要是考慮一些極端情況，如路面有雨雪、存在高強度反光以及車道線或路緣嚴重缺失或存在大量遮擋等。

• 障礙物檢測：目前可以用幾百層的深度卷積神經網路來做像素水平的檢測、分割和識別。

• 行為意圖預測：障礙物的行為預測與障礙物檢測同等重要。

• 自主導航：強調低成本、高精度和高環境適應性的方法，例如基於SLAM的解決方案，把成本降下來。

• 認知地圖：人類開車時使用的就是認知地圖，而非柵格地圖。

• 自主決策和控制：自主決策即基於深度學習的端到端自主決策方式，輸入一系列視頻圖像信息，然後輸出一個自主決策而非直接是執行機構的控制量，後者也是一種極端的技術方案，實際上存在著嚴重的安全隱患。基於強化學習的控制演算法從90年代發端，進一步可以研究基於數據驅動和知識驅動的無模型智能控制技術。

*深度學習的開源代碼框架

大數據之於自動駕駛非常重要。目前，谷歌已累計擁有超過500萬公里的路測大數據，2016年還有10億英里的模擬大數據產生；特斯拉則積累了3.57億公里的大數據。

如上圖所示，截至目前，加州已經有36家企業被批准合法路測。全球範圍內自動駕駛企業競爭激烈，目前產業競爭的焦點集中於以下兩點：

• 自主行駛大數據里程數；

• 緊急情況的人工干預頻率。

最新排名顯示，從目前技術水平來看，谷歌Waymo做得最好，達到5分，它的研發團隊或人才也是最好的，獲4.5分。Uber的商業模式做得最好，因為它在匹茲堡市全城區進行無人駕駛計程車測試，它的商業模式評分得到了5分。特斯拉的技術評分為3.5，在技術的先進程度上全球排名第二。

深度學習方法採集與餵食的大數據越多，就越能獲得更好的駕駛直覺，所以科技巨頭都在瘋狂追逐大數據。可以說，誰擁有與利用的自動駕駛大數據越多，誰的技術成熟度就越高，或者說離產業落地的距離就越近。

在深度卷積神經網路中使用大數據，必須要解決大數據的完備性問題。但實現完備性是很困難的，必須要將各種極端與緊急的情況都跑出來。中國的道路交通情況是全世界最為複雜的，很容易出現極端與緊急路況，所以我們具備可能是最好的路測環境與自動駕駛大數據。另外需要指出的是，為了將自動駕駛汽車的障礙物識別率從 99.999% 提高到 99.99999%，需要的是規模為指數級增長的大數據，因為有所謂的長尾效應，這需要極大的資源付出。

大規模的深度學習模型，高達數百層，可以利用超級GPU/TPU集群伺服器進行離線訓練。目前全球晶元巨頭都在全面布局人工智慧晶元，面向自動駕駛車載移動端與雲端的深度學習晶元尤其成為兵家必爭之地。現在看來，谷歌似乎也要利用其TPU加入全球AI晶元大戰。

*英偉達晶元陣營

與汽車主機廠、與自動駕駛科技企業、與Tier1，各個晶元巨頭目前都在布局自己的AI晶元產業生態或陣營，可謂縱橫捭闔。目前英偉達晶元陣營最大，許多車企與互聯網企業都在使用英偉達硬體平台，後者馬上還要進行新一代Xavier平台開源。其他的AI晶元陣營，包括英特爾及其由英特爾收購的Mobileye所組成的Intel/Mobileye聯盟以及圍繞谷歌Waymo的AI晶元陣營等。

在支撐自動駕駛落地的其他基礎條件方面，高精度柵格地圖和基於深度學習的高精度認知地圖可能形成巨大的產業。數字化、網聯化與智能化的交通基礎設施會逐步建成。

此外，由於深度學習目前存在不能實現語義理解的缺陷，因此必須藉助於5G和NB-IoT等作為基礎的智能網聯技術（支持雲端和路測設備通信），智能交通系統和智慧城市等，形成合力，以便解決極端和緊急情況下的可靠感知問題。

最終目標，是實現共享化的無人駕駛和人工智慧增值服務。

限定區域是一個坑，什麼都可以裝進來。技術等級達到L3甚至L4並非多麼不可思議的事情，關鍵是這個級別是針對哪個限定區域的，是港口、機場、園區的，還是高速公路、部分城區的，或者是整個城市的，甚至是全國的，因此一定要考慮區域，當然也要同時考慮對其行車功能的限定。反過來說，限定區域也是自動駕駛商業模式逐步演變過程的真實體現，即要從簡單到複雜逐步推進。

環境感知必須與環境建模（高精度地圖）相結合，在5G通信、NB-IoT、車聯網以及ITS和智慧城市的支撐下形成合力，實現極端環境與緊急情況下的可靠感知，助推L2跨越到L3，為自動駕駛產業的落地實踐，邁出最為重要的一步。

高可靠、低成本是視覺或激光雷達主導技術路線的共同要求，多感測器信息融合是必須要著力解決的共性核心技術。

深度學習是環境感知和自主決策的決定性技術，可望使自動駕駛汽車具有類人的自主駕駛學習能力，其中路測與大數據成為關鍵。

最後，人工智慧的新一輪復興必將加速L4及以上無人駕駛產業的商業落地。

雷鋒網推薦閱讀：清華大學鄧志東教授：國內研究氛圍浮躁，原創性演算法太少

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！