英偉達推出PilotNet：讓人工智慧向人類司機學習駕駛車輛

選自 Nvidia blog

機器之心編譯

作者：Danny Shapiro

參與：李澤南

在真實世界中駕駛車輛會遇到無限多種可能性，這意味著對每一種情況進行預先編程是難以想像的，而人工智慧的出現為我們解決了機器面臨突發情況的問題。而且，現在你還可以看到它們在工作中都會關注哪些東西。

通過 NVIDIA PilotNet，英偉達和谷歌的工程師們構建了一個基於神經網路的全新系統，可以通過觀察人類的行為學習駕駛汽車。研究人員在這一研究之上探索了在進行駕駛決策時應該優先考慮哪個方面的問題。這樣一來，我們不僅無需手動為所有情況進行編程，還可以解釋系統作出這些決定背後的原因。

「試想一下你是如何認出照片上的人的，試著把這樣一個過程分解成一系列有意義，可編程的步驟——你肯定做不到，」英偉達自動駕駛首席架構師 Urs Muller 說道。「於是問題就變成了：我們是否希望將自己的解決方案局限於只能解決那些可以通過規則定義的問題？」

從人類身上學會駕駛技巧的人工智慧

英偉達在他們的自動駕駛汽車 BB8（基於林肯 MKZ）上開發和測試了 DriveWorks 軟體系統。這項技術未來可以在任何品牌和型號的汽車上應用，其背後的深度神經網路可以將攝像頭採集到的圖像處理為控制方向盤、油門和剎車的指令。

這一系統通過學習人類駕駛者的操縱方式來學習駕駛汽車。神經網路通過車上安裝的攝像頭收集路面情況，隨後將圖像和駕駛者動作的記錄進行配對。研究者們記錄了大量不同環境中的駕駛數據：有畫線和沒有畫線的道路；鄉間小路和高速公路；一天中不同光照條件下的同一段路，以及不同天氣條件下的道路環境。

通過觀察，神經網路通過訓練在完全沒有手動輸入編程指令的情況下學會了如何駕駛 BB8。現在這個神經網路已經可以在未遇到過的新環境中成功地駕駛車輛了。

人工智慧如何思考

每當 PilotNet 開啟並運行的時候，我們都會希望看到它是如何作出決定的。對此，研究人員開發了一種可視化方法向我們展示了神經網路在思考時將哪些條件視為重要的。

為了理解 PilotNet 在獲取攝像頭中的信息時在關注什麼，研究人員構建了一種可視化圖。下圖就是可視化圖的一個示例，它覆蓋在攝像頭獲取的圖像之上，綠色代表神經網路關注的位置。

人工智慧汽車在駕駛中關注的位置

正如圖中所示，PilotNet 在駕駛汽車時關注的位置和人類駕駛者相同，包括路標、道路邊緣和其他車輛。其中最令人興奮的是：我們從未直接告訴神經網路需要注意到這些東西。計算機在訓練過程中的行為和人類在駕校中所做的一樣：通過觀察學習。

「使用深度神經網路的好處在於：讓汽車自己找到解決問題的方式，而如果我們不知道它們如何做出決策，我們就無法對系統作出進一步的改進，」Muller 解釋道。「我們開發的可視化方式讓尋找答案成為了可能。這也給了我們更大的信心，現在我們或許無法解釋汽車的所有動作，但我們已經可以把它思考的過程顯示出來了。」

當自動駕駛汽車真正得到廣泛應用時，很多不同的人工智慧神經網路和傳統技術會共同工作，驅動汽車行駛。除控制方向盤的 PilotNet 之外，其他的神經網路也會經過訓練處理其他特定的任務，如行人檢測、車道識別、讀取路標、防碰撞等等。

BB8，帶我去趟星巴克

作為率先涉足自動駕駛行業的晶元公司，英偉達的自動駕駛解決方案研究同時覆蓋了軟體和硬體兩個方面：從 Drive PX2 車載人工智慧計算機到 DriveWorks 開放平台。通過使用專註於不同任務的多個 AI 神經網路，人們可以構建安全可靠的自動駕駛車輛。可以想見在不久的將來，人們就會享受到 BB8 帶來的自動駕駛服務了。

論文：Explaining How a Deep Neural Network Trained with End-to-End Learning Steers a Car

論文鏈接：https://arxiv.org/abs/1704.07911

摘要

作為自動駕駛汽車軟體堆棧的一部分，英偉達創造了全新神經網路的系統 PilotNet，它通過道路情況的圖像調整方向盤的角度。PilotNet 通過人類駕駛者操作的數據和道路圖像的配對進行訓練。它通過觀察人類的行為學習必要的知識。這一方式省去了工程師手動輸入規則並預先考慮所有安全駕駛情況的過程。道路測試證明了 PilotNet 可以在多種不同的駕駛環境中讓汽車安全駕駛，無論道路上是否有畫線。

為了解釋 PilotNet 是如何學習和作出決定的，我們開發了一種顯示 PilotNet 在作出決策時關注圖像中哪些區域的可視化工具。結果顯示，PilotNet 的確學會了識別道路上的重要物體。

除了畫線、道路邊緣和其他車輛以外，PilotNet 還學會了工程師們難以進行預先編程的其他特性，如識別鄉間小路的邊緣，以及識別非典型類別的車輛。

圖 1：PilotNet 架構

圖 2：可視化方法示意圖