AutoML：無人駕駛機器學習模型設計自動化

本文為 AI 研習社編譯的技術博客，原標題 ：

AutoML: Automating the design of machine learning models for autonomous driving

作者 | Waymo TeamFollow

翻譯 | ciky奇、Ophria、謝玄xx

校對 | 鄧普斯?傑弗 審核 | 醬番梨 整理 | 立魚王

原文鏈接：

https://medium.com/waymo/automl-automating-the-design-of-machine-learning-models-for-autonomous-driving-141a5583ec2a

作者: Shuyang Cheng and Gabriel Bender*

在Waymo，機器學習幾乎在自動駕駛系統的每個部分都起著關鍵作用。它可以讓汽車看到周圍環境，感知和了解世界，預測其他人的行為方式，並決定他們的下一步行動。

感知：我們的系統採用神經網路的組合，以便我們的車輛能夠識別感測器數據、識別物體並隨著時間的推移跟蹤它們，以便它能夠深入了解周圍的世界。這些神經網路的構建通常是一項耗時的任務;優化神經網路架構以實現在自動駕駛汽車上運行所需的質量和速度是一個複雜的微調過程，我們的工程師要完成一項新任務可能要花費數月時間。

現在，通過與Brain團隊的谷歌AI研究人員合作，我們將前沿研究付諸實踐，用來自動生成神經網路。更重要的是，這些最先進的神經網路比工程師手動微調的質量更高，速度更快。

為了將我們的自動駕駛技術帶到不同的城市和環境，我們需要以極快的速度優化我們的模型以適應不同的場景。AutoML使我們能夠做到這一點，高效，持續地提供大量的ML解決方案。

我們的合作始於一個簡單的問題：AutoML能否為汽車生成高質量和低延遲的神經網路？

「質量」可以衡量神經網路產生結果的準確性。「延遲」可以測量網路提供答案的速度，也稱為「推理時間」。由於駕駛是一項活動，要求我們的車輛使用實時反饋並考慮到我們系統的安全--關鍵性質，因此我們的神經網路需要低延遲運行。大多數直接在我們車上運行的網路都可以在不到10毫秒的時間內提供結果，這比在數千台伺服器上運行的數據中心部署的許多網路更快。

在他們最初的AutoML論文[1]中，我們的Google AI同事能夠自動探索出超過12,000種架構來解決CIFAR-10這種經典圖像識別任務：將一張小圖像識別為10個類別中的一種，如一輛汽車，一架飛機，一隻狗等。在後續的一篇文章[2]中，他們發現了一系列神經網路構建塊，稱為NAS單元，它可自動構建出比手工製作的用於CIFAR-10以及相似任務更好的網路。通過這次合作，我們的研究人員決定使用這些單元自動構建用於自動駕駛特定任務的新模型，從而將在CIFAR-10上學習到的知識遷移到我們領域中。我們的第一個實驗是使用語義分割任務：將LiDAR點雲中的每個點識別為汽車，行人，樹等。

One example of a NAS cell. This cell processes inputs from the two previous layers in a neural net.

為此，我們的研究人員搭建了一種自動搜索演算法，用於在卷積網路架構（CNN）中探索數百種不同NAS單元的組合，為我們的LiDAR分割任務訓練和評估模型。當我們的工程師手工對這些網路進行微調時，他們只能探索有限數量的架構，但是通過搭建自動搜索演算法，我們可以自動探索數百種架構。我們發現模型較之前手工製作的模型有兩方面的改進：

• 有些在相似質量情況下具有顯著低延遲;

• 其他在相似延遲情況下具有更高的質量；

鑒於此初步的成功，我們將相同的搜索演算法應用於與交通車道檢測和定位相關的兩個附加任務中。遷移學習技術也適用於這些任務，我們能在汽車上部署三個新訓練和改進的神經網路。

我們受初步實驗結果鼓舞，因此我們決定進一步更廣泛地搜索可以提供更好結果的全新架構。不將自己限制於已經發現的NAS單元中，我們可以直接考慮那些有嚴格延遲性要求考慮的架構。

進行端到端搜索通常需要手動探索數千種架構，這會帶來很大計算成本。探索單一架構需要在具有多GPU卡的數據中心計算機上進行數天訓練，這意味著需要數千天的計算才能搜索這個單一任務。相反，我們設計了一個代理任務：減輕LiDAR分割任務，使任務可以在幾個小時內解決。

團隊必須克服的一個挑戰是找到一個與原始分割任務足夠相似的代理任務。在確定該任務的體系結構質量與原始任務的體系結構質量之間的良好相關性之前，我們嘗試了幾種代理任務設計。然後我們啟動了一個類似於原始AutoML論文的搜索，但現在在代理任務：一個代理端到端的搜索。這是首次將此概念應用於激光雷達數據。

代理端到端搜索：在縮小的代理任務上探索數千種架構，將100種最佳架構應用於原始任務，驗證和部署汽車上最好的架構。

我們使用了幾種搜索演算法，對質量和延遲進行了優化，因為這對車輛至關重要。我們觀察了不同類型的CNN架構，並使用了不同的搜索策略，例如隨機搜索和強化學習，我們能夠為代理任務探索超過10000種不同的架構。通過使用代理任務，在一個Google TPU集群上花費一年的計算時間只花了兩周。我們發現了比我們剛轉移NAS細胞時更好的網路：

• 神經網路具有20-30%的低潛伏期和相同質量的結果。

• 神經網路的質量更高，錯誤率低至8-10%，與以前的體系結構具有相同的延遲。

1）第一個圖顯示了在一組簡單的架構上隨機搜索發現的大約4000個架構。每一點都是經過培訓和評估的體系結構。實線標記了不同推理時間約束下的最佳體系結構。紅點表示使用傳輸學習構建的網路的延遲和性能。在這個隨機搜索中，網路不如轉移學習中的網路好。

2）在第二個圖中，黃色和藍色點顯示了其他兩種搜索演算法的結果。黃色的是對一組精鍊的架構的隨機搜索。Blue One使用了如[1]所示的強化學習，探索了6000多個架構。結果最好。這兩個額外的搜索發現網路比轉移學習的網路要好得多。

搜索中發現的一些架構顯示了卷積、池和反卷積操作的創造性組合，如下圖所示。這些架構最終非常適合我們最初的激光雷達分割任務，並將部署在Waymo的自動駕駛車輛上。

代理端到端搜索發現的一種神經網路結構。

我們的汽車試驗才剛剛開始。對於我們的激光雷達分割任務，傳輸學習和代理端到端搜索都提供了優於手工製作的網路。我們現在也有機會將這些機制應用於新類型的任務，這可以改善許多其他神經網路。

這一發展為我們未來的ML工作開闢了新的令人興奮的途徑，並將提高我們的自驅動技術的性能和能力。我們期待著繼續我們的工作與谷歌人工智慧，所以請繼續關注更多！

[ 1 ] Barret Zoph and Quoc V. Le. 搜索的神經結構與強化學習。ICLR，2017年。

[ 2 ] Barret Zoph, Vijay Vasudevan, Jonathon Shlens, Quoc V. Le, 學習可擴展圖像識別的可轉移體系結構。CVPR，2018年。

Waymo和Google之間的合作是由Waymo的Matthieu Devin和Google的Quoc Le發起和贊助的。這項工作由Waymo的Shuyang Cheng和Google的Gabriel Bender和Pieter Jan Kindermans共同完成。多謝維希·提魯馬拉什蒂的支持。

Waymo和Google團隊成員（左起）：Gabriel Bender、Shuyang Cheng、Matthieu Devin和Quoc Le

想要繼續查看該篇文章相關鏈接和參考文獻？

點擊【AutoML：無人駕駛機器學習模型設計自動化】或長按下方地址：

https://ai.yanxishe.com/page/TextTranslation/1441

AI研習社今日推薦：雷鋒網雷鋒網雷鋒網

CMU 2018 秋季《深度學習》課程將教你學習深度神經網路的基礎知識，以及它們在眾多 AI 任務中的應用。課程結束後，期望學生能對深度學習有足夠的了解，並且能夠在眾多的實際任務中應用深度學習。

加入小組免費觀看視頻：https://ai.yanxishe.com/page/groupDetail/18

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！