當前位置:
首頁 > 新聞 > 勝者為王!DeepMind新演算法助Waymo加速模型訓練

勝者為王!DeepMind新演算法助Waymo加速模型訓練

勝者為王!DeepMind新演算法助Waymo加速模型訓練

打開今日頭條,查看更多圖片

【新智元導讀】DeepMind和Waymo宣布將合作開發受進化生物學啟發的技術,以提高對AI演算法訓練的有效性和效率,原因是用於無人駕駛的AI模型通常需要無限的測試和微調,不斷試驗進行提升,DeepMind設計了一款基於進化的方法PBT,可像生物進化一樣自動競爭繼承,極大提高了訓練的有效性和效率。

相比特斯拉,Waymo在商業化的道路上一直沒有太大的建樹,始終徘徊在鳳凰城的結界中,未能走向更廣闊的天地。

勝者為王!DeepMind新演算法助Waymo加速模型訓練

勝者為王!DeepMind新演算法助Waymo加速模型訓練

去年,Waymo CEO John Krafcik曾公開吐槽自動駕駛無法達到L5級,距離真正意義上的「消費級」應用任重而道遠。場面一度引發極大反響,同時也引來了大批的反對聲浪。

儘管前路艱辛,但商業化的步伐不能停下。Waymo在商業化上邁出的一大步,是自動駕駛計程車。Waymo在鳳凰城經過6個月7x24小時的運營,乘客數量突破了1000人,平均一天載客不到6個人。

勝者為王!DeepMind新演算法助Waymo加速模型訓練

上個月,Waymo改裝的捷豹電動車進行了上路測試。Waymo和捷豹在合作協議中敲定,在接下來的2年時間投放20000輛I-Pace,繼續擴大自動駕駛計程車業務。

而DeepMind一直專心打圍棋、打奪旗、打星際…以至於提到DeepMind,很多人第一反應是「就那個打敗職業星際玩家的那個」。回憶過去,好像DeepMind也沒幹啥「正事」,光跟遊戲較勁了。

勝者為王!DeepMind新演算法助Waymo加速模型訓練

硬體的性能和成本已經可以滿足自動駕駛的一部分需求,適用於自動駕駛的傳統感測器的性能還在不斷提高;攝像頭+雷達+聲波等感測器組合套裝,成本也在不斷降低。

但自動駕駛並非單純依賴硬體就能實現,在演算法方面還有極大地提升空間。

神經網路的性能受訓練方案的影響非常大。我們的目標就是找到最優學習率、讓神經網路在每次迭代後變得更好,但性能波動不需要太大。

Waymo之前的方式是採用人工微調的方式。這項工作對人員的要求不低,需要豐富的經驗,以及耐心和細心。這種不斷試錯的方式雖然效果好,但非常耗費時間、精力和資源。

如今,DeepMind和Waymo,兩個谷歌旗下的公司,終於開始聯手搞事情了。


Mission 1:提高調參效率,降低人員工作量

DeepMind此次伸出援手,需要幫助Waymo在演算法上解決掉一切阻礙。第一步,就是提高微調的效率,降低研究人員的工作量。

勝者為王!DeepMind新演算法助Waymo加速模型訓練

為此,DeepMind設計了一種基於進化競爭(Population Based Training)的自動優化超參數的方法。

這種方式(後續我們簡稱其為PBT)將手動調參和隨機搜索的有點結合在一起,定期評估模型。

模型之間依照叢林法則開始相互競爭,勝者為王併產生一些略有突變的超參數「後代」。長江後浪推前浪,前浪死在競爭中,最終推動模型的進化。

勝者為王!DeepMind新演算法助Waymo加速模型訓練

PBT模型能夠提升效率很重要的一點是,它不需要從頭開始重新訓練。每個勝者的後代都遺傳了父輩的最佳狀態,並且產生新的突變超參數。

但這樣一直處於競爭狀態會導致模型過度短視,眼光不能放長遠,更傾向於當前結果而忽視了長期效應。

DeepMind採取的解決方式是增加種族多樣性。通過創建足夠多的稱為利基(niches)的子種族,將能夠保證模型可以持續的進化,讓那些缺乏爆發力卻有後期優勢的種族也能有機會成為勝者。


初步效果

實驗取得了不錯的進展,PBT演算法不僅實現了更高的精度,並且減少24%的誤報、保持了較高的召回率。

同時,PBT還節省了時間和資源。通過PBT訓練的網路,時間和資源只有原來的一半。因此Waymo聲稱,已將PBT直接納入其技術基礎架構。24%的誤報,同時也能保持較高的召回率。

此外,PBT所需的訓練時間和計算資源僅為原來的一半。根據Waymo的說法, PBT已被直接納入Waymo的技術基礎架構。

DeepMind此次伸出援手,需要幫助Waymo在演算法上解決掉一切阻礙。而如果兩個部門能打一個漂亮的配合戰,顯然對今後的士氣、整個市場的預期、大眾的接受度,都將有極大的提升。

喜歡這篇文章嗎?立刻分享出去讓更多人知道吧!

本站內容充實豐富,博大精深,小編精選每日熱門資訊,隨時更新,點擊「搶先收到最新資訊」瀏覽吧!


請您繼續閱讀更多來自 新智元 的精彩文章:

斯坦福AI Lab主任、NLP大師Manning:我的第一次CVPR
GAN零基礎入門:從偽造視頻到生成假臉

TAG:新智元 |