MIT提出使用「深度強化學習」幫助智能體在運動中做出「動作決策」

「雷克世界」編譯：嗯~是阿童木呀、KABUDA

導語：一般來說，在行人間行進的智能體在進行導航時，需要能夠對當前的環境做出相應的觀察，以避免碰撞，進行下一步動作。在本文中，麻省理工學院航空航天控制實驗室的Michael Everett和 Jonathan P. How教授，以及Oculus Research的Yu Fan Chen教授，提出一種新型避免碰撞的演算法—GA3C-CADRL，通過深度強化學習進行模擬訓練，而不需要智能體對其他智能體的動態行為有所了解，並通過在網路的輸入端使用LSTM，使得演算法能夠依據對相鄰智能體的觀察結果來做出決策，進而選擇下一個動作。

一般來說，在行人之間進行導航的機器人是使用避免碰撞演算法（collision avoidance algorithms）來實現安全且高效的操作的。在最近的一些研究中，提出了將深度強化學習演算法作為對複雜的交互和協作進行建模的框架。然而，當環境中智能體的數量增加時，該操作的實現是通過對其他智能體偏離現實的行為的關鍵性假設來實現的。這項研究對我們以往的研究方法進行了擴展，開發出一種演算法，該演算法可以在各種類型的動態智能體中學習避免碰撞，而不必假設它們遵循任何特定的行為規則。此外，這項研究還引入了一種使用長短期記憶網路（LSTM）的策略，該策略使得演算法能夠使用任意數量的其他智能體的觀測值，而不是像以往那些需要具有固定觀測值大小的方法。當智能體的數量增加時，我們所提出的演算法在模擬中的性能表現要優於我們以往的方法，並且該演算法是在一個沒有使用3D激光雷達的、以人類行走速度行駛的全自動機器車輛上運行得以證明的。

可以這樣說，在行人之間進行導航的機器人將能夠觀察到許多人類行為，例如合作或遺忘。行人不僅能夠移動障礙物，而且還可以不斷地做出機器人只能部分觀察的決策。這項研究解決了在存在其他決策智能體的世界中運行的智能體所面對的避免碰撞問題，特別是考慮到機器人—行人領域。分散式避免碰撞演算法的一個基本問題是：智能體所知道和假定的其他智能體的信念狀態、策略和意圖是什麼？如果沒有智能體之間的溝通，這些屬性不是可以直接進行衡量的，但它們可以通過推理得到。

圖1：機器人在行人之間進行導航。機器人使用機載感測器來感知環境並運行避免碰撞演算法以保持安全和有效的操作。

智能體對其他智能體行為的假設將會影響其決定採取何種行動。在最簡單的情況下，智能體假設其他智能體是靜態的，並且足夠快地進行重新規劃以避免碰撞。另一種方法是，假定其他智能體是動態障礙，但速度保持不變。此外，智能體可以假定其智能體是決策制定者，其中，它們的速度可能會隨時根據已知或未知的策略（決策規則）進行改變。即使機器人知道行人的決策規則，但因為其他智能體的意圖是未知的（例如目標目的地），所以也不可能完全預測其他非溝通的決策智能體（例如行人）將如何響應智能體所作出的決策。因此，與其試圖明確預測其他智能體的行為，最近的研究方法已經使用強化學習（RL）來對智能體之間複雜的相互作用和協作進行建模。

圖2：LSTM展開以顯示每個輸入。在每個決策步驟中，智能體將一個可觀察的狀態向量，即每個附近的智能體，依次送入LSTM單元。LSTM單元將相關信息存儲在隱藏狀態中，hi。 最終隱藏狀態hn，將其他智能體的整個狀態編碼成固定長度的向量，然後饋送到網路的前饋部分。智能體的順序是通過減少到自我智能體的距離來進行排序的，以便最近的智能體對hn有近因效應（recent effect）。

雖然基於學習的方法已被證明在這個領域內具有良好的性能表現，但現有方法對其他智能體，如同質性或短時間尺度上的特定運動模型做了細微的假設。在這項研究中，我們對以往的研究方法進行了擴展以學習避免碰撞策略，而不假設其他智能體遵循任何特定的行為模型。

圖3：網路架構。附近智能體的的可觀察狀態被按順序饋送到LSTM中。

避免碰撞的另一項關鍵挑戰是環境中其他智能體的數量有所不同，而在這一領域中使用的前饋神經網路需要固定維度的輸入。現有的策略明確了網路可觀察到的智能體的最大數量，或使用原始感測器數據作為輸入。本次研究採用自然語言處理的思想，通過在網路輸入端使用長短期記憶網路（LSTM）單元，將現實世界中不同的大小狀態（例如：其他智能體的位置）編碼成固定長度的向量。這使得該演算法可以根據機器人周圍任意數量的智能體，來做出相應的決策。

本次研究的主要貢獻在於：

?我們對避免碰撞的演算法做了擴展，使其不必假定其他智能體的行為。

?我們提出了一種策略，使得演算法能夠利用任意數量智能體的觀察結果。

?我們通過模擬結果證明了新框架的優點。

?在不使用3D激光雷達的情況下，通過在行人間運行的機器人進行了演算法演示。

目前，該軟體已經作為開源ROS軟體包cadrl_ros發布。

圖4：機器人硬體。這款緊湊、低成本（

本次研究提出了一種避免碰撞的演算法—GA3C-CADRL，該演算法僅通過深度強化學習進行模擬訓練，而不需要對其他智能體的動態有所了解。此外，我們還提出了一種策略，通過在網路的輸入端使用LSTM，使得演算法能夠依據對任意數量的相鄰智能體的觀察結果來做出決策進而選擇下一個動作。隨著環境中智能體數量的增加，新方法的性能將優於現有方法。研究結果表明，該演算法能夠在不被明確執行（explicity enforced）的情況下學習問題結構，並支持使用LSTM將大量智能體在現實世界中的狀態編碼為固定長度的表徵。新演算法在一個小型真實機器人上成功運行，該機器人在不使用3D激光雷達的情況下，可以在保持人類行走速度的同時，在行人之間進行導航。今後的研究將利用本文全新的、更為通用的公式，藉助智能體的行為選擇，更為明確地研究信號意圖所帶來的影響。

原文：https://arxiv.org/pdf/1805.01956.pdf

- 加入AI學院學習 -

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！