「乾貨」ICML2018：63篇強化學習論文精華解讀！

新智元推薦

來源：專知（ID：Quan_Zhuanzhi）

作者：Jian Zhang 編譯：Sanglei, Shengsheng

【新智元導讀】機器學習頂會ICML 2018從2473份提交論文中接收了621篇，其中有63餘篇強化學習相關論文，作者將這些論文分成了多個類別，並對每篇文章的核心貢獻做了精鍊的總結，這些文章也是追蹤強化學習最前沿技術的絕佳材料，精鍊的總結也也便於我們快速查找與自己研究相關的文章。

• 從2,473份提交論文中接收了621份，論文接受率為25.1%。

• 有關增強學習的會議佔據了最大的會議室，而且論文數量也是最多的，這篇綜述將主要總結增強學習的錄用論文

強化學習分類

我將接受的所有RL論文分類為以下主題：

1. 強化學習理論（Theory）--- 8篇

2. 強化學習網路（Network）---3篇

3. 強化學習演算法（Algorithms）6篇

4. 強化學習優化（Optimization）8篇

5. 強化學習探索（Exploration）4篇

6. 強化學習激勵（Reward） 4篇

7. 基於模型的強化學習（Model-based）5篇

8. 分散式強化學習（Distributed）3篇

9. 層次強化學習（Hierarchical）5篇

10. 多智能體（Multi-agent）6篇

11. 元學習（Meta-learning）遷移（Transfer）終身學習(Lifelong Learning) 5篇

12. 應用及其它（Applications）6篇

1. RL Theory:

• Problem DependentReinforcement Learning Bounds Which Can Identify Bandit Structure in MDPs-> 非標準轉換模型，學習將MPDs轉換為MACs。

• Learning with Abandonment-> 非標準轉換模型，一個想要為每個用戶學習個性化策略的平台，但該平檯面臨用戶在不滿意平台操作時放棄平台的風險。

• Global Convergence ofPolicy Gradient Methods for the Linear Quadratic Regulator-> LQR證明

• More Robust Doubly RobustOff-policy Evaluation-> 通過另一個策略生成的數據來估計策略的性能。

• Best Arm Identification inLinear Bandits with Linear Dimension Dependency->利用全局線性結構來提高對接近最優臂的獎勵估計。

• Convergent Tree Backup andRetrace with Function Approximation->穩定高效的基於梯度的演算法，使用二次凸凹鞍點公式

• Time Limits inReinforcement Learning-> 正式解釋了在案例中如何有效地處理時間限制，並解釋了為什麼不這樣做會引起經驗重複的狀態混淆和失效，導致次優策略和訓練不穩定。對於固定期限，由於時間限制的終止實際上是環境的一部分，因此剩餘時間的概念應該作為代理輸入的一部分，以避免違反Markov屬性。

• Configurable MarkovDecision Processes-> 在許多現實問題中，有可能在一定程度上配置一些環境參數，以提高學習代理的性能。一種新的學習演算法—安全策略模型迭代(SPMI)，聯合自適應地優化策略和環境配置。

2. RL Network:

• Structured Control Netsfor Deep Reinforcement Learning->提出的結構化控制網將通用MLP分成兩個獨立的子模塊：非線性控制模塊和線性控制模塊。非線性控制用於前視和全局控制，而線性控制穩定圍繞全局控制殘差的局部動態

• Gated Path PlanningNetworks->將VINs重構為遞歸卷積網路，這表明VINs將周期性卷積與非傳統的最大池化激活相結合。門控循環更新方程可以緩解困擾VIN的優化問題。

• Universal Planning Networks: Learning GeneralizableRepresentations for Visuomotor Control->這個規劃計算在一個潛在的空間中展開一個正向模型，通過梯度下降軌跡優化來推斷一個最優的行動計劃，優化一個監督模擬學習目標。在解決基於圖像的目標描述的新任務時，學習到的表示還提供了使用圖像指定目標的度量。

3. RL Algorithms:

• SBEED: ConvergentReinforcement Learning with Nonlinear Function Approximation->使用Nesterov的平滑技術和Legendre-Fenchel 變換將Bellman方程重構為一個新的原始對偶優化問題，開發一種新的演算法，稱為平滑Bellman誤差嵌入，以解決這個優化問題可以使用任何可微函數類。

• Scalable Bilinear PiLearning Using State and Action Features->對於大規模馬爾可夫決策過程（MDP），我們研究近似線性規劃的原始對偶公式，並開發一種可擴展的，無模型的演算法，稱為雙線性pi學習，用於在提供採樣oracle時的強化學習。

• Beyond the One-Step GreedyApproach in Reinforcement Learning->分析了多步超前策略改進的情況;制定多步策略改進的變體，使用這些定義推導出新的演算法並證明它們的收斂性。

• Importance WeightedTransfer of Samples in Reinforcement Learning->從一組源任務中收集的經驗樣本的轉移，以改進給定目標任務中的學習過程。提出了一種基於模型的技術，該技術可以自動評估每個源樣本的相關性(重要性權重)來解決目標任務。

• Addressing Function ApproximationError in Actor- Critic Methods->演算法建立在雙Q學習的基礎上，通過取一對批評者之間的最小值來限制過高估計;延遲策略更新以減少每次更新錯誤。

• Policy Optimization withDemonstrations->利用可用的演示，通過在已學習的策略和當前演示之間實施佔用度量匹配來指導探索，以實現隱式動態獎勵形成。

4. RL Optimization:

• Policy Optimization asWasserstein Gradient Flows->在概率度量空間上，策略優化在分布優化方面變為凸，解釋為Wasserstein梯度流。

• Clipped Action PolicyGradient->利用被剪裁的動作的知識來減少估計的方差。

• Fourier Policy Gradients->將期望策略梯度產生的積分重新整合為卷積並將其轉換為乘法。

• Structured Evolution withCompact Architectures for Scalable Policy Optimization->通過使用結構化隨機正交矩陣的梯度近似進行黑盒優化，提供比基線更準確的估計，並具有可證明的理論保證。

• StochasticVariance-Reduced Policy Gradient->利用重要性權重來保持梯度估計的無偏差。

• The Mirage ofAction-Dependent Baselines in Reinforcement Learning->分解了策略梯度估計量的方差，數值模擬表明，在通常測試的基準域中，學習的依賴狀態動作的基線實際上並沒有減少與狀態相關的基線的方差。

• Smoothed Action ValueFunctions for Learning Gaussian Policies->一個由高斯平滑的期望Q值定義的行為值的新概念。由平滑Q值函數的梯度和Hessian可以恢復參數化高斯策略的預期獎勵的梯度和協方差。在訓練過程中學習均值和協方差的能力可以顯著提高標準連續控制基準的結果。

• Soft Actor-Critic:Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor->提出了soft actor-critic，基於最大熵強化學習框架的非策略行動者-評論者（actor-critic）深度RL演算法。行動者的目標是最大化預期的回報，同時也最大化熵——在任務中儘可能隨機地成功。

5. RL Exploration:

• Self-Imitation Learning->利用過去的良好經驗可以間接地推動深度探索。

• Coordinated Exploration inConcurrent Reinforcement Learning->強化學習代理團隊，該團隊通過種子取樣，同時學習如何在一個共同的環境中操作。具有三個屬性- 適應性，承諾和多樣性 – 是有效協調探索所必需的。

• GEP-PG: DecouplingExploration and Exploitation in Deep Reinforcement Learning Algorithms->依次結合目標探索過程和DDPG。兩階段方法：第一個探索階段發現一系列簡單的策略，最大化行為多樣性，忽略獎勵功能;然後是更標準的深度RL階段進行微調，其中DDPG使用重播緩衝區，其中填充了GEP生成的示例。

• Learning to Explore viaMeta-Policy Gradient->元策略梯度演算法學習探索，使我們能夠自適應地學習DDPG中的探索策略。訓練不依賴於參與者策略的靈活的探索行為，從而產生一種全局性的探索，極大地加快了學習過程。

6. RL Reward:

• Learning byPlaying — Solving Sparse Reward Tasks from Scratch->計劃輔助控制(SAC-X)， 代理配備了一組通用輔助任務，它試圖通過非策略RL同時學習。主動（學習）調度和輔助策略的執行允許代理有效地探索其環境 -使其在稀疏獎勵RL方面表現優異。

• Automatic Goal Generationfor Reinforcement Learning Agents->使用生成模型(在本例中為GANs)來學習生成理想的「目標」(狀態空間的子集)，並使用生成模型而不是目標的統一抽樣。使用基於生成模型的自動課程生成演算法來解決多任務問題，該生成模型跟蹤學習代理的性能。

• Learning the RewardFunction for a Misspecified Model->本文提出了一個新的誤差界限，用來解釋從模型中採樣的狀態下獎勵模型的行為。該界限用於擴展現有的幻覺DAgger-MC演算法，該演算法在確定性的MDPs中提供了理論性能保證，而不是假設一個完美的模型可以被學習。

• Mix & Match — AgentCurricula for Reinforcement Learning->一個自動形成代理課程的程序;通過有效地從簡單的代理中找到解決方案開始，逐步訓練更複雜的代理;

7. Model-based RL:

• Lipschitz Continuity inModel-based Reinforcement Learning->提供了一個新的邊界，在這個邊界上，我們用Wasserstein度量來量化Lipschitz模型的多步預測誤差。

• ProgrammaticallyInterpretable Reinforcement Learning->生成可解釋和可驗證的代理策略，可編程的解釋性強化學習使用一種高級的、特定於域的編程語言來表示策略。神經導向的程序搜索通過首先學習使用DRL的神經策略網路，然後對程序策略執行局部搜索，以盡量減少與神經「oracle」之間的距離。

• Feedback-Based Tree Searchfor Reinforcement Learning-> 提出了一種基於模型的強化學習技術，該技術迭代地將MCTS應用於原始的無限大範圍的馬爾可夫決策過程中。MCTS過程生成的建議隨後作為反饋提供，以便通過分類和回歸改進下一個迭代的葉子節點評估程序。多玩家在線戰鬥競技場(MOBA)遊戲之王的競爭代理。

• Machine Theory of Mind->Theory of Mind（ToM）廣泛地指人類表達他人心理狀態的能力， 包括他們的慾望，信仰和意圖。ToMnet使用元學習來學習代理人未來行為的強大先驗模型，並且僅使用少量的行為觀察，可以引導到更豐富的關於代理特徵和心理狀態的預測。

• Measuring abstractreasoning in neural networks->提出一個數據集和挑戰，旨在探索抽象推理，靈感來自一個著名的人類智商測試。為了在這一挑戰中取得成功，模型必須應對訓練和測試數據以明確定義的方式存在差異的各種歸納「機制」。提出WildRelation Network（WReN），多次應用關係網路模塊(Santoro et al.， 2017)來推斷小組間關係。

8. Distributed RL:

• Implicit Quantile Networksfor Distributional Reinforcement Learning->使用分位數回歸來近似風險敏感策略的狀態-行為回報分布的完全分位數函數;展示了57款Atari2600遊戲的改進性能。

• RLlib: Abstractions forDistributed Reinforcement Learning->開源Ray項目中的一個庫，為RL提供可擴展的軟體基元，該庫主張通過自頂向下的層次控制調整演算法，以組合的方式分布RL組件，從而在短期運行的計算任務中封裝並行性和資源需求。

• IMPALA: ScalableDistributed Deep-RL with Importance Weighted Actor-Learner Architectures->IMPALA（重要性加權行動者學習者架構）可擴展到數千台機器而不會犧牲數據 效率或資源利用率; 通過將解耦作用和學習與一種新的非策略修正方法V-trace相結合，實現高吞吐量下的穩定學習。在DMLab-30(DeepMind Lab環境中的30個任務集(Beattie et al.， 2016))和Atari-57 (Arcade Learningenvironment中所有可用的Atari遊戲(Bellemare et al.， 2013a)上進行測試)。

9. Hierarchical RL:

• Latent Space Policies forHierarchical Reinforcement Learning->以自下而上的分層方式構建層次表示;每一層都經過訓練，通過最大熵目標來完成任務。每一層都增加了潛在隨機變數，這些變數是從該層訓練期間的先驗分布中抽取的。最大熵目標使這些潛在變數被納入到層的策略中，高層可以通過這個潛在空間直接控制下層的行為。

• Self-Consistent TrajectoryAutoencoder: Hierarchical Reinforcement Learning with Trajectory Embeddings->層次結構中學習較低層的問題轉化為學習軌跡級生成模型的問題。學習軌跡的連續潛在表示，這有效地解決了時間擴展和多階段的問題。他的模型通過預測閉環策略行為的結果，提供了一個內置的預測機制。

• An Inference-Based PolicyGradient Method for Learning Options->為了使用選項自動學習策略，所提出的演算法使用推理方法來同時改進代理可用的所有選項，因此可以以非策略方式使用，而無需觀察選項標籤。所採用的可微差別推理過程產生了易於解釋的選項。

• Hierarchical Imitation andReinforcement Learning->分層指導利用底層問題的層次結構來整合不同的專家交互模式。在Montezuma』sRevenge上測試過。

• Using Reward Machines forHigh-Level Task Specification and Decomposition in Reinforcement Learning->獎勵機器是一種有限狀態機，支持獎勵函數的規範，同時將獎勵函數結構暴露給學習者並支持分解。提出了獎勵機器的Q-Learning(QRM)，一種適當分解獎勵機制的演算法，並利用off-policy Q-Learning同時學習不同組件的子策略。

10. Multi-Agent:

• Learning to Coordinatewith Coordination Graphs in Repeated Single-Stage Multi-Agent Decision Problems->利用鬆散耦合，即代理之間的條件獨立性。預期獎勵可以表示為協調圖。

• Learning to Act inDecentralized Partially Observable MDPs->首先接近最優的協作多智能體，通過混合整數線性規劃替換貪婪最大化。來自文獻的許多有限域的實驗。

• Learning PolicyRepresentations in Multiagent Systems->將代理建模作為表示學習的問題;構建模仿學習和代理識別啟發的新目標，設計一種代理策略表示的無監督學習演算法。

• Competitive Multi-agentInverse Reinforcement Learning with Sub-optimal Demonstrations->當已知專家證明不是最優的時候，在零和隨機博弈中進行逆強化學習; 引入了一種新的目標函數，直接將專家與納什均衡策略對立起來，以深度神經網路作為模型逼近，在逆強化學習的背景下求解獎勵函數。

11. RL Meta-learning, Transfer, Continuing and Lifelong Learning::

• Been There, Done That:Meta-Learning with Episodic Recall->提出了一種生成開放但重複的環境的形式主義，然後開發一個元學習體系結構來解決這些環境。該架構將標準的LSTM工作記憶與可微的神經情景記憶融合在一起。

• Transfer in Deep RL usingSuccessor Features in GPI->使用通用的策略改進和繼承特性來進行傳輸技能。以兩種方式擴展SF和GPI框架。使用獎勵函數本身作為未來任務的特性，沒有任何表達性的損失，因此無需預先指定一組特性。

• Policy and Value Transferin Lifelong Reinforcement Learning->使用先前的經驗，在一系列從任務分配中抽取的任務實例中引導終身學習。對於基於值函數的傳輸，保留PAC的值函數初始化方法，同時最小化兩種學習演算法所需的學習，從而產生MaxQInit。

• State Abstractions forLifelong Reinforcement Learning->在終身強化學習中，代理必須有效地跨任務傳遞知識，同時解決探索，信用分配和一般問題。狀態抽象壓縮代理使用的表示，從而減少了學習的計算和統計負擔。提出新的抽象類：（1）傳遞狀態抽象，其最優形式可以被有效地計算，以及（2）PAC狀態抽象，保證相對於任務的分布。

• Continual ReinforcementLearning with Complex Synapses->通過為表格和深層強化學習代理配備合併了一種生物複雜性的突觸模型(Benna & Fusi,2016)，災難性遺忘可以在多個時間尺度上得到緩解。整合過程與數據分布變化的時間尺度無關。

12. RL Applications and others:

• Spotlight: OptimizingDevice Placement for Training Deep Neural Networks->使用多階段馬爾可夫決策過程來模擬設備布局問題。

• End-to-end Active ObjectTracking via Reinforcement Learning->ConvNet-LSTM函數逼近器用於直接幀到動作的預測。需要用獎勵函數來增強環境。

• Deep ReinforcementLearning in Continuous Action Spaces: a Case Study in the Game of SimulatedCurling->基於內核的MonteCarlo樹搜索學習遊戲策略，該搜索在連續空間內查找動作。為了避免手工特徵，我們使用監督學習來訓練我們的網路，然後使用高保真的冰壺奧林匹克運動模擬器進行強化學習;贏得了國際數字冰壺比賽。

• Can Deep ReinforcementLearning Solve Erdos- Selfridge-Spencer Games?->介紹了一個有趣的雙人零和遊戲系列，具有可調的複雜性，稱為Erdos-Selfridge-Spencer遊戲，作為RL的一個新域。作者報告了大量的實證結果，使用了各種各樣的訓練方法，包括監督學習和多種RL (PPO, A2C,DQN)以及 單代理 與多代理訓練。

• Investigating Human Priorsfor Playing Video Games->調查各種有助於人類學習的先驗知識，並發現對象的一般先驗在指導人類遊戲玩法中起著最關鍵的作用。

• Visualizing andUnderstanding Atari Agents->介紹一種生成有用的顯著性地圖的方法，並使用它來顯示1)強代理關注什麼，2)代理是否出於正確或錯誤的原因做出決策，3)代理如何在學習過程中進化。

總結

• 深度強化學習是最大和最熱門的話題之一，有著最多的論文數量和最大的會議場地。

• 除了訓練演算法，學習模型，信用分配，分層次，元學習和網路架構是RL流行的子方向。

• 考慮到網路架構上關於視覺問題的論文數量，對於RL在網路架構上的探索還有很大的空間，在已被接受的論文中只有少數是這一方面的。例如，StructuredControl Nets for Deep Reinforcement Learning and Gated Path Planning Networks。

• ML的公平性和可解釋性是一個大主題。對於RL也應該有更多的解釋和分析工作。一個好的方向是運用控制理論。與此相關的是，BenRecth的《控制優化教程》非常棒。主要思想是RL與控制理論之間應該有更多的交叉。在已被接受的論文中，一個很好的例子是Structured ControlNets for Deep Reinforcement Learning。

附最佳論文總結

【兩篇最佳論文（best papers）】

「Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples」

[注]:也就是這篇在年初曾引起軒然大波，一作Anish Athalye質疑ICLR2018中的7/8篇對抗防禦的論文太渣，並引起Goodfellow圍追堵截要說法。Anish Athalye這篇打臉ICLR的文章在ICML上證明了自己的實力。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！