ICLR高分論文說，非理性AI能讓AI更聰明？

【新智元導讀】受人類遞歸推理思維啟發，UCL汪軍教授組在多智體深度強化學習研究中首次將概率遞歸推理引入AI的學習過程，讓智能體在決策前預測其他智能體的反應對自身的影響。這項工作提升了AI群體思考深度，也為MARL研究提供了全新的思路。

開始之前，先來做個遊戲。

假設你跟其他正在看這篇文章的讀者一起玩一個遊戲，從0到100當中猜出一個數，最後最接近所有大家猜的數字的平均值的那個人獲勝，那麼作為一個個體，你會說幾？

這個遊戲改編自著名的博弈論遊戲「猜平均數的三分之二」(guess 2/3 of the average-game)，嚴格來說，人類玩家之間並沒有一個必勝的策略。但是，通過不斷思考對手可能的決策，這個遊戲的眾多答案中就會出現一個唯一的納什均衡，也就是0。

猜平均數的均值

0到100的平均值是50，因此，當所有人都是理性的時候，能夠說出的最大的值就是「50」。任何大於50的數字都可以排除。

這時候所有人又想，假設其他人都說「50」，那麼要獲勝，自己就需要再多想一步，說出50的平均值——「25」。

假設其他人都說「25」，那麼要獲勝，自己就需要再多想一步，說出25的一半——「13」。

這個過程不斷重複下去，最終，就會得到0。實際上，0也是這個問題的納什均衡。

但注意，這是在所有人都理性的情況下，現實生活中，沒有人是絕對理性的，一般人想到「25」已經很不錯了。

更重要的是，這個遊戲充分說明了預測其他人猜的數字對自己將要給出的結果的影響——即使是完全理性的玩家，在這樣的遊戲中也不應該猜「0」，除非能夠確認：1）其他玩家也都是理性的，2）每個玩家都知道其他玩家是理性的。

只要上述兩點沒有同時成立，也即存在非理性玩家的情況下，要獲勝至少應該猜大於0的數字。現實生活中，大多數情況下人類的決策都會有非理性的因素。為了對真實的決策過程更好的建模，那麼考慮非理性的因素對於多智能體AI的研究來說就是至關重要了。

1981年，Alain Ledoux在他的法國雜誌《遊戲與策略》(Jeux et Stratégie) 中提出了「猜平均數的三分之二」這個遊戲，結果分布如下圖。

1981年2898位讀者參與「猜平均數2/3」的結果分布，來源：維基百科

這個遊戲也可以用來反映群體的「思維深度」，最終數字越小，說明群體的思考層數(回數)越多。

實驗心理學領域詳細研究了不同職業不同人的思維深度，厲害的國際象棋大師能夠預測未來7個來回甚至更遠的情況，然後根據預測，返回來決定眼下在哪裡落子。事實上，人類作為一個整體平均的思維深度是1.5– 2。

絕大多數的人都會在做事前對自己行為的結果進行某種程度上的預估，具體說，人會先預測自己的行為可能對他人影響，然後再進一步預測受了影響的他人將如何反過來影響自己，這是一個遞歸的過程。

認知心理學認為，遞歸推理 (recursive reasoning) 也即推測他人認為自己在想什麼，是人類固有的一種思維模式，在社交生活中對人類行為決策起到重要作用。放在猜數字遊戲里，就是「我猜你猜我在想什麼」。

人類社交中的遞歸推理過程。圖片來源：Gl?scher Lab

UCL首次將遞歸推理引入多智體深度強化學習

在傳統的多智體學習過程當中，有研究者在對其他智能體建模 (也即「對手建模」, opponent modeling) 時使用了遞歸推理，但由於演算法複雜和計算力所限，目前還尚未有人在多智體深度強化學習 (Multi-Agent Deep Reinforcement Learning) 的對手建模中使用遞歸推理。

在被深度學習頂會ICLR 2019高分接收的一篇最新論文中，UCL汪軍教授組首次將遞歸推理的思維模式引入多智體深度強化學習。

具體說，他們提出了一個遞歸概率推理框架Probabilistic Recursive Reasoning,簡稱PR2，讓每個智能體在決策時考慮其他智能體將如何回應自己接下來的行動，然後做出最優的決策。

k 階遞歸推理圖模型。a代表思考深度，隱式的對手建模用函數ρ-i逼近。0階模型認為對手完全隨機。上圖灰色區域表示智能體 i 的遞歸推理思考過程。想得更深一級的智能體返回得出當前輪次的最優結果。每一級計算都包含上一級的計算，比如2階包含1階。來源：UCL汪軍組ICML論文 Multi-Agent Generalized Recursive Reasoning

基於PR2框架，研究人員提出了分別對應連續和離散動作空間的PR2-Q 和 PR2-Actor-Critic演算法。有趣的是，這些演算法是天生的分散式演算法，不需要Centralized Value Function. 多次實驗結果表明，PR2有效提升了多智體強化學習中單個智能體的學習效率。

「我們在MARL智能體的推理過程中引入了一個soft learning的過程，首次把概率推理放到圖模型中求解，」論文的共同第一作者、UCL計算機學院的博士Yaodong Yang告訴新智元。

研究人員希望這項工作為MARL的對手建模帶來一個全新的角度。論文的第一作者、UCL計算機學院的博士生溫穎在接受新智元採訪時表示：「在PR2的基礎上，針對更深層的遞歸推理，我們設計了一個特殊的trick，能保證訓練時每一步更深層冊的推理都比上一次迭代要好，同時不是無限制地計算下去，那樣的話計算資源的消耗太大。

「ICLR的工作主要是考慮了1階循環思考，也就是考慮別人會怎麼想自己，接下來，我們將繼續研究多智體強化學習中AI的遞歸推理，在ICML 2019的投稿中，我們將其推廣到 n 階循環思考的過程，從而讓多智能體AI在更加有效有意義的納什均衡，相關理論將在機器人、自動駕駛汽車等應用中都有重要意義。」

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！