UC 伯克利為 AI 植入好奇心，探索能力超過 AlphaGo 蒙特卡洛樹搜索

新智元編譯

來源：indiatimes.com

作者：GWYN D MELLO

編譯：張易

【新智元導讀】加州大學 UC 伯克利分校的一隊研究者在他們的 AI 系統中嵌入了一種能力，能讓系統在即使沒有短期結果驅動的情況下，也會採取行動。這與 AlphaGo 採用的蒙特卡洛樹搜索的方法不同，有可能避免 AI 只追求一系列短期結果，而產生長期的、整體上的不良結果。研究給出了視頻，展示了他們的研究成果。

粽情 AI，新智元祝讀者端午安康！

很少有人在玩兒遊戲的時候——比如說超級瑪麗吧——會一口氣跑到關底。你總會這裡看看，那裡頂頂，找找隱藏的錢或蘑菇。現在，研究人員已經開始嘗試把這種好奇心植入 AI 系統。

加州大學 UC 伯克利分校的一隊研究者在他們的 AI 系統中嵌入了一種能力，能讓系統在即使沒有短期結果驅動的情況下，也會採取行動。比如說，谷歌的 AlphaGo 採用了蒙特卡洛樹搜索的方法。這意味著它是從經驗中學習的，這種經驗是指，如果 AlphaGo 採取了某一特定行動，那麼對手最可能的下一步是什麼。根據可能產生的結果，每個可能的移動都被從最優到最差打了分。這樣，AI 每輪會選擇最好的一步。你用正向激勵訓練狗時也是用的類似方法。問題是，這也會讓 AI 的思維變得非常狹窄。

永遠選擇最好的可能結果，AI 會追求一系列有短期收益的行動，即使從長期來看整體上會有不好的結果也在所不惜。相反，UC 伯克利的 AI 似乎採取了隨機行動，努力在探索其他的可能性。這解釋起來有點難，研究人員把它描述為「通過自監督逆動力學模型在可見特徵空間里預測自我行動產生結果的能力中的錯誤」（the error in an agent『s ability to predict the consequence of its own actions in a visual feature space learned by a self-supervised inverse dynamics model）。

這一研究指出：「在許多真實世界的場景中，能夠給智能體的外在獎勵真的是太稀疏了，或者整體上是缺失的。這種情況下，好奇心就扮演著內在獎勵的角色，能夠使智能體去探索環境，學習未來可能會用到的技能。」

這聽上去似乎不是特別有用，但它實際上暗示了巨大的可能性。未來，這種訓練方法可能幫助 AI 系統更自然的學習，從探索中獲得技巧，以備不時之需。

原文地址：http://www.indiatimes.com/technology/news/uc-berkeley-researchers-have-built-human-like-curiosity-into-an-artificial-intelligence-system-322386.html

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！