人工智慧又來玩《馬里奧兄弟》了，這次靠的是「好奇心」

在遊戲中卡殼時，你是會繼續反覆地撞南牆，還是轉而探索遊戲地圖的其它方向？也許是受古裝戲影響，我們可能會四處尋找密道開關。但當前的人工智慧可能會選擇前一種，不達目的不罷休。

加州大學伯克利分校最近發布的論文，則想要開闊人工智慧的視野，讓它在卡殼時退一步，轉而探索更廣闊的天地，對視野外的世界產生興趣。論文被 8 月的國際機器學習大會接收。

剛剛退役的 AlphaGo，使用蒙特卡羅樹搜索來決定下一步，並依據此前的經驗確定加權值，給出相對的獎勵反饋，藉此讓機器具備人工編程沒有設計的技能。這種機器學習方法叫做「增強學習」，特點是獎勵高效和阻止無效的行為。

這種方法的缺點則是，需要大量的訓練工作，並且不管什麼情況都只追求高回報的行動，哪怕損害整體效率也不在乎。如果 AI 不能立即獲得所需的反饋，繼續行進可能會遇到困難，尤其是在反饋不明顯的電子遊戲中。

伯克利研究團隊的方法，是在缺乏獎勵、甚至沒有獎勵的情況下，訓練人工智慧探索環境。研究人員讓 AI 學會了在動態環境中預測行動造成的誤差，並將這種探索的動力稱為「好奇心」。小寶寶們經常就有這種實驗行為，他們受好奇心的指引，在天馬行空的探索中學習技能。

為了訓練神經網路，研究人員讓人工智慧學習玩《馬里奧兄弟》和射擊遊戲《毀滅戰士》。結果如同視頻中所示，有好奇心的 AI 沒有盲目地重複回報較高的行動，對遊戲整體有了更多把握，學會了觀察周遭環境和快速地移動，而沒有花很多時間去撞眼前的牆。

有「好奇心」的 AI 玩《超級馬里奧》 / 加州大學伯克利分校

研究人員認為，在許多現實的場景常常缺乏外在的獎勵。在這種情況下，好奇心可以作為內在的動力，讓 AI 探索環境，學習後期才會有用的技能。這或許可以為機器人導航任務帶來啟發，也能讓機器人學會抓握奇形怪狀的物體。機器人往往浪費大量時間做無用功，比如嘗試很多隨機的手勢。如果配備了好奇心，機器人可以很快掌握環境信息並作出相應的動作。

讓人工智慧具備好奇心已經成為該領域的研究熱點。紐約大學的科學家 Brenden Lake 接受《麻省理工科技評論》採訪時說，好奇心驅動的學習技術並沒有關注得分，但也能在遊戲中讓 AI 表現更好，這令人驚訝，「配備與人相似的特徵，是開發出具備人類的學習思考能力的機器人的重要一步」，但這項研究里的好奇心仍然不同於孩童身上的好奇心，「AI 只好奇和自己有關的環境特點。但人類的好奇心更加寬泛。他們不只關心周遭的世界。」

這也不是 AI 第一次玩《馬里奧兄弟》。這款遊戲一直是人工智慧的試驗田。2015 年，德州大學奧斯汀分校開發的 MarI/O 程序（GitHub 鏈接），用吃一塹長一智的方法在 34 次嘗試後通關，但它並沒有預測的能力。

MarI/O 在 34 次嘗試後通關 / 德州大學奧斯汀分校

也是 2015 年，德國蒂賓根大學開發的Mario A.I. 項目，讓 AI 學習人類的語音內容，理解英文的攻略，並獲得過關的經驗。更早的年代，2009 ～ 2012 年間，網路上還曾舉辦過馬里奧 AI 大賽，之後被平台 AI 大賽所取代。

而谷歌旗下的 DeepMind 在拿下圍棋之後，也要挑戰《星際爭霸》了。過去七年間一直有類似的嘗試，但 AI 從未贏過和熟練玩家的比賽。DeepMind 也並未表明何時會開展人機對決，只計劃在未來幾個月內發布相關的介面。

但人工智慧發展速度如此之快，在電子競技上打敗人類的那一天也許並不遙遠。

視頻及資料來源arXiv：1705.05363

題圖 Pixabay

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！