BAIR論文：通過「元學習」和「一次性學習」演算法，讓機器人快速掌握新技能

AI科技評論按：近日伯克利大學人工智慧實驗室（BAIR）Sergey Levine團隊在Arxiv上發布了一篇名為《One-Shot Visual Imitation Learning via Meta-Learning》的論文，該論文將當前AI研究的兩個瓶頸即元學習（Meta-Learning）和一次性學習（One-shot learning）相結合，並被CORL（Conference on Robot Learning, 2017）接收，CORL 2017將於今年11月在美國加州山景城舉行。

我們都知道，深度學習是在大數據的背景下火起來的，傳統的基於梯度的深度神經網路需要大量的數據學習，而絕大多數的深度學習內容否基於大數據量下的廣泛迭代訓練，當遇到新信息時往往會出現模型失效的情況從而需要重新進行學習。在機器人領域，深度神經網路可以是機器人展示出複雜的技能，但在實際應用中，一旦環境發生變化，從頭學習技能並不可行。因此，如何讓機器「一次性學習」，即在「看」了一次演示後無需事先了解新的環境場景，能在不同環境中重複工作尤為重要。

研究發現，具有增強記憶能力的架構如神經圖靈機（NTMs）可以快速編碼和見多新信息，從而起到消除常規模型的缺點。在本論文中，作者介紹了一種元-模擬學習（Meta-Imitation Learning，MIL）演算法，使機器人可以更有效學習如何自我學習，從而在一次演示後即可學得新的技能。與之前的單次學習模擬方法不同的是，這一方法可以擴展到原始像素輸入，並且需要用於學習新技能的訓練數據明顯減少。從在模擬平台和真實的機器人平台上的試驗也表明了這一點。

目標：賦予機器人在只「看過」一次演示的情況下，學習與新物品互動的能力。

做法：

收集大量任務的Demo；

使用元-模擬學習進行訓練；

在未知的新任務中進行測試。

創新內容：在第一個全連接層通過偏差轉換增加梯度表現。

模擬測試環節，這一環節使用演算法提供的虛擬3D物品進行模擬，MIL比Contexual和LSTM更好地完成了任務。

在實際場景測試環節，該團隊設計了一個抓取物品並將其放到指定容器中的任務。從上圖我們可以看到，在這一環節用於訓練的物品與實際測試的物品無論在形狀、大小、紋理上都有著差別，MIL演算法同樣較好地完成了任務。

「AI科技評論」發現，除了BAIR，Google Deepmind（參見「AI科技評論」之前文章《只訓練一次數據就能識別出物體，谷歌全新 AI 演算法「單次學習」》）、OpenAI也有在進行關於「一次性學習」的研究。「一次性學習」通常被認為是計算機視覺中的對象分類問題，旨在從一個或僅少數幾個訓練圖像中學習關於對象類別的信息，並且已經成功應用到包括計算機視覺和藥物研發在內的具有高維數據的領域。今年5月，OpenAI也發布了類似的在虛擬場景下通過一次性學習，完成堆疊方塊等任務的論文。

在《人類的由來》中，達爾文這樣寫道：「人和其他高等動物在精神上的差異雖然很大，但這種差別肯定只是程度上、而非種類上的差別。」而這些在一次性學習和元學習上的研究也證明，當前的人工智慧與未來世界的超級人工智慧之間的差異，或許也只是程度上的差異，而非種類上的差異。在深度學習發展的過程中，類似的優化看起來只是一小步，但加速化發展的趨勢已經很明顯：當你在閱讀傳統期刊上的論文時，在Arxiv上或許已經出現了新的替代版本。或許在不久之後，創造出更聰明、具有適應力的實用機器人並不是難事。

論文地址：https://arxiv.org/pdf/1709.04905.pdf

視頻演示及更多詳細說明：https://sites.google.com/view/one-shot-imitation

————— 給愛學習的你的福利 —————

————————————————————

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！