谷歌研發陪練機器人，幫助機器人快速進步

導語：卡耐基梅隆大學和谷歌的研究人員在機器人抓取訓練中運用了對抗策略，結果顯示一個不斷找麻煩的陪練反而是機器人進步的最好幫手。

本文作者：大壯旅

雷鋒網按，為了提升機器人完成操作任務（如抓取）的能力，卡耐基梅隆大學（CMU）和谷歌的研究人員讓機器人通過對抗訓練來不斷進步。在訓練中，「敵方」機器人會試圖阻礙另一台機器人抓取物品（就像功夫熊貓中阿寶和師傅用筷子搶包子）。當然，研究人員還準備了更高難度的訓練項目，他們有時會讓同一個機器人的兩隻機械臂直接玩「左右互搏」，讓一隻機械臂阻止另一隻抓取物品。

你知道在機器人研究中什麼最無聊和乏味嗎？當然是訓練它們抓取不同的物品。現在有了 AI，研究人員再也不用看著這些「傻孩子」學習了，在自監督學習模式下，機器人會通過不同的方式不斷嘗試抓取物品。不過，這一過程可能要花費數千小時，而且即使機器人大致掌握了抓取的技巧，它也很難理解什麼才是最棒的抓取方式。

這種訓練方式的問題在於，大多數時間這些技術都在利用最基本的感測器來看待抓取的動作，這樣的視角過於二元化，它們只在乎機器人是否拿起了目標物體，只要拿起來就算成功。不過，在現實世界中抓取是否成功可不是這個標準，因為不穩定的抓取會讓物體墜落的可能性增大。此外，如果讓機器人抓起一個盛了湯的碗，現有的粗暴抓取法肯定不可取，畢竟現實世界不是實驗室。

出於這一考慮，CMU 和谷歌的研究人員決定將博弈論和深度學慣用在機器人的訓練中，而他們用到的方法就是開頭提到的「搗亂法」，一台機器人會想方設法讓對手無法抓起目標物體。

上周，該項目參與者 Lerrel Pinto、James Davidson 和 Abhinav Gupta 在 ICRA 展示了他們的研究成果，研究人員將這種對抗的方法描述為「雙人零和重複博弈法」（零和博弈來自著名的博弈論）。在互相「拆台」的戰鬥中，雙方都用到了卷積神經網路，一方會專註於抓取物品，另一方則要阻止對方抓取物品。

在訓練中，一心要抓取物品的機器人不但要躲過對方不斷襲來的「黑手」，還要處理重力、慣性和摩擦力等因素帶來的影響。如果想進一步提升機器人的抓取能力，還可設定抓到物品機械臂就會搖晃幾下的壞招（希望抓娃娃機老闆不要學會這一招）。這樣一來，加上另一隻不停搗亂想要搶奪物品的機械臂，機器人的抓取能力就能提升到新的境界。

如果搗亂的機械臂成功打掉或搶走負責抓取機械臂手中的物品，那麼這次抓取任務就算失敗，在訓練過程中抓取程序會不斷從失敗中吸取教訓。與此同時，負責搗亂的程序則會從成功中找到新的法門，兩者會在「嬉戲打鬧」中共同進步。這也是該項目具有重大現實意義的原因，機器人要想走出實驗室，必須保證能在挑戰不斷的環境中不犯錯。

一台機器人試圖從對手那裡奪下抓取的物品

研究人員表示，他們的對抗策略確實能加快機器人的訓練進程，這種方法培養的系統更加強大。經過測試，三次迭代後，其抓取成功率從 43% 升到了 58%，而沒有採用對抗策略訓練的機器人，抓取成功率僅為 47%。

該結果可以清楚的表明，有個給機器人「拆台」的夥伴監督和陪練，作用可比傻乎乎的搜集抓取數據大多了。雷鋒網注意到，研究人員公布的測試數據顯示，6 千次的陪練後，機器人的抓取成功率比機器人自己單練 1.6 萬次都要高。因此，對抗策略在機器人訓練中明顯更有優勢。

經過一段時間的訓練後，有陪練的機器人抓取成功率提升到了 82%，而沒有這個待遇的機器人成功率僅為 68%。更令人驚訝的是，即使降低抓取機器人的力量和抓手的摩擦力，其成功率依然有 65%，而採用單練策略的機器人則下滑至 47%。

在這一過程中，研究人員也使盡了自己「一肚子壞水」，他們專門觀摩了單練機器人容易失誤的地方，並將這些破綻編入了搗亂機器人的程序中。同時，在訓練中搗亂機器人不斷的搶奪也是物品掉落的重要因素。當然，只有經歷了這樣的魔鬼訓練，抓取機器人才能練出一身技藝。

Via. Spectrum.ieee 雷鋒網編譯

雷鋒網原創文章，網站轉載請至雷鋒網官網申請授權。歡迎熱情討論，轉發分享~

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！