OpenAI及DeepMind兩團隊令未來的AI機器更安全

OpenAI和DeepMind的研究人員使用的新演算法從人類反饋中學習，他們希望這樣做能使人工智慧更安全。

兩家公司均為強化學習的專家，強化學習是機器學習的一個領域，其基本思想是，如果代理在特定的環境里採取正確的行動完成了任務就給予獎勵。該目標是通過一種演算法來指定的，代理經過程序後就會追逐獎勵，例如遊戲中的獲勝點。

強化學習在訓練機器如何玩如Doom或Pong等遊戲或通過模擬駕駛自主駕駛汽車等案例中取得了成功。強化學習是探索代理行為的一個有效的方法，但如果硬編碼演算法錯了或產生不良影響的話，這種方法可能也有危險。

arXiv上發表的一篇論文描述了一種有助於防止此類問題的新方法。首先，代理在其環境中執行隨機動作。預測的獎勵則是基於人類的判斷，而且獎勵被反饋到強化學習演算法中，以改變代理的行為。

系統在人類指導下制定最佳行動及學習目標

研究人員將這種演算法用於訓練一個彎曲的燈柱往後仰。代理的兩個視頻然後再交給人觀看，觀看者選擇哪一個的後仰動作更佳一些。

經過一段時間後，代理就逐漸學習了如何根據獎勵函數最有效地解釋人類的判斷來學習目標。強化學習演算法用於指導代理的行為，並可以持續在人類的批准下進行改進。

網上可找到相關的視頻。（https://www.youtube.com/watch?v=oC7Cw3fu3gU）

人類評估者花掉的時間不足一個小時。但要完成做飯或發送電子郵件等更複雜的任務就會需要更多的人類反饋，從財務的角度來看則是昂貴的。

文章的作者之一達里奧·阿莫德（Dario Amodei）是OpenAI的一名研究人員，他表示，未來研究的重點會放在減少監督方面。

他告訴記者，「泛泛而言，名為半監督學習的技術在這一塊可能有幫助。另一種可能性是提供更信息密集的反饋形式，如語言，或是讓人類在屏幕上具體指出表示良好行為的部分。更多的信息密集反饋可能會讓人類在更短的時間內更多地與演算法進行溝通。「

上述研究人員在其他模擬機器人任務和Atari遊戲里測試了他們的演算法，結果顯示機器有時可以實現超人式的性能。但這在很大程度上取決於人類評估者的判斷。

OpenAI在一篇博文里表示，「我們演算法的性能只能和人類評估者對於什麼是正確行為的直覺一樣好，所以，如果人類對一個任務沒有很好的把握，那他們可能提供不了太多有用的反饋。」

阿莫德表示，目前的結果僅局限於非常簡單的環境。但這種方法大有可能對有些很難學習的任務有用，這些任務的獎勵功能很難量化，例如駕駛、組織事件、寫作或技術支持的提供。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！