OpenAI 聯手 DeepMind，找到「馴化」AI 新辦

通過數小時數據分析進行自我訓練的系統，可能出現意料之外甚至危害的行為。雖然我們還不清楚其中原因，但是，OpenAI 的 Amodei 和同事 Paul Christiano 正在研究一種解決問題的數學方法，他們認為，融合了人類和機器指導的演算法有利於增加自動系統的安全性。未雨綢繆遠勝亡羊補牢。

來源 | 紐約時報

作者 | Cade Metz

編譯 | 張震、chenxiaoqing

Geoffrey Irving（左）和 Dario Amodei 展示可以在簡單的遊戲中訓練人工智慧

Musk 成立的人工智慧實驗室 OpenAI 里，機器正在學習人類行為。但有時會出錯。

最近一天下午，在 OpenAI 位於舊金山的辦公里，研究人員 Dario Amodei 展示了一款自主系統，可以自學 Coast Runners 遊戲。勝者是跨越終點，得分最高的船。

結果讓人吃驚：船對出現在屏幕上的綠色小物品表現出異常的興趣。抓住這些小物品就能得分。船進入瘋狂的得分狀態，而不在乎完成比賽。它不停地在轉圈，與其它船隻發生碰撞，撞到石壁上，不斷地著火。

AI 技術在以極快的速度重塑著科技界，而 Amodei 的燃燒的船隻展現了 AI 技術的危險之處。研究者正在建造可以很大程度上自主學習任務的機器。這就是谷歌的 DeepMind 如何打造出擊敗世界頂級圍棋選手的系統。但是，隨著這些機器通過數小時的數據分析自我訓練後，他們可能會找到做出意料之外、不想要甚至做出有害行為的辦法。

當這些技術融入在線服務、安全設備以及機器人技術後，也成為人類的一塊心病。現在，包括 Amodei 在內的一小部分 AI 研究人員開始探索防止最壞情況發生的數學辦法。

在 OpenAI，Amodei 和同事 Paul Christiano 正在研究一種演算法，它不僅可以通過數小時的反覆試錯學習任務，還可以在這個過程中接受人類教師的常規指導。

只需到處點擊幾下，研究人員就可以告訴系統如何一邊邁向終點，一邊贏取分數。研究者相信，這種融合了人類和機器指導的演算法能夠讓自動系統處在安全狀態。

Dario Amodei 和他的同事正在開發新演算法，不僅能夠自己試錯學習，人類也可以給與指導

多年來，馬斯克與其它名、哲學家、技術專家一起警告稱，機器可能會失去控制，掌握一些設計者無法預料到的邪惡行為。有時，這些警告顯得太過危言聳聽，畢竟今天的自動駕駛汽車系統在識別自行車道、紅綠燈等基本的任務上，都還磕磕絆絆地。

像 Amodei 這樣的研究人員顯然是希望在危險發生之前採取行動。在某些方面，這些科家家所做的就如同父母教育孩子分辨是非。

很多 AI 領域的專家相信強化學習技術——一種通過極端反覆試錯，掌握具體任務的辦法，是通往人工智慧的基本路徑。研究人員設定一個特定的獎勵，讓機器去爭取，在隨機執行任務的過程中，機器會密切跟蹤可以帶來獎勵的行為。OpenAI 訓練機器人程序打遊戲時，獎勵就是更多的得分。

一個遊戲，卻有著應用到真實世界的價值。

如果機器能夠掌握 Grand Theft Auto 等賽車遊戲，那麼，研究人員相信它也可以學習駕駛真正的汽車。如果它可以使用網路瀏覽器和其它一般的軟體應用程序，那麼，它也可以學著理解自然語言，甚至會話。在谷歌和加州大學伯克利分校，機器人已可以使用技術來掌握簡單任務，比如撿東西，開門。

這也是 Amodei 和 Christiano 想要構建一種一路接受人類指導的學習演算法的原因，它可以確保系統不會偏離目前的任務。

與谷歌 DeepMind 研究人員合作後，兩位 OpenAI 的研究人員公布了他們的最新研究。過去他們沒有真的合作過，但是兩個世界頂級 AI 實驗室的合作研發的這類演算法，被認為是 AI 安全研究的重大進步。

「這驗證了很多以前的想法，」加州大學伯克利分校研究人員 Dylan Hadfield-Menell 說到。「接下來的十年，這類演算法會很有前途。」

該領域不大，但一直在成長。OpenAI 和 DeepMind 在組隊致力於 AI 安全研究的同時，谷歌在美國的實驗室 Google Brain 也在從事相關的研究。與此同時，加州大學伯克利分校，斯坦福等大學的研究人員也在與大企業實驗室合作開展對類似問題的研究。

Dario Amodei（站立），Paul Christiano 穿著淺藍襯衣，Geoffrey Irving 正在白板上寫東西

有些情況下，研究人員正在致力於保證系統不會像 Coast Runners 遊戲中的船那樣自己犯錯。他們還需要確定黑客以及其他一些表現糟糕的玩家不去利用這些漏洞。例如，谷歌的研究人員 Ian Goodfellow 正在研究黑客愚弄 AI 系統看到它們本不存在事情的方式。

現代的計算機視覺是基於深度神經網路的技術，通過分析海量數據、識別規律以學習任務。通過分析數千張關於狗的照片，神經網路可以學習如何識別狗。這正是 Facebook 能夠從 Snapshot 中識別人臉的技術，也是 Google 在 Photo 應用中快速尋找圖片的技術。

但是，Goodfellow 與其他研究人員已經展示過，駭客能夠修改圖片進而愚弄神經網路。比如，僅僅改變大象圖片中的幾個像素，神經網路就會相信那是一輛汽車。

當神經網路應用於安防攝像頭時，這個問題就很嚴重了。研究人員說，僅僅改變面部的幾個特徵，你就可以讓攝像頭相信你是另一個人。

「即使你用幾百萬張標記過圖片去訓練一個目標識別系統，你仍然可以創造出人類和機器每次識別結果百分百不同的新圖片。」Goodfellow 說道，「我們還沒有搞清楚這是怎麼回事。」

人們還擔心 AI 系統將會學習如何阻止人類關閉它們。如果機器被設計為尋求人類的獎賞，按照這個思路，它們或許會發現只有保證自己不停運行下去，才能獲得這些獎勵。有關這種擔心可能還有點遠，但是，研究人員正在解決這個問題。

Hadfield-Menell 和其他來自加州伯克利大學的研究人員最近發布了一篇論文，採用數學方法解決問題。如果將機器設計為它永遠不確定獎賞函數，那麼機器會想辦法保持開關是開著的。這也給接受甚至尋求人類監管帶來了動力。

許多方式還停留在理論階段。但是鑒於 AI 技術的迅速發，在很多行業領域也越來越重要，研究人員認為，最好是早點開始研究。

「我們無法確定 AI 技術到底會發展得多塊。」DeepMind 的 Shane Legg 如此說，他負責公司的 AI 安全研究。「這些技術會被濫用、被攻破的方式也不一，解決問題的辦法也不同，最負責任的做法就是理解這些。」

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！