如何管教AI的行為舉止？OpenAI早已開始研究，而這只是整個AI安全領域的前哨

雷鋒網 AI 科技評論按：在比賽中刷成績和在遊戲中擊敗人類職業選手僅僅是 AI 研究的一部分，OpenAI 的研究人員們同樣重視對 AI 安全性的研究。這篇文章是紐約時報來到 OpenAI 實驗室的報道，介紹了 OpenAI 近期在 AI 安全領域的想法和一些成果，也讓我們看到了 OpenAI 研究人員的風采。雷鋒網 AI 科技評論編譯。

自學的人工智慧可能學到奇怪的行為

在舊金山的 OpenAI 人工智慧實驗室中，計算機們可以自我學習、學會人類的舉止。不過有時候也會出問題。

Geoffrey Irving（左）和 Dario Amodei 展示可以在簡單的遊戲中訓練人工智慧

前不久的一個下午，OpenAI 的研究員 Dario Amodei 在辦公室里展示了一個自己學會玩 Coast Runners 小遊戲的 AI 系統。這個遊戲是一個頗有年份的電腦遊戲，通過終點的時候得到的分數最高的船就是遊戲的勝者。

不過 AI 系統的表現讓人意外：遊戲規則是吃掉屏幕上不停出現的綠色點點就會得分，而這隻船對它們太感興趣了，它根本不急著沖向終點，而是不停繞圈、跟其它的船撞在一起、蹭著牆壁滑行，還有反覆著火，就是不惜一切代價去得分。

Dario Amodei 著火的小船遊戲就展示出了正在迅速改變科技界的 AI 技術背後的風險。研究員們研究的是如何讓機器自主學習，Google 的 DeepMind 也做的是類似的事情，他們開發出了能夠擊敗世界頂級選手的 AlphaGo。但是隨著這些機器在數小時的數據分析中自我訓練，它們也可能會學會一些人類沒有估計到的、不希望看到的、甚至是會造成實質性傷害的行為。

當網路服務、安全設備和機器人都開始用上 AI 技術以後，這樣的擔憂就無法忽視了。現在，Dario Amodei 在內的一部分 AI 研究人員已經開始聯手探索新的技術理論來避免最糟糕的情況發生。

在 OpenAI，Dario Amodei 和他的同事 Paul Christiano 正在一起開發新的演算法，他們希望這些演算法不僅能在數小時的試錯中學習，還能夠在途中接受來自人類老師的普遍性指導。

現在他們已經找到了一種方法讓 AI 系統知道 Coast Runners 的小船要邊得分、邊往終點走才行，而且人類只要在屏幕上點一點就可以。他們相信這樣能夠綜合利用人類和機器指導的演算法可以幫助確保無人系統的安全性。（這項研究的具體內容可見雷鋒網 AI 科技評論之前的報道你做我評——OpenAI和DeepMind全新的強化學習方法，根據人類反饋高效學習）

Dario Amodei 和他的同事正在開發新演算法，不僅能夠自己試錯學習，人類也可以給與指導

不可忽視的風險

近幾年來，埃隆馬斯克以及其它一些權威、哲學家、科技愛好者都在反覆警告機器有可能擺脫人類的控制，學到一些設計者並不希望看到的有害行為。隨著時間慢慢過去，人們似乎忘掉了這些警告，畢竟如今的自動駕駛汽車在識別行車線或者識別紅燈這樣最基本的任務中都會表現得磕磕絆絆。

但是 Dario Amodei 這樣的研究者是希望趕在危險出現之前就把它們消滅掉。從某種意義上說，這些科學家做的事情就像是父母給小孩教什麼是對、什麼是錯。

許多 AI 界的專家都相信強化學習會是通往人工智慧的主要途徑之一，這種方法里機器要反覆試錯才能最終學會做某件特定的事情。研究人員們為機器指定好一個它要追求的回饋，它就會隨機地做出行動「嘗試」達成任務，同時也密切關注著哪些事情會帶來更高的回饋。當 OpenAI 的研究人員訓練那個 AI 玩 Coast Runners 的時候，他們給它設定的回饋目標就是獲得更高的分數。

雖然這只是一個遊戲，但是能從裡面影射出現實世界的狀況。

研究人員們相信，如果一台機器學會了玩 GTA 這樣的競速遊戲，它就能開一輛真車；如果它能學會用網頁瀏覽器和其它一些常用的軟體，它就學會了理解自然語言，可能還能夠跟人對話。在谷歌和UC伯克利大學，機器人們已經用上了這樣的技術來學會撿起東西或者開門等簡單任務。這些事情不僅是 AI 開發測試的理想環境，能夠完成它們也說明了 AI 具有相當的智能，接下來可以在更真實的環境中完成任務。

正因為這樣，Dario Amodei 和 Paul Christiano 更加努力地想要開發出新的、能夠讓人類從中給予指導的強化學習演算法，才能夠保證 AI 系統不會偏離它們要完成的任務——誰都不想讓 AI 系統在現實中造成不好的後果。

更多研究者已經加入了這個領域

這兩位 OpenAI 的研究員已經和倫敦的 DeepMind 實驗室的人一起發布了一些這方面的研究成果。雖然他們以往並沒有什麼合作經歷，但畢竟兩個都是世界頂級實驗室，這些演算法也確實算得上是 AI 安全研究方面顯著的一步。

UC伯克利的研究員 Dylan Hadfield-Menell 說：「這種做法可以驗證很多前向思考的成果，類似這樣的演算法在未來5到10年內有很大的潛力。」

AI 安全這個領域不大，但是一直在成長。隨著 OpenAI 和 DeepMind 都建立了專門致力於 AI 安全的研究小組，谷歌的本土實驗室 Google Brain 也加入了進來。同時，來自UC伯克利、斯坦福等大學的研究者也在研究著類似的問題，也經常與這些大公司實驗室展開合作。

站著的是 Dario Amodei，Paul Christiano 穿著淺藍襯衣，Geoffrey Irving 正在白板上寫寫畫畫

有時候，研究者們研究的是確保 AI 系統不會自己犯錯，像 Coast Runners 里的小船那樣。他們也需要避免攻擊者和其它懷有惡意的人發現系統中的漏洞。比如谷歌的研究員 Ian Goodfellow 就已經在研究中發現攻擊者可以欺騙 AI 系統，讓它們以為自己看到了別的東西。

現代計算機視覺的基礎是深度神經網路，它們是一類模式識別系統，在經過大規模數據訓練以後就可以學會特定的任務。用成千上萬張狗的照片訓練過以後，神經網路就可以學會識別一條狗。Facebook 就是用這樣的方式識別自拍中的人臉的，谷歌也是這樣在照片應用中對圖像做即時搜索的。

不過 Ian Goodfellow 等人已經表明了攻擊者可以修改一張圖像，讓神經網路以為圖像裡面是別的東西。比如對一張大象照片裡面的某些像素做改動以後，就可以讓神經網路把它識別成一輛汽車。

當神經網路用在安防攝像頭中的時候，這就會成為實實在在的麻煩。根據研究員們所說，在臉上畫幾個記號就可以讓攝像頭以為你是別的人。

Ian Goodfellow 也說：「即便用一百萬張人類標註的圖像訓練出一個物體識別系統，我們仍然可以創造出人類和計算機的識別結果100%不同的新圖像。這種現象還需要我們繼續深入了解。」

另一個難以忽視的擔心是 AI 系統可能會學到一些方法，防止人類把它們關掉。在給機器設定了目標回饋以後，隨著它的嘗試和思考，它可能會覺得只有保證自己一直在運行才能夠一直獲得這些回饋。這個常常被提及的威脅可能距離目前的狀況更遠一點，但是研究者們也已經開始著手做預防。

Hadfield-Menell 和其它的 UC伯克利學者最近發表了一篇論文，介紹了一種解決這個問題的數學式方法。他們表明，如果設計機器的時候專門給它設定了一個不確定的回饋函數的話，它就會想辦法保持它的開關是打開的。這就給它選擇接受人類監管還是逃出去帶來了刺激。

安全方面多數的研究還是理論性的。不過從 AI 技術的飛速發展和在許多工業應用中越來越重要的地位看來，研究者們認為相關研究開始得越早越好。

DeepMind 的 AI 安全研究負責人 Shane Legg 給出了他的看法：「AI 發展得這麼快，未來到底怎麼樣還很難說。這些技術可能被濫用、被攻破的方式有很多，負責任的做法就是要嘗試理解這些方法，並且設計各種解決方法。」

viaNew York Times，雷鋒網 AI 科技評論編譯

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！