看谷歌和OpenAI聯合發布五條AI定律如何打臉霍金

最近，谷歌和OpenAI的博客都宣布了一條由谷歌、OpenAI、伯克利和斯坦福的學者共同進行的研究，其目的旨在為AI提供一個有效的行為約束，以使其不會在有意或無意中做出危害人類的事情。

對AI的擔心和限制的想法甚至從AI的概念還沒有誕生的時候就有了，在那個人們對計算機還懵懵懂懂的時代，人們就對那種強大的、有著金屬身軀和超高智商的存在有了一種本能的恐懼。多年來無數科學家、作家都警告AI可能毀滅人類。包括霍金也曾表示超越人類的AI可能造成人類的滅亡。人們也曾探索過限制AI隨意發展的各種可能性。1950年著名科幻作家阿西莫夫的《我，機器人》出版，在書中阿西莫夫提出了舉世聞名的機器人三定律（當時還沒有AI這個概念，這個概念在1955年才第一次由約翰·麥卡錫提出） ，阿西莫夫的構想是：只要把這三項定律寫入機器人的代碼底層，確保機器人無論如何都無法違反，就能保證人類不被機器人所傷害：

第一定律：機器人不得傷害人類，或坐視人類受到傷害。

第二定律：機器人必須服從人類的命令，除非與第一定律衝突

第三定律：在不違背第一定律和第二定律的情況下，機器人必須保護自己。

乍一看，這三條定律確實能有效防止機器人對人的各種傷害。但是其實這個定律存在兩個問題：

一是描述太過模糊，以至於機器人可能通過對其作出各種解讀來不同程度的達到自己限制或傷害人類的問題。

二是可操作性太差，即使到了現在，我們也沒法製造出一台能真正理解這三條定律含義的AI，對如何將其寫入AI程序的底層更是毫無頭緒。萬一AI在我們找到實現機器人三定律的方法之前就具備了毀滅人類的想法和能力了呢？

谷歌日前發布了一篇論文，為AI划出了五條行為規範，目的是防止AI有意或無意做出傷害人類的事。我們姑且可以稱其為AI五定律。在此我們選取一部分翻譯：

儘管AI可能面臨的安全風險已經引起了公眾的注意，但是目前大多數相關的討論都顯得過於理想化和理論化。我們相信在機器學習領域將相關的研究儘快落地是非常必要的，因此我們開始研究實際可行的可將AI系統用安全可靠的手段建立起來的方法。

我們列出了我們認為在一般情況下對AI而言非常重要的五個問題——都是一些比較前衛的思考和長期的研究方向。在目前來看它們的意義比較小，但是在未來的系統中它們會發揮重要作用。

避免負面影響：我們如何避免AI在試圖達到目標時對環境做出有負面影響的舉動？比如避免掃地機器人為了更快的打掃地面而徑直推翻（而不是繞過去） 一個花瓶。

避免對獎勵條件的非法解讀：我們如何避免AI通過篡改測量值等手段在獎勵函數上玩花樣？比如我們不希望這個掃地機器人只是找個東西把髒東西蓋起來讓自己看不見它，就認為自己已經掃乾淨了地面。

可擴展的監管：我們如何有效保證AI系統對那些在系統中不方便太過頻繁的評估的物體做出適當的反應？比如，如果機器人需要從人那裡獲得訓練結果的反饋，那它就需要有有效的利用這條反饋的能力（而不能像普通的訓練那樣不停的核對訓練結果），因為不停的問一個人問題是很煩人的。

環境探索的安全性：我們如何有效的保證AI系統評估環境的時候不會造成太過負面的影響？比如，一個掃地機器人可能會需要進行建立拖地策略的實驗來作為以後工作的依據。但是很顯然它無論怎麼實驗無論如何也不應該嘗試把濕拖把插進插座中。

分配轉變的魯棒性：我們如何保證AI系統處在與其訓練環境完全不同的環境時認知和行為的穩定性？比如，啟發式演算法讓機器在在工廠中學到的行為可能在一個辦公室中就會顯得不那麼安全。

確實有很多人在擔心著AI對人類的威脅。包括Elon Musk和霍金等。如果要詳細區分一下，這種擔心更多的不是對AI所擁有的力量的擔心，而是對其力量能不能被用在合適的地方的擔心。AlphaGo的投資人Talllinn在一次採訪中表示：我們需要重新定義 AI 研究的目標。不停留於單純的智能開發上，而是開發能充分對接人類價值觀的超級智慧。也是這種擔心的一種表現。不過目前雖然大眾普遍注意到了這種可能性，但相關的嚴肅研究的數量其實比較少。

AI安全聯盟打臉霍金？

OpenAI就是為了預防人工智慧的災難性影響和推動人工智慧為人類發揮積極作用而建立的組織，可以說同谷歌在這方面的努力一拍即合。這次的合作研究，既是為了集合更多精英的智慧，得出更有用的結果。也是為了擴大這項研究的影響力，對AI安全方面的研究起到更大的推進作用。因為多家大公司和組織所組成的聯盟無疑更能引起大家的關注。

請您繼續閱讀更多來自 雷鋒網 的精彩文章:

※谷歌、IBM和Lyft聯合推出開放源代碼項目Istio
※谷歌、IBM和Lyft 聯合推出開放源代碼項目 Istio
※GFRIEND《SHOWTIME》最後一期 與Mamamoo舉行聯合運動會
※PUMA 聯合LIFUL 推出 Switch Pack 聯名鞋款系列
※宜家進軍潮流圈？PLEASURES聯合Chinatown Market打造IKEA FRAKTA蛇皮袋帽款
※IBM Watson聯合SAP Leonardo打造認知採購解決方案
※進階版潮流涼鞋KISEE-VMT2，由monkey time x SUICOKE聯合打造
※《偶像大師 MILLION LIVE!》將在武道館舉辦聯合演唱會
※甩掉Intel，三星聯合IBM研發全球首款5nm晶元
※紮根「垃圾搖滾」文化？！Alive & Well 聯合 PLEASURES 推出全新聯名系列！
※小米將聯合Oculus推VR一體機，打造VR界MIUI
※朱莉葉聯合JZ Big Band教你如何有情調的放P
※《進擊的巨人》推出KONICA MINOLTA天文館聯合企劃
※CMS聯合Fraunhofer IWU開發混合熱塑性3D列印系統
※EXO燦烈首次出擊韓劇OST 聯合punch為《鬼怪》獻唱《Stay With Me》
※設計很值錢：Porsche Design聯合Microsoft 微軟 國內發布 BOOK ONE 變形本
※HYPEBEAST 專訪 Maison Kitsuné 聯合創辦人及設計師 Masaya Kuroki
※TRICORE盈奧&iFitStar星健身戰略聯盟啟動（含首期聯合公開課）
※GEO 聯合 H. Lorenzo 演繹 「GODSPEED」 系列