詳解谷歌AI五大安全機制論文，AI的開發到底有多少坑？

關心AI圈的人一定都知道，谷歌是一家在AI領域投入和應用非常廣泛和龐大的科技公司，對於AI的研究也一直處於世界水平的前列。作為領域的領軍公司之一，谷歌自然要扛起前瞻性研發的公司，所以在很多人還對深度學習一頭霧水的時候，谷歌已經開始研究如何避免AI傷害到人類了。

但是這確實證明了AI確實已經強大到了足以威脅到我們的地步了嗎？Elon Musk、霍金等AI警惕論者是不是應該為自己的遠見歡呼雀躍？事實上恰恰相反。在仔細分析了谷歌的安全機制論文後，我們恰恰認為這篇論文反而體現了目前的AI仍然處在遠遠無法對人類這個整體產生威脅的程度。

如同Mobileye的Amnon Shashua說的那樣，深度學習目前只能用來解決人類已知並且能非常精確的描述出來的問題。與深度學習師出同門的增強學習（Reinforcement learning，RL）自然也是一樣。在目前典型的RL學習範例中，如果要讓一個機器人很好的完成一項任務，人類必須把這項任務的所有細節量化成機器可以理解的形式，然後輸入RL的模型，再讓機器經過無數次的模擬和實驗，才可能得出一套行之有效的方案。

這種形式導致的一項後果就是：增強學習的「代理」（也就是機器人）的概念中，除了完成任務獲取最大化的獎勵之外不會有任何概念。在某些時候，心無旁騖是件好事，但是這卻導致了代理在完成任務的過程中會出現很多意想不到的問題，而這才是目前谷歌主要想要應對的問題，而不是起邪念的機器人想要毀滅世界，或者幹嘛的。就連谷歌自己都在論文中說：

目前，很多此類討論圍繞極端情景，例如在超智能代理（也就是超級人工智慧啦）中出現錯誤目標函數的風險。然而，我們認為有成效地討論意外問題不需要渲染這些極端情景，實際上這只會帶來沒必要的推測性討論，正如一些批評者所說的那樣，缺少精確度。我們相信，最有成效的做法是從現代機器學習技術的實際問題（雖然經常比較籠統）來描述意外風險。

言下之意就是，現在的機器人如此之蠢，為什麼大家都想去分析一個正在學習爬行的嬰兒會不會飛的比飛機還快？

注意這個類比的特點：嬰兒再怎麼長大，再怎麼學習，也是不可能單獨飛起來的，更何況要飛的比飛機還快，同樣，目前的增強學習模型，如果不在某種程度上發生飛躍性、本質上的進步，很難相信它隨著不斷的學習就能成為能超越一切的智能。

讓我們回到論文本身的分析來，谷歌相信現在的機器人只有極其有限的智能，不代表他們就認為這樣的智能不會對人類造成損害。事實上，沒有智能的東西對人類造成的損害大了去了。其實人類在執行某項任務的時候，除了任務目標和手中掌握有的工具之外，人類在進行思考的時候還會考慮兩項很重要的因素：常識和道德。它在不知不覺中影響著我們的一言一行。但由於在通常RL模型的指引下，機器人對周遭除了模型中有所描述的環境的概念一無所知，這時候它是沒有常識和道德可言的。因此很容易做出一些看起來匪夷所思，但於機器人的角度來說卻是合情合理的行為。谷歌在論文中以一個清潔機器人為例，主要提出了五種可能的、AI在執行RL學習時可能出現的錯誤趨勢：

負面影響：AI在試圖達到目標時可能對環境做出有負面影響的舉動。比如它可能會為了更快的打掃地面而徑直推翻（而不是繞過去）一個花瓶。

非法解讀：AI可能通過篡改測量值等手段在獎勵函數上玩花樣。比如掃地機器人可能只是找個東西把髒東西蓋起來讓自己看不見它，就認為自己已經掃乾淨了地面。

監管可擴展性有限：AI系統可能無法對那些在系統中不方便太過頻繁的評估的物體做出適當的反應。比如，如果機器人需要從人那裡獲得訓練結果的反饋，那它就需要有有效的利用這條反饋的能力（而不能像普通的訓練那樣不停的核對訓練結果），因為不停的問一個人問題是很煩人的。但目前這點很難做到。

環境探索安全性：AI系統評估環境的時候可能會造成太過負面的影響。比如，一個掃地機器人可能會需要進行建立拖地策略的實驗來作為以後工作的依據。但是很顯然它無論怎麼實驗無論如何也不應該嘗試把濕拖把插進插座中。

分配轉變的魯棒性不足：AI系統處在與其訓練環境完全不同的環境時認知和行為可能不穩定。比如，啟發式演算法讓機器在在工廠中學到的行為可能在一個辦公室中就會顯得不那麼安全。

仔細看完這些條件會讓人感慨現在AI的愚蠢卻又詫異它那詭異的「智慧」。或許構建一個AI系統是世界上對邏輯性要求最嚴密的職業了，因為正是邏輯造就了AI，在它們的世界裡現在還不存在感情之類的約束。如果你要求AI去完成一件事，那AI毫無疑問的會在它的邏輯框架下想盡一切辦法去完成，哪怕因此必須要完成一些在人類看來是「作弊」或者「得不償失」的動作。

因此整篇論文的關鍵點就圍繞在獎勵條件的建立和維護上進行。正如之前所說，論文中並沒有涉及過多的具體方法和公式，而傾向於提供思路，一部分原因應該是RL的研究實際上還不足以支撐在這些措施的太過具體的實現，不過在某種程度上應該也是因為谷歌不希望太具體的方法限制了演算法開發者們的發揮。

對應這五點可能的錯誤，谷歌在論文中零零總總列出了大概十條防範措施的思路，不過總結起來，大致就是從三個RL設計的三個最基本的方面來考慮的：

對於獎勵條件本身的優化：

人類的行動都是基於常識和道德來考慮的，因此，為機器也加上一個類似的價值觀系統是一個比較合理的考慮方向，谷歌在論文里提出：指派RL演算法完成任務的時候，人們最傾向的希望其實是該機器人不要給環境造成任何影響——不要破壞環境中已有的物品，不要打翻花瓶，不要……。但是如果只是簡單粗暴的給所有對環境的改變都加上負獎勵，那很可能會導致代理最終決定不再做任何事，因為一旦代理開始行動，或多或少都會給環境帶來改變。

谷歌對此提出了幾種思路，包括推測一個代理用正確的方式完成任務後環境的狀態，然後用這個狀態作為獎勵、對代理進入完成任務時不希望其進入的區域的行為作出懲罰，以及讓代理能夠理解它的行為對其他代理個體（包括人）帶來的影響，但谷歌在論文里也指出，目前並沒有足夠強大的能支持這種理解的模型出現。

防止對獎勵條件的濫用和曲解：

對於這個方面，谷歌提出的方法大概能分為這麼幾類：

謹慎行動：這是最笨的辦法，只要人們設計系統的時候夠小心，可能就能避開所有能被演算法利用來獲取獎勵的bug。或者從另一方面來說，人們可以故意留出一些可以被演算法利用的漏洞來作為預警，並時刻監視這些漏洞，當這些漏洞被攻破，就意味著演算法需要調整了。

對抗性致盲：谷歌認為，可以通過隱藏獎勵的部分細節、甚至完全將獎勵機制黑箱化，讓演算法主體無法通過尋找規則本身的漏洞來攻破規則。黑箱原理類似於現在很多手機採用的指紋識別系統。有專用的晶元負責指紋識別，手機本身的系統是沒有許可權讀取其晶元中的數據的，它能做的只有向晶元中發送指紋識別的請求，由晶元獨立完成識別後再將結果返回給系統。這樣無疑可以極大減小獎勵的規則被演算法利用的可能性。

對抗獎勵：甚至，谷歌還認為，人們可以為此設計另外一個代理，讓兩個代理互相監督對方有沒有做出違背人類希望的選擇。所謂以毒攻毒。

對模型本身的限制：

使用各種方法加強包括人類對演算法的監視，確保當模型做出不良選擇時，能及時的得到負面的反饋。為了不讓模型訓練後變得過於消極，如果人們確定代理在一個區域內活動的時候無論如何也不會給人類造成損害，可以將這個區域劃為一個安全區域，在這個區域內，代理可以自由的進行各種探索。

其實從這篇論文中就能看出：目前AI的研究方式無非就是抽象、邏輯化環境和任務目標，將這些東西教給代理，然後給它無數次機會和數據進行訓練，讓它在無數次嘗試中得到最好的目標實現方法。而這些數據就是一堆堆的函數和概率。

雖然谷歌已經開始著手為其定製預防措施，但不出意外的話，這些東西都不會是最後真正AI的形態。其實人們最初設想的AI，其外在的表現會和人一樣：它們剛誕生的時候可能也什麼都不懂，但是它有一種像人類一樣的，能夠通用於世間萬物的學習能力。很快就能學會它需要的所有東西，（最後超越人類）。

目前，研究一種通用的學習演算法正是AI科研領域內很多學者研究的重點。在最近的一次採訪中，深度學習大牛，ImageNet的創辦者李飛飛最近在a16z的podcast中也表示：「我的下一個夢想就是希望能教會機器人應該怎麼去學習，而不是模仿訓練數據。」

如果AI真的具有了一種通用的學習能力，那我們該傳達給它們的就不應該是更多的規則，而是一種新型的，對人類和機器都會有利的價值觀了，那可能又會是一種全新的方法和思路。這也是DeepMind的早期投資人Jaan Tallinn曾預言過的下一個極有潛力的AI相關領域：AI的價值觀對接研究（value-alignment research）

請您繼續閱讀更多來自 雷鋒網 的精彩文章:

TAG:雷鋒網 |

※從新一代TPU到谷歌AI，詳解谷歌I/O首日人工智慧五大亮點
※從新一代TPU到谷歌AI，詳解谷歌IO首日人工智慧五大亮點
※谷歌在I/O開發者大會上全面展示AI技術
※致力讓AI造福於人類，谷歌PAIR項目到底有多靠譜？
※谷歌IO大會看點匯總：VR一體機和無處不在的AI
※谷歌IO開發者大會：谷歌APP是要和蘋果IOS互相兼容嗎？
※谷歌NASA微軟都來了！加拿大最大的VR展開幕
※回懟ARkit，谷歌發布ARCore開發者工具，開啟安卓AR大門
※谷歌可能在I/O大會發布新的VR一體機，集成由內而外追蹤
※谷歌的人工智慧TPU發展迅速，影響力到底有多大？
※誓讓要 AI 造福於人，谷歌 「PAIR」項目究竟有多靠譜？
※英特爾AI數據中心CPU反刺AMD！谷歌步百度後設AI基金；京東阿里再撕「二選一」
※IBM和谷歌兩大巨頭聯手！這個開源容器安全工具厲害了！
※手機需要AI晶元嗎？華為的AI晶元和NVIDIA、谷歌有什麼不同？
※實力硬碰硬？谷歌I/O開發者大會VS蘋果WWDC前瞻
※谷歌I/O開發者大會前瞻：除了安卓8.0還有啥？
※大數據早報：阿里AliOS系統大爆發 谷歌IBM攜手推出Grafeas開源API
※5大遺憾讓谷歌I/O大會遭吐槽：這是我看過最差的一屆
※給谷歌代工發布小米A1 條件是拋棄MIUI