UC伯克利RISE實驗室解讀未來AI系統的9大發展方向
譯者｜馬卓奇
編輯｜Emily
AI 前線導讀：這篇立場論文解讀了伯克利 AI 團隊對於未來 10 年 AI 系統的研究方向的觀點。人工智慧在過去二十年內取得了顯著的進展，帶來了一場「完美風暴」，而它成功的背後離不開：（1）海量的數據，（2）可擴展的計算機和軟體系統，（3）先進技術的可及性。不過，我們仍然需要人工智慧系統能夠在不可預知的環境中做出及時、安全的決策，對複雜的對抗樣本具有強大的魯棒性，並且可以在不損害機密性的情況下處理跨組織和個人不斷增加的數據。隨著硬體發展逐漸走向摩爾定律的末端，目前的技術可以存儲和處理的數據量最終會受到限制，這將加劇對 AI 系統的挑戰。本文針對系統、架構和安全領域，提出了 9 個未來 AI 的開放性研究方向。
更多乾貨內容請關注微信公眾號「AI 前線」，（ID：ai-front）
AI 系統發展趨勢與挑戰
關鍵任務 AI 系統
趨勢：AI 推動了越來越多的關鍵任務在生活中的應用，例如自動駕駛、機械輔助手術、家庭自動化，與人類的福祉和生命息息相關。
挑戰：AI 系統需要通過與動態環境交互持續學習，並且做出及時、魯棒，以及安全的決策。
個性化 AI 系統
趨勢：從虛擬助理、自動駕駛到政治運動，為用戶提供量身定做的決策正日益成為 AI 系統設計的關注焦點。個性化 AI 系統要考慮用戶的行為和喜好。
挑戰：設計能夠提供個性化應用程序和服務的 AI 系統，但不能損害用戶的隱私和安全性。
跨組織 AI 系統
趨勢：越來越多的組織在利用第三方數據來增強他們的人工智慧服務。例如醫院共享數據以防止疫情爆發，金融機構共享數據以提高防欺詐能力。這種應用場景的普及將帶來從數據倉庫（一個公司收集數據，處理數據，並提供服務）到數據生態系統（AI 應用可以使用不同組織擁有的數據進行學習和決策）的過渡。
挑戰：設計出能夠在由不同組織所擁有的數據集上進行訓練的 AI 系統，而不影響組織之間的數據保密性，並且在這個過程中能夠跨越組織之間的潛在競爭障礙。
AI 的需求超過摩爾定律
趨勢：能夠處理和存儲海量數據是 AI 取得成功的一個重要前提，然而技術的發展將越來越難追趕上數據產生的速度。首先，數據正在持續指數增長。其次，數據的激增恰巧發生在我們曾經飛速改善的硬體技術面臨停滯的時候。
挑戰：開發特定領域的架構和軟體系統，以滿足後摩爾法則時代，未來 AI 應用程序的性能需求，包括適用於 AI 工作負載的定製晶元、邊緣雲系統以有效處理邊緣數據，以及簡化和採樣數據的技術。
針對這些挑戰，本文在 3 個主要領域（動態環境中的行為、安全 AI，以及 AI 特定的體系結構）中確定了 9 個未來的研究方向（R1-R9）。
趨勢、挑戰和研究主題之間的關係。
動態環境中的行為
未來的大部分 AI 系統都將在動態環境中運行，這就要求 AI 系統能夠快速安全作出反應，即使對於之前從來沒有遇到的場景。
不斷學習
在動態環境下學習的 AI 系統一般使用強化學習（Reinforcement Learning，RL）框架。儘管最近強化學習與深度神經網路的成功結合開發出了能在多種環境下工作的 AI 系統（例如 AlphaGo 打敗世界象棋冠軍），強化學習並沒有得到大規模的實際應用。作者認為，強化學習演算法的進步與系統設計的創新結合，將推動新的強化學習應用程序的發展。
研究方向：（1）構建能夠充分利用並行性的強化學習系統，同時允許動態任務圖，滿足毫秒級延遲，並在嚴格的要求時間內在異構硬體上運行。（2）構建能夠完全模擬真實環境的系統，因為真實環境會不斷產生難以預料的變化，而且運行速度要超過實時。
魯棒決策
越來越多的 AI 應用程序正在代替人類做出決策，尤其是在關鍵任務中。一個重要的標準是它們需要對輸入和反饋中的不確定和錯誤保持魯棒性。
AI 系統中最重要的兩個魯棒性概念是：（1）在有雜訊和對抗反饋的情況下能夠進行魯棒學習，（2）在不可預見的和對抗輸入的情況下給出魯棒決策。
研究方向：（1）在 AI 系統中建立細粒度的源頭支持，將結果（例如獎勵或狀態）變化與引起這些變化的數據源連接起來，並自動學習出因果的、特定於源的雜訊模型。（2）為開發系統設計 API 和語言支持，使系統能夠維護制定決策的置信區間，特別是標記不可預見的輸入。
可解釋決策
除了進行黑箱預測和決策，AI 系統也需要為他們的決策提供人類能夠理解的解釋。因果推斷領域在未來 AI 系統的應用中是十分重要的，並且該領域與資料庫中的系統診斷和源思想有著自然聯繫。
研究方向：（1）構建能夠支持互動式診斷分析的 AI 系統，能夠重現之前的運行過程，並能夠確定負責特定決策的輸入特徵，一般方法是通過對之前的擾動輸入重新執行決策任務，（2）為因果推理提供系統支持。
安全 AI
AI 系統的安全問題可以分為兩類：第一類是攻擊者破壞決策過程的完整性。第二類是攻擊者學慣用於 AI 系統訓練的機密數據，或學習保密模型。
安全飛地
防止這些攻擊的方法是提供安全飛地（secure enclaves）。安全飛地是指安全的執行環境，它保護飛地內部運行的應用程序，防止受到飛地外運行的惡意代碼的危害。
研究方向：構建利用安全飛地來確保數據機密性、用戶隱私和決策完整性的 AI 系統，可以通過將 AI 系統的代碼分割為在飛地內運行的最小代碼庫，以及在飛地以外運行的代碼。確保飛地內的代碼不會泄露信息，也不會影響決策的完整性。
對抗學習
機器學習演算法的自適應性使學習系統易受到新類型的攻擊，這些攻擊通過惡意改變訓練數據或決策輸入來破壞決策的完整性。主要有兩種類型的攻擊：閃避攻擊（evasion attack）和數據中毒攻擊（data poisoning attack）。
閃避攻擊發生在系統推理階段，攻擊者試圖產生被學習系統錯誤分類的數據。數據中毒攻擊發生在訓練階段，攻擊者將中毒數據（例如錯誤標籤的數據）注入到訓練數據集中，導致學習系統學習出錯誤模式。
研究方向：構建在訓練和預測階段對對抗性輸入魯棒的 AI 系統，可以通過設計新的機器學習模型和網路結構，利用源追蹤虛假數據源，並在消除虛假數據源後重新進行決策。
機密數據的共享學習
如今，公司與企業通常各自收集數據、分析數據，並使用這些數據來實現新的特性和產品。然而，並不是所有的組織都擁有與大型 AI 公司相同數量的數據。我們期望越來越多的組織能夠收集有價值的數據，有更多的第三方數據服務可用，並從多個組織的數據中共享學習。
共享學習的主要挑戰是如何在跨組織數據上學習模型，同時保證訓練過程中不會泄露相關信息。主要有三種方法：（1）將所有數據彙集到硬碟飛地，然後學習模型，（2）使用安全多方計算技術（secure multi-party computation），（3）使用差分隱私（differential privacy）技術。
研究方向：構建 AI 系統：（1）能夠跨數據源學習，同時在訓練或測試過程中不泄露數據源的信息，（2）激勵潛在的競爭組織共享他們的數據或模型。
AI 特定的架構
AI 系統的需求會驅動系統和硬體架構的創新。這些新架構的目標不只是提升性能，而且要通過提供豐富的、易組合的模塊庫簡化下一代 AI 應用的開發。
域特定的硬體
在數據持續指數性增長時，40 年來一直推動著計算機產業發展的「性能 - 成本 - 能源」技術進步已經接近終點，唯一能夠繼續改進處理器的方法就是開發域特定的處理器。
研究方向：（1）設計域特定硬體架構來提升性能，並大幅度降低 AI 應用的能量消耗，並增強這些應用的安全性，（2）設計能夠利用域特定架構、資源分解架構，以及未來的非易失性存儲技術的 AI 軟體系統。
可組合的 AI 系統
模塊化和組合是提高人工智慧開發速度和應用的關鍵，它使 AI 更容易在複雜系統中集成。
研究方向：設計能夠以模塊化、靈活的方式組合模型和動作的 AI 系統和 API，並利用這些 API 開發豐富的模型庫和可選項，以極大地簡化 AI 應用的開發。
雲邊緣系統
目前大量 AI 應用服務，例如語音識別和語言翻譯，均部署在雲上。我們期望未來 AI 系統的跨度可以連接雲和邊緣設備。首先，部署在雲的 AI 系統可以將部分功能移至邊緣設備以提高安全性、隱私性、低延遲和安全性。其次，部署在邊緣的 AI 系統可以分享數據，並利用雲的計算資源來更新模型。
研究方向：設計雲邊緣 AI 系統，（1）利用邊緣降低延遲，提升安全性，實現智能數據保持技術，（2）利用雲在跨邊緣設備上分享數據和模型，訓練複雜的計算密集型模型，並且採取高質量的決策。
延伸思考
評論來自紐約州立大學布法洛分校 Murat Demirbas 教授：
1) 2009 年，伯克利發表了一篇類似的關於雲計算的立場論文（Above the Clouds: A Berkeley View of Cloud Computing）。這篇論文對雲計算思想進行了很好的總結、整理。但是 8 年過去了，那篇文章中的研究計划進行的並不是很理想。計劃是無用的，但計劃是必不可少的。學界所感興趣的區域一直在隨時間變化，研究方向也在相應變化。在 CS 領域，幾乎不可能完全計劃和管理探索性研究（或許在生物學和科學領域是可能的）。
論文中提出的第 4，5，6 項研究方向進展良好，剩下的進展平淡，項目 2 和 9 進展甚微。下面幾個研究方向雖然在這份研究計劃中沒有提及，但它們實實在在重塑了雲計算領域的發展進程。
即使伯克利提出的 AI 系統研究計劃很有道理，我們還是應該關注未來幾年內這些計劃的進展，以及 AI 系統領域會帶來怎樣令人意想不到的研究機遇。
2）斯坦福在今年早些時間也發表了一篇類似的立場論文，不過他們的論文是關於機器學習中可復用架構的問題和見解。斯坦福的 DAWN 項目旨在建立端到端的機器學習工作流，加入領域專家的力量，並進行端到端的優化。下圖總結了他們對於可復用機器學習架構的想法：
當然，這也無可避免地反映了斯坦福團隊的優勢和弊端：他們更擅長於資料庫、數據科學、以及生產方面的研究。看起來與伯克利論文中的「AI 特定架構」部分有一些共同點，但是雙方針對相同的問題提出了不同的方法。
3) 對於文中提出的 R2 魯棒決策這一研究方向，似乎是想說形式化方法——建模、基於不變的推理，是有用的，尤其是當並發控制成為分散式機器學習部署中的一個問題時。
論文原文：
https://arxiv.org/pdf/1712.05855.pdf
參考資料：
http://muratbuffalo.blogspot.com/2018/01/paper-summary-berkeley-view-of-systems.html
TAG:實驗 |