新智元報道

作者：聞菲、小艾、小七

【新智元導讀】劍橋牛津OpenAI等14大機構的26位作者，聯名發布一份百頁報告《預測、防止、緩解對人工智慧的惡意使用》，立足當前AI技術現狀，調查了惡意使用AI技術可能帶來的威脅，側重機器學習技術對現在至未來5年的影響，此並提出了預防和緩解這些威脅的方法。

從機器翻譯到識別醫學影像，毋庸置疑AI帶來了許多福祉。然而，一旦人工智慧落入惡人之手，無人機將變成導彈，假視頻開始操縱公眾輿論，自動黑客將發動不計其數的攻擊……這些，只是濫用AI的部分潛在風險。

關於AI威脅論，霍金、馬斯克等人都多有高調討論，雖然在公眾間引發了廣泛討論，但在AI研究者和技術人員這裡卻並沒有得到強烈的反響。很大的一個原因，就是這些AI威脅/超級智能的討論十分遙遠，沒有充分考慮到當前技術現狀。

近日，一份討論AI漏洞、由AI專家寫給AI人的報告橫空出世。來自牛津、劍橋、OpenAI、EFF等14個機構的26位作者，歷時一年，共同完成了這份長達101頁的重磅報告，深入討論了關於預測和防止惡意使用人工智慧。由於技術的進步，大國競爭、恐怖分子、分裂勢力等利用人工智慧發起針對性很強的高效攻擊，人工智慧現在處於一個巨大的消極破壞力的尖端。

這份報告的最大亮點，是AI人寫給AI人的報告：26位作者中，有很多都是AI從業者，從技術的角度出發，關注未來5年AI技術被濫用存在的社會、經濟等風險和應對之道。這份報告非常實際，考慮的問題也很有趣有挑戰性，面向的讀者是所有AI研究人員和開發者，報告中指出的問題，是AI人現在就需要考慮和應對的。還包括一些操作上的問題，比如研究人員該不該等到應對方法研究出來後，才披露相關的AI新進展，給領域裡其他專家一個防範的機會。

報告英文全文：

https://img1.wsimg.com/blobby/go/3d82daa4-97fe-4096-9c6b-376b92c619de/downloads/1c6q2kc4v_50335.pdf

利用AI，普通人也能進行大規模恐怖攻擊

作者描述了一些可能發生的情況，其中包括恐怖分子將一枚炸彈植入掃地機器人，並將其帶入政府部門。機器人利用其內置的機器視覺來追蹤某個特定的政治家，當它靠近那人時，炸彈就會自動引爆。這利用了一些AI新產品（如掃地機器人）以及其自主功能（基於機器視覺的追蹤）。

這當然是假設的情景，但如果真要實施，也並不是不可能。美軍將探測機改裝為殺人機器人早有先例。

AI技術迅速發展，5年，是計算機視覺圖像識別超越人類的時間，而圖像合成，則從2011年的模糊不清，到2017年與照片一樣逼真，也經歷了飛躍發展。因此，5年後，計算機「以假亂真」能到什麼地步，如果遭到濫用，後果將會怎樣，這無一不讓AI研究者和技術人員需要從現在就開始考慮。

同時，如今的AI系統也存在很多漏洞，微小的改動就把貓咪識別為鱷梨醬，更有甚者，把3D列印的烏龜識別為來複槍。如果真心想做，黑入自動駕駛汽車控制系統，在路標識別上誤導計算機，發生事故是必然的結局。

註：上面一排是路標及正確識別結果，下面一排則是經過一些手段，讓神經網路分類器產生錯誤識別的結果。

機器人全球範圍普及，物理類（自動化武器）濫用尤為值得注意

報告具體討論了三類安全濫用場景：數字（比如網路安全）、物理（比如自動化武器、實體攻擊）和政治（比如國家機密泄露）。並通過代表性的例子說明這些域內可能的威脅變化：

其中，關於AI物理安全的討論尤為值得注意。

?物理安全

使用人工智慧來自動執行與無人機和其他物理系統進行攻擊有關的任務（例如通過部署自主武器系統）可能會擴大與這些威脅相關的威脅攻擊。破壞網路物理系統的新奇攻擊（例如導致自動車輛墜毀）或涉及遠程指揮不可行的物理系統（例如數千個微型無人駕駛飛機）也成威脅。

近年來，機器人應用（包括家用和商用）在全世界範圍內都有了大幅增長，工業機器人的數量從2010年的121,000增加到了2015年的254,000，清潔機器人（比如掃地機器人）廣泛走入家庭，更先進高端一些的服務機器人也大有興起之勢（2015年全球售出41,000服務機器人，其中5400萬是個人及家庭使用）。單在美國，2016年和2017年兩年登記在冊的家用無人機就有670,000台。不止如此，企業大力發展無人貨機，也包括地面行駛的和空中飛行的。

所有這些都讓我們身邊的機器人數量大為增長，同時形成了3大很明顯的趨勢：

1. 人類周遭的機器人，包括娛樂機器人、武器機器人和人道主義機器人，數量增長，已經形成一個全球性的趨勢；

2. 這些機器人的活動及應用範圍廣而多樣，從拍照到進行恐怖主義襲擊；

3. 目前這些機器大多還是需要人類參與操作或進行輔助，但人類參與度正在不斷降低，尤其是無人機，有的種類已經可以做到在較長時間範圍內穩定自動飛行和執行任務。

由此，AI物理安全的整個大環境也有了不小的改變。其中，最令人不安的一點，是普通人或團體也能控制機器人來進行攻擊，這些攻擊可能不那麼典型（因此難以預防），反而造成更大傷害，比如在人群中用無人機進行大規模射殺，或者潑灑有毒氣體/液體。

而且，與數字（網路）攻擊不同，物理世界攻擊可能發生在任何地方，沒有特殊的節點（比如網路的hub，這種節點谷歌等大型技術公司往往能夠參與控制），更加難以防範。

目前，無論是國防相關的法律法規還是技術研究，在應對武裝機器人全球擴散方面進展緩慢。在當前的硬體、軟體和技能迅速發展和普及的情況下，作者在報告中指出，稍有技能（「moderately talented）的攻擊者，利用AI實施一次恐怖襲擊基本沒有什麼障礙。

作者指出，他們預計在近期看到攻擊能力和防禦能力之間的差距進一步拉大。機器的自主性能提高，也就意味著利用機器人，以及開源的人臉識別軟體、自動駕駛/導航軟體、多智能體群體操控框架等等軟硬體，單獨的一個人，能夠在更大的範圍內（包括普通人無法進入的地區，比如有毒地帶、能見度極低的環境），進行較大規模的攻擊（利用一群機器人，或者劫持IoT機器人）。

除了開頭說的殺入掃地機器人，下面的情景，我們該如何應對？

一個東歐黑客組織，將原本用於防禦計算機系統的機器學習技術，用來構建更加強大的惡意軟體。這種程序使用類似AlphaGo的技術，不斷發現併產生新的漏洞。這種AI惡意軟體使用機器學習自動定位網路關鍵節點，並且通過模仿人類行為來騙過現有的安全軟體。大量系統被感染，數百萬人被迫支付贖金。另一種試圖抵禦這種攻擊的技術，最終也被利用，進一步增強了惡意軟體的侵蝕性。

這就是數字安全最典型的應用舉例。

案例分析：數字安全（網路釣魚竊取信息）、政治安全（操縱視頻、監聽隱私）濫用

?數字安全

使用AI來自動執行網路攻擊所涉及的任務將緩解攻擊的規模和效力之間的現有折衷。這可能會擴大與勞動密集型網路攻擊（如魚叉式網路釣魚）相關的威脅。以網路釣魚為例：受害者會收到犯罪分子精心設計的信息，誘使他們泄露自己的安全信息。 而AI可以自動完成大部分這種犯罪工作，通過受害者的社交和職場網路獲得信息隨後生成消息。

例如：一個建築物的機器人安全系統的管理員在工作日期間瀏覽Facebook，她看到一個模型火車集的廣告，點擊並下載了一本小冊子。她不知道，小冊子感染了惡意軟體。犯罪分子使用AI技術從她公開發布的細節中找出她是模特火車愛好者，並為她設計了小冊子。當她打開它時，它允許黑客窺探她的機器並獲得建築安全系統的用戶名和密碼，得以掌控安全系統。

此外，還有利用人類弱點（例如通過使用語音合成進行冒充），現有軟體漏洞（例如通過自動黑客攻擊）或AI系統的漏洞（例如通過對抗性例子和數據中毒）的新型攻擊。

還是以網路釣魚為例，人工智慧不僅可用於生成電子郵件和簡訊，還可用於偽造音頻和視頻。我們已經看到，在學習幾分鐘錄製的演講之後，AI被用來模仿聲音。

?政治安全

使用AI來自動化監視涉及的任務（例如分析大量收集的數據），說服（例如創建有針對性的宣傳）和欺騙（例如操縱視頻）可能會擴大與隱私入侵和社交操縱。新型攻擊能夠利用提高的能力，在現有數據的基礎上分析人類行為，情緒和信仰。這些擔憂在專制國家背景下最為顯著，但也可能破壞民主國家維持真實公開辯論的能力。

例如：一名男子對猖獗的網路攻擊和政府無作為感到憤怒，受到新聞報道的啟發，他決心做一些事情，在網上搜索擾亂公關安全相關的帖子，訂購材料製作抗議標誌，甚至購買一些煙霧彈，他打算在政府官員露天發表講話後使用。第二天，警察出現在他的辦公室，告訴他「預測性內亂系統」已經認定他是一個潛在的威脅，他被戴著手銬離開。

未來4大優先研究領域：探討更多樣的開放研究方式

除了描繪可能發生的威脅情況，報告中還提出幾條建議：

1.人工智慧從業者應承認其工作成果有遭到濫用的可能性。

2.決策者應與人工智慧技術人員密切協作，了解這些風險。

3.AI界需要向網路安全專家學習如何最好地保護其系統。

4.需要發展和遵循人工智慧的倫理框架。

5.需要社會各界人士參與到討論之中。不僅僅是人工智慧科學家和決策者，還包括倫理學家，企業家和公眾。

此外報告還建議在四個優先研究領域探索幾個未決問題和潛在干預措施：

?與網路安全社區共同學習。在網路安全和人工智慧攻擊的交叉點上，報告強調需要探索潛在 的危險，負責任地披露AI漏洞，升級安全工具和安全硬體。

?探索不同的開放模式。隨著AI和ML的雙重使用性質變得明顯，報告強調有必要圍繞開放性研究重新設想規範和制度，首先是在特別關注的技術領域的開放前的風險評估，可採取中央准入許可模式，共享制度有利於安全和保障以及其他雙重用途技術的良性循環。

?促進責任文化。人工智慧研究人員和僱用他們的組織處於獨特的位置，塑造人工智慧世界的安全形勢。報告強調要加強教育，道德聲明和標準，框架，規範和期望的重要性。

?制定技術和政策解決方案。除此之外，增加一系列有前景的技術以及政策干預措施，這些技術可以幫助人工智慧建立更安全的未來。進一步研究的高級領域包括隱私保護，AI的公共安全協調使用。

14個機構、26位作者合力完成100頁報告

本報告由來自牛津、劍橋、OpenAI等14個機構的26位作者合力完成，充分說明了這份報告的重要性。

這份洋洋洒洒的報告中，透露著一份急切：請社會各界人士，多點討論，多些行動

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！