網路安全領域對人工智慧的濫用
頂級大學如美國斯坦福大學和耶魯大學以及英國牛津大學和劍橋大學的科學家們連同民間組織以及網路安全行業的企業上個月發布了一篇重要論文，題目是《濫用人工智慧：預測、阻止以及緩解》。
雖然這篇論文探索了大量潛在的人工智慧濫用情況（其中包含且集中於機器學習），但這裡基本上排除了軍事領域而主要關注於網路安全領域。然而，鑒於政治監控和法規隱私問題之間的聯繫，不可能完全排除潛在的政治濫用情況。
人工智慧是指使用計算機執行通常僅可由人類完成的分析功能，不過是以機器的速度完成。在Corvil 公司工作的 David Murray 指出，「機器速度」是指「以20毫秒或更快的速度在多個軟體程序中執行數百萬個指令和計算。」人工智慧就是讓不可實現的東西變得真實。
論文中討論的問題是，這個功能並不存在道德偏見。人工智慧可輕易將其用於惡意目的，就像用於良好目的那樣。人工智慧基本上是兩用的，最基本的威脅是，0day 惡意軟體會更加頻繁地出現而且會遭更加精準的打擊，而現有的防禦措施是中性的，原因在於人工智慧系統掌握在惡意人員手中。
機器學習和端點保護措施
如今，機器學習類型的人工智慧最常見於下一代端點保護系統中即最新的反惡意軟體中。之所以稱為「機器學習」類型，是因為系統中的人工智慧演算法從數百萬（以及還在增加的）真實惡意軟體的樣本和行為模式中「學習」。
人工智慧通過比對檢測到的新模式和已知的惡意模式，以在人類分析師在任何有意義的時間範圍內均不可能實現的速度和精度生成潛在惡意的概率級別。但實現它需要具備兩個附加條件：它取決於「學習」演算法的質量以及它所學習的數據集的完整性。
出現濫用的情況可能存在於兩個領域：操縱或甚至是更改演算法；以及投毒機器學習的數據集。
報告警告稱，「多次發現機器學習演算法也存在漏洞問題，其中包括特定的機器學習的漏洞，如通過對抗性示例或投毒訓練數據引發錯誤分類。機器學習演算法仍然易受傳統漏洞的威脅（如內存溢出）。當前，網路安全研究人員對理解機器學習系統的安全性很感興趣，儘管目前的問題的數量似乎要比答案多。」
危險在於，雖然機器學習存在威脅，但網路犯罪分子和國家黑客將開始使用自己的機器學習能力來增強對抗機器學習防禦攻擊的速度和準確性。
在數據集投毒方面，F-Secure 公司的安全顧問 Andy Patel 警告稱，「難以診斷模型遭不正確訓練且顯示出偏見或執行不正確的分類。」問題在於，即使是開發出人工智慧演算法的科學家們也不一定理解它們實際是如何運作的。
他還指出，惡意人員並不會等待自己的機器學習來做這一點。「自動化內容生成可用於投毒數據集。雖然這種情況已經發生，但用於生成內容的技術並不一定使用機器學習。例如，2017年，和網路中立相關的數百萬條評論被提交至美國聯邦通信委員會。」
攻擊者和防禦者之間的基本矛盾將不會隨著機器學習的改變而改變，各方都在想著超越對方，而且各方都會獲得短暫性勝利。McAfee 公司的首席技術官 Steve Grobman 指出，「我們需要認識到，利用新型技術如人工智慧的新型防禦措施在最開始發布也就是在惡意人員構建好旨在規避應對措施和躲避技術之前是最有效的。」
簡言之，網路安全行業意識到了對人工智慧濫用的情況，而且已經開始在考慮最佳對策。「安全企業之間以及它們和這些惡意人員三方都在競爭，比試創新並保持優勢，目前來看安全企業更勝一籌。」Webroot 公司的首席技術官 Hal Lonas 指出，「正如使用抗生素時，生物感染會演變成更具對抗性的耐葯菌株一樣，隨著時間的推移，對人工智慧防禦措施技術使用得越來越多，惡意軟體攻擊也會發生改變。」
Hyrum Anderson 是報告的作者之一，也是 Endgame 公司數據科學的技術總監，他認同業內認為機器學習可遭濫用或規避的觀點，但關於遭利用的方法有不同看法。他指出，「很可能信息安全圈子的數據科學家們很少會思考產品如何可遭濫用。例如，利用一種幻覺模型通過誤報讓安全分析師透不過起來，或者是執行類似攻擊導致系統遭受基於人工智慧的防禦措施發動的拒絕服務攻擊。」
確實，這份報告並未提供某種攻擊方法（儘管會提供其它方法）。「這份報告並沒有解決基於去匿名化攻擊的機器學習的危險含義。」Sophos 公司的首席數據科學家 Joshua Saxe 指出。數據去匿名化是很多法規的關鍵要求。基於人工智慧的去匿名化可能是微不足道和快速的。
Anderson 說明了 Endgame 用於保護自身機器學習演算法的完整性和安全使用的三條準則。第一條準則是了解或適當限制人工智慧與系統或端點的交互。第二條準則是了解並限制數據獲取，例如，獲取所有事件的異常檢測與僅獲取「和安全相關的」事件子集的異常檢測。為了保護數據集的完整性，他建議「雖然信任但也要驗證數據提供商，如用於訓練下一代反病毒的惡意軟體源。」
第三條準則是「建立模型後、部署之前和之後要主動探究盲點。實現這個目標的方法有很多，但至少手動做這件事仍然是個不錯的想法。」
身份
第二個濫用人工智慧的潛在領域是「身份」。人工智慧識別和生成人造圖像的能力正在迅速提高。這種能力有利有弊。面部識別對於檢測犯罪行為和恐怖分子而言通常是有益的，但它也可能越界。
Sophos 公司的 Saxe 表示，「例如，最近斯坦福大學的研究人員發布了一個有爭議的演算法，該演算法能夠根據社交媒體資料照片判斷出某人是不是同性戀且準確性較高。」
研究論文指出，「根據每個人提供的五張照片，該演算法的準確性已分別提升至91%（針對男性）和83%（針對女性）。」而人類的判斷準確率要低得多，準確率分別為61%（男性）和54%（女性）。這種結果非常典型：人工智慧能夠改進人類表現的程度是人工無法設計的。
Saxe 補充道，「批評者認為這種研究可能會導致專制政權對同性戀的壓迫，但這些批評意見並未在研究發布前出現。」
這種在某些情況下對人工智慧的潛在濫用的案例觸及到了該論文的主要主題，即人工智慧天生的雙重本質以及「道德」在人工智慧發展過程中所發揮的作用。以下我們將詳細展開道德方面的論述。
近期語音識別和語言理解的發展體現出對人工智慧識別功能的積極利用。這些發展和進步本可用於更好地開展生物認證，如果人工智慧不具備雙重作用的話。隨著面部識別和語音識別的發展，合成圖像、文本和音頻的生成技術也在快速發展；而報告認為這種發展「可用於模擬網上的其他人，或者通過社交媒體渠以傳播由人工智慧生成的內容方式影響輿論。」
圖為2014年、2017年的合成圖像
對於身份驗證而言，Webroot 公司的 Lonas 認為我們需要調整當前的驗證方式。「由於機器和人類之間的界限變得不那麼明顯，我們將會看到當前在認證系統中看到的改變，例如登錄計算機或系統。當前認證用於區分各種人物以防止某人假冒為他人。未來，我們還需要區分人類和機器，以為後者可憑藉人工智慧以更高的逼真度模擬人類。」
雖然未來人工智慧生成虛假新聞的潛能是另一碼事，但是這個問題有可能會導致俄羅斯干涉2016年美國總統大選活動的行為顯得有些過時。
就在上個月，美國起訴了13名俄羅斯人和3家企業，理由是他們「試圖干涉美國政治制度從而開展聯邦犯罪活動」。據稱他們通過社交網路，以數百名人員輪班倒的方式投入數百萬美元的預算傳播虛假消息進行宣傳。隨著對人工智慧的使用，此類活動對人力的要求更少且成本也更低，從而發生的概率也更大。
簡言之，人工智慧可被用於更頻繁地製造虛假信息且更加現實，或者導致精準魚叉式釣魚活動的規模比當前通過濫用身份發動的大規模釣魚活動更大。這種行為將同時影響企業網路安全（商業郵件遭攻陷、BEC可能會比現在更加有效）和國家安全。
道德問題
網路領域對人工智慧的使用越來越多，將不可避免地將政府引入其中。雖然政府擔心人工智慧會導致關鍵基礎設施遭受更加有效的網路攻擊，但社會也擔心政府將人工智慧用於大規模監控活動中。隨著所學的數據集的規模越來越大，機器學習演算法也變得越來越有效，斯諾登所保留的「擁有所有的」心態對於執法部門和情報機構而言將變得更加不可抗拒。
結果，政府將會捲入關於人工智慧及其所使用演算法所造成的道德辯論中。實際上辯論已開始，英國金融監管機構警告稱將監控人工智慧在金融交易中的使用情況。
政府試圖向人們保證對公民大數據的使用是符合道德的（依靠司法監督、法院判令以及最低限度的入侵等）。它還試圖向人們保證企業會以符合道德的方式使用人工智慧——GDPR 已開始控制自動化用戶畫像行為。
雖然政府通常喜歡「自我調節」（以避免自己看起來太過於強勢），但科學家們並未充分地將研究中的道德問題納入研究範圍。這份報告闡述了這個問題，「對這些問題的適當回應可能受兩個自我強化因素的阻礙：第一，決策者缺乏對技術的深入理解，可能導致出現設計欠佳或信息不充分的監管、立法或其它政府響應行為；第二，技術研究人員不願意參與到這些主題中來，擔心與惡意使用存在關聯會損害該領域的聲譽，從而可能導致資金減少或過早監管的問題。」
技術人員普遍認為政客們根本不懂技術。Acalvio 公司的首席安全架構師 Chris Roberts 就是一個例子。他指出，「如果決策者們參與進來，那麼就讓上帝幫助我們吧。剛看完他們參與的最後一件事，我就害怕他們想出點什麼主意，然後我認為這些東西太晚了、太啰嗦、廢話太多，都是些繁文縟節。他們基本上落後發展曲線5年。」
私營企業也好不到哪裡去。在資本主義社會，企業都有任務在身，都是為股東謀求最大利益。不太考慮安全性的新想法不斷湧入市場，而新演算法也很可能會遭到同樣的處理方式。
Vectra 公司的首席技術官 Oliver Tavakoli 認為安全行業有義務提供幫助。「我們必須採用更為靈活而非固定且不可滲透的防禦性方法論。對於傳統安全廠商而言做到這一點尤為困難，因為他們更加習慣於將人工智慧分層到現有的工作流程，而不是根據人工智慧帶來的可能性重新思考他們所作的一切。」
Lacework 公司的聯合創始人兼首席技術官 Vikram Kapoor 也同意上述說法，他指出，「安全行業有機會展示人工智慧的領導地位，並將重點放在當前因網路攻擊而受到打擊的客戶和組織的真正影響力上。」他認為，人工智慧將在很多領域顯示出比傳統威脅更大的優勢。
他繼續講到，「例如，應當將系統配置是否是安全最佳實踐的日常審計工作自動化，而這就是人工智慧可以發揮作用的地方。在雲中持續檢查是否存在異常情況的工作應當自動化，這也是人工智慧的優勢所在。」
然而，要求研究人員限制自己的研究範圍的想法可能是錯誤的：研究要比對研究的潛在後續使用或濫用的道德考察更為重要。斯坦福性取向演算法的例子正好說明了這一點。
谷歌數學家 Thomas Dullien （推特名： Halvar Flake）說出了研究人員的一個共同觀點。他評論報告稱，「研究的雙重問題無法先驗地建立；作為研究人員，他們通常只能選擇著力於『有用的』和『無用的』東西。」換句話說，你不能或者說至少你不應該通過強加的政策限制研究工作，因為在這個階段，它的價值（或缺乏它的後果）是未知的。
McAfee 公司的 Grobman 認為，專註於人工智慧研究的道德問題是防禦人工智慧的錯誤焦點。他指出，「我們需要強調惡意人員使用人工智慧所帶來的能力，而不是試圖阻止在人工智慧領域取得的進展並阻止它的發展。」
總結
論文《濫用人工智慧：預測、阻止以及緩解》提出了四項「更好地預測、阻止以及緩解」因不受限的人工智慧所帶來的威脅。它們是：決策者和研究人員（即政府和行業）之間開展更多協作；人工智慧研究人員採用道德最佳實踐；採用處理雙重問題的方法論；以及讓更多的股東和領域專家參與到問題討論中來。
儘管報告的細節收到了更多細緻化的評論，但這些建議表明，要解決網路犯罪分子和國家黑客使用人工智慧所帶來的威脅問題並不存在顯著的解決方案。
確實可以說解決方案並不存在。就像無法阻止而只能緩解犯罪分子對加密的使用那樣，對人工智慧遭惡意使用的情況也並不存在解決方案，而只有緩解措施。如果這種觀點站得住腳，那麼針對惡意使用人工智慧的防禦措施將回到在自家產品中使用人工智慧的這些安全供應商中。
然而，很可能在網路世界中因人工智慧的不受限使用而帶來的所有威脅只是危言聳聽。
F-Secure 公司的員工 Patel 認為，「憑藉生成『虛假』內容（文本、聲音和視頻）的能力，開展社工和虛假宣傳將變得更加容易。互聯網上有很多人能夠快速識別出某張照片是否經過 PS，我認為判斷某些東西是否是自動生成還是經機器學習演算法更改的也可能也會變得一樣容易。」
他補充道，「未來，如果無法判斷某些內容是否是由機器學習生成的，那麼研究人員需要查看圍繞該內容的元數據來判斷其有效性（如時間戳、IP地址等）。」
簡言之，Patel 認為人工智慧會從質量和數量上放大當前所面臨的威脅情況。但是人工智慧也會大大發展當前的防禦措施。
他表示，「讓人擔憂的是，基於超級強大的機器學習的模糊器會導致攻擊者輕鬆且迅速地找出無數0day 漏洞。不過，要記住，這些模糊器也會為白帽子所使用。最終的發展情況可能和今天並無二致。」
本文來自：SecurityWeek
▲向上滑動
WISEC碼碼密
關於眾人科技
上海眾人網路安全技術有限公司（簡稱「眾人科技」）成立於2007年，是專業從事網路信息安全技術研發和產品生產的高新技術企業，國家密碼管理局正式批准的商用密碼產品生產定點單位和銷售許可單位，國內動態密碼技術的首創者和標準制定者。主要技術和產品包括擁有完全自主知識產權的動態密碼身份認證系統、基於雲的統一身份認證平台、智慧城市公共區域安全網路系統、可應用於移動互聯網的SOTP 創新安全認證技術等。
作為中國信息安全身份認證領域的領航企業，眾人科技堅持「自主研發、 自主設計、 自主生產」的「國產化」發展戰略，是國產信息安全標準制定的積极參与者和推動者，填補了我國在動態密碼技術領域的多項空白，為個人和企業信息安全以及移動支付產業的健康發展提供了強大的技術支持與保障。
長按右方二維碼
關注我們ˉ?
TAG:WISEC碼碼密 |