ML＆AI如何在雲態勢感知產品中落地

0x01、雲態勢感知如何集成

針對網路犯罪來說,速度是制勝法寶,在暗網中發布的惡意軟體平均9分鐘,有企業被發布的惡意程序攻擊,平均只需要四個小時竊取其目標的財務信息,敲詐資金或造成廣泛的破壞。全球範圍內的殺軟大廠統計的數據,檢測到並阻止的所有惡意軟體文件中大約有96%僅在一台計算機上被觀察到一次,表明現代攻擊的多態性和針對性以及威脅格局的碎片化狀態。實時停止新的惡意軟體比以往任何時候都更加重要。

大量研究已經研究了用於分析和檢測惡意軟體的方法。傳統的態勢感知產品中通常依賴於基於簽名的方法,該方法需要本地簽名資料庫來存儲專家從惡意軟體中提取的模式。但是,這種方法有很大的局限性,因為對惡意軟體的特定微小更改可能會改變簽名,因此越來越多的惡意軟體可以通過加密,混淆或打包來輕易地逃避基於簽名的檢測。

無論是態勢感知產品中的EDR,網路層面的高級威脅檢測組件都會用到相關的技術。那麼在公有雲環境中,快速檢測到未知威脅,並且儘可能快的通知用戶做響應,是我們追求的目標,既然傳統的方法無法徹底解決現有問題,我們就把目光落在了機器學習和深度學習上,希望他們給讓態勢感知產品重生。

0x02、產品設計架構

1、相關前置條件

本文主要討論的是網路層面如何通過機器學習&深度學習演算法提升未知威脅檢測計算,那麼對你的態勢感知產品有一定的要求,首先,需要完成基於簽名的網路層面的檢測 我們通常說的IDS,同時需要具備文件還原動態沙箱檢測能力。這些安全能力是做機器學習的基礎。

2、現有大廠調研(核心能力輸出廠商)

IDS結合沙箱這個概念是Fireeye首先提出的,目前其技術也走在前列,但是針對未知威脅檢測能力,它主要是在雲端去做。把所有能力都轉化成威脅情報能力,本地沙箱只是提交可疑流量。Palo Alto 也一樣。傳統的殺毒軟體卡巴斯基、Symantec、趨勢。新興的安全大廠微軟等都是把這種能力集成到了雲端。那麼現有態勢廠商都通過他們來集成威脅情報檢測能力。大致流程圖如下:

其實我們需要改造的就是威脅情報處理中心,應用ML&AI演算法。

0x03、涉及到演算法描述

1、威脅情報查詢

這個大家不要誤會,只的是ML&AI學習後確定下來的樣本分類結果,做一下緩存,如果相同,那不需要在做二次檢測,降低檢測時間。

2、PE靜態分類器

說是PE文件分類器,其實可以擴展到多種文件類型,比如windows平台比較流行的powershell,JavaScript,VBScript,Office Macro和PE文件,linux文件系統中的elf文件。那麼現在主流靜態文件分類器有兩個流派,一個是使用靜態文件的metadata提取然後通過機器學習分類演算法判斷是否為惡意軟體,這種方法比較適合在客戶端運行的機器學習殺軟,例如:endgame、cylance等,第二種方法是通過反編譯asm做成操作碼的方式做分類判斷,這種方法需要一定的算力,所以適合雲端處理。針對於雲服務,我們選擇第二種方法。當然,在這之前,解決靜態文件的加密和加殼的問題。使用的演算法:LSTM分類。這是第一層檢測。然後需要針對各種文件類型做二次機器學習分類檢測。因為不同的文件類型產生的機器學習向量有偏差,對最終的檢測結果有影響。

3、ML&AI動態分類器

先解釋一下,動態的意思是,由於目前靜態加密和加殼方法太厲害,我們打算把惡意軟體樣本打入到沙箱中運行,獲取APICall全部信息,作為ML&AI的學習的基礎數據。因為很多沙箱APICall中無法堅持的已經確定的惡意行為調用。這時候就需要ML&AI的方法去做判斷。

第一層建議使用機器學習分類器使用ML模型檢測。

第二層建議使用多類深度神經網路(DNN)分類器評估。

4、決策中心

態勢感知需要對文件做確切的鑒定,所以要求分類置信度要達到90%才能給出確切的判斷。使用靜態和動態特徵的分類器評估結果進一步提高惡意軟體檢測的置信度。這個置信度也就是我們對惡意軟體危險係數。

0x04、結論

通過上述機器學習和深度學習方法,雲態勢感知產品可能給用戶更確切的檢測結果,縮短檢測時間,讓態勢感知產品真正具備預測未知威脅的安全能力。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！