流計算在態勢感知中的應用

0x00、概述

2018年可以說是態勢感知產品爆發性增長的一年，站在安全風口上要飛的節奏。從最開始的網路入侵檢測系統， SIEM，SOC，到態勢感知，產品的形態和功能有質的飛越，但是目前還面臨著很多基礎性的問題，例如：原始事件產生原子的告警事件，多個原子的告警事件產生一個攻擊鏈威脅這個過程中，伴隨著網路和終端的海量數據傳輸到大數據後台，帶來和很大的傳輸網路的壓力，傳統的態勢感知產品處理方法有些捉襟見肘（秒級處理）。這時候就要引進流處理的概念，在海量數據還沒傳輸到後端之前要儘可能貼近原始日誌產生源快速處理產生有價值的事件後（毫秒級處理），再把事件傳輸到大數據後台做准實時的關聯分析（秒/分鐘級）。

0x01、實現手段

1、流計算引擎選型

目前使用比較多的是storm，spark streaming，Flink。在2015年以前的安全領域引入最多的storm，當時是因為它的實時處理能力得到了大家的認可，ms級，但是伴隨著大規模應用，storm發現了一個嚴重的問題，如果要保存中間處理狀態需要自己編寫複雜的程序，對容錯性架構本身沒有提供太多的保證，我們曾經在DDoS檢測程序中使用過相關的技術，我們發現數據的一致性等無法保證。同時它沒有一個完整規則引擎運算元有限，機器學習深度學習演算法也不支持。更沒有SQL高級API輸入。2016年的時候，大部分流處理已經轉到spark streaming平台上了。

spark 生態圈做的很好，包括spark streaming 流計算（其實是批計算），SparkSQL（高級API），Spark Mlib機器學習，容錯方面也有相關的保障。進入2017年，低延時處理和流處理中間狀態管理，編排複雜的處理過程的需求越來越多。這些優勢從Flink1.5發布後這些問題都得到了很好的解決。同時實時特徵提取，批流統一計算，也是Flink另外一個優勢。

2、運算元豐富

數據預處理

·序列化

·標準化

·補齊預設值

異常檢測

·stochastic outlier selection algorithm

·attribute value frequency

·Isolation Forest

·KSigma

·BoxPlot

NLP

·TFIDF

聚類

·kmeans

·Power iteration clustering (PIC) 冪迭代聚類

分類

·KNN

·Naive bayes

·Random Forest

·Multi-class Linear SVM

回歸

·linear regression

模型預測

·靜態模型預測

3.安全業務落地

我們可以優化我們的態勢感知高級威脅檢測架構為：

(1)數據預處理部分

資產相關信息補齊

·以前使用Flume查資料庫填寫到kafka打入的數據流，有時我們發現進入到ES中的數據由於這個查詢過程會增加延時。同時配合redis緩存技術。

聚合處理

·通過滑動窗口集合，調用WindowFunction函數處理集合規則。

告警去重處理

·可以使用雙流join方式

告警事件關聯研判

·例如，態勢感知組件掃描器掃描到了一個Web漏洞，那麼需要結合EDR上傳上來的主機Web漏洞、基線檢測結果、Web資產信息等做關聯。才能最終確認。

(2)異常檢測部分

DGA域名檢測

·通過異常檢測演算法檢測到孤群點，提取相關的域名

·Flink模型預測+查看Domain Ranking+窗口統計+歷史狀態統計等，做最終的判斷。

DNS隱藏信道檢測

·通過異常檢測演算法檢測到孤群點，提取相關的域名

·Flink模型預測+查看Domain Ranking+窗口統計+歷史狀態統計等，做最終的判斷。

SSL惡意流量檢測

·NLP+分類演算法等提取特徵

·Flink載入深度學習模型預測+歷史狀態統計等，做最終的判斷。

3、ML&AI演算法預測

網路層惡意文件下載檢測

·NIDS文件還原

·通過沙箱獲取APICall數據，通過運算元提取特徵。

·Flink通過模型預測。

主機層惡意文件檢測

·EDR端點提供的APICall數據，通過運算元提取特徵。

·Flink通過模型預測。

web攻擊檢測

·http/s數據流，通過運算元提取特徵。

·Flink通過模型預測。

0x02、總結

社會在進度，科技在發展，我相信在未來的態勢感知產品升級中，Flink流處理會起到核心的作用，讓你的安全大腦更聰明。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！