天哪!我在地圖上看到了偽基站小車移動路線
導語:可視化技術像一個天平、一張兩尺。
本文作者:李勤
最近,A 國 B 區發生了一起綁架案,為了破案,名偵探宅宅苦思冥想,把被綁架者、他的家庭、朋友等各類社交關係做成圖片貼在在白板上,差不多就是這樣吧:
然後,激動人心的 BGM 響起,宅宅拉開窗帘,對著朝陽深吸了一口氣:媽蛋,哪部電視劇又在騙人?這些線索圖我越看越混亂,現在腦子一團漿糊。
你說,騙人的是不是你:
美劇《醜聞》里公關小組瘋狂地貼線索
又或者是你:
綜藝節目《潛行追蹤》尋找「被抓捕人」的線索分析現場
警察可能要罵人:我們真的還蠻電子化的呢。
比如:
這張圖你一定很熟悉,看著很像北京的某高速線路。
事實上,上述閃著熒光的小點拼成的路線是偽基站的移動路線圖。
這裡說的偽基站並不是下面這種散熱雙肩背包:
也許是生意越做越大,背著這種偽基站雙肩背包的小哥已經坐上了小汽車,他的車上就是一個大型移動偽基站,散播著全世界都有他們信號的夢想。
相關部門監測到這種偽基站信號數據後,用一些軟體對數據進行了處理,然後,就自動形成了這條路線圖。
根據這張路線圖,警察蜀黍大致可以知道應該在哪裡部署警力,在哪個高速路口攔下這一輛載著偽基站的車輛成功率最高。
在這種現代化工具的輔助下,2016年,警察蜀黍成功地端掉了窩在北京市昌平區的一些電信詐騙窩點。
利用計算機圖形學和圖像處理技術,將數據轉換成圖形或圖像在屏幕上顯示出來,這種技術就稱為可視化技術。
你看得一臉懵X,它卻可能是科學家的「量尺」
你可以這麼理解,在一片浩渺的數據里,人類掙扎其中,就快被大量數據淹沒,突然,所有數據按照一定的程序和規律自動「勾搭」,最後按照一定模型在你眼前形成了色彩斑斕卻有跡可循的圖像,讓雙眼和大腦從混亂中抽離出來,一切似乎清晰可見。
比如,這是一種最常見的可視化技術應用的場景:熱力圖。在這張熱力圖上,也許你知道這個節假日哪裡人最多,哪裡氣溫更高,從而作出一個出行決策。
你也可能看到一個新浪微博熱搜詞熱力圖,隨時把握潮流動態(最重要的是,像宅宅這種媒體狗知道什麼時候要跟新聞了)。
更多時候,你也許看不懂可視化技術像魔術一樣把數據抽絲剝繭做成的圖像。
你不信?我們來試試:
上述圖片摘選自北大可視化實驗室官網
但對專業人士而言,這些圖片在他們眼裡意味著許多。
在北京大學可視化實驗室教授袁曉如看來,它可能是一張模擬風場的可視化呈現結果,通過中國的數據模擬接下來風的變化,最終看看霧霾要吹到哪裡去。
如果不是霧霾,而是某些可能和利益有關的預測,公說公有理,婆說婆有理怎麼辦?
比如,面臨全球氣候變化這種大事,每個國家都有一批科學家來算,科學家提不同的模型。
即使是一樣的數據,也可能做出不同的菜,各國都會偏向自己一點,最後算出來的結果不一。這時,我們需要可視化方法進行比較,這種比較並非屬於A和B較高低。假如有 8 個不同的風場模擬圖,每個模擬線路有不同顏色,把 8 個模型的輸出結果結合對比,就可以發現 8個模型在全球預測的整體相似性。
對於科學家而言,這是一個重要參考:這種可視化分析結果提供了一把尺子,讓你對比不同方法導致的不同的結果。
再說一個比較接地氣的案例。
如果一個跨國公司的員工被綁架,警察要破案,並不需要抓一堆人回來問口供,用人力來分析數據看上去可行,事實上不可能在很短時間內分析出結果。
如果面對幾千條文本,用互動式可視化進行分析,比如相同的顏色代表同一個單位,在建立相關模型後,可以發現一部分是該單位的員工,這些員工之前和該被綁架的員工有經歷和行為的交集:他們是否都參加了某次聚會,他們是否認識同一個人,他們是否也在另一家公司一同工作過……比人工分析耗時更短,分析數據一目了然。
可視化技術並不是一個新東西,它早在1987年就被提出,運用在計算機科學領域中。袁曉如也在1990年,就開始關注可視化技術領域。
兩年前,雷鋒網參加一個虛擬現實與可視化計算大會時,就曾領略過可視化技術:在奧地利某小城的畫面中,根據此前的洪水入侵城鎮數據、城鎮地理、街道及高度數據與相關模型,可以模擬預測,在哪一條街道設置防洪板,可以將洪水導流到哪一條街道,與此同時,又將對哪一條街道產生影響。
現在,除了之前提到的在地圖等領域的應用,我們還可以看到一些可視化技術的精彩案例:
1.美國兩百年間移民的變化。
GIF/445K
2.2016年溫布爾網球錦標賽的贏家和輸家。
3.暴雨、暴晒等天氣變化
GIF/905K
和網路安全有什麼關係?
隨著數據從「大」走向了「大數據」,依託於數據開花結果的可視化技術未來有更多用武之地。在網路安全領域,已經有落地的成果——可視化技術絕對是各種安全研究人員的好幫手。
1.謬斯女神
360天眼團隊技術負責人張卓告訴雷鋒網,比如,在追蹤各種複雜的 APT 攻擊時,之前需要一個一個分析樣本,手動統計區別,然後找出交集,再一步步追蹤溯源,找到一次 APT 攻擊的最終潛在源頭。分析完了之後,再做出一張表,拿過去和同事討論,沒有直接分析樣本的同事有時可能一臉懵X。
結果,最終呈現出的圖片表格或得出的結論還是靠人力。
360天眼團隊可視化技術專家黃鑫介紹:「追蹤海蓮花時,通過查詢域名DNS解析記錄關聯出相關的IP地址,然後對這些IP地址進行樣本查詢關聯出一段時間內的樣本記錄,這些樣本記錄再結合雲端大數據和威脅情報數據進而分析出整個海蓮花的攻擊過程,鏈路以及涉及的各種資源。」
此時,追擊APT組織的網路研究員再也不是拿著數據列表開始一項「雞同鴨講」的表演,而是真正「先有分析圖」,一步一步讓思路順其自然地流淌,從而啟發他們找到最關鍵的線索。
「因為是用程序和演算法自動生成的圖,同時也支持分析人員進行自定義的探索交互,整個分析思路、數據都保存在當前畫布,便於後續的討論和繼續分析,極大提高了分析人員的分析效率和效果。」黃鑫說。
簡而言之,可視化技術運用在其中成了安全研究員的謬斯女神,大部分時候還把數據整理、關聯等「打雜」的活攬下來。
這對大部分哭著喊著很缺高級安全研究員的安全公司而言,應該十分興奮:人力都用在更高智力層次的分析上。
2.態勢感知:偽基站、勒索病毒似乎「真的看得見」
如同開頭所舉的案例一樣,在打擊偽基站與電信詐騙上,通過搜集的數據,你可以實時監測到某天某一時刻某一地區的偽基站活躍情況、詐騙簡訊內容、發送區域、數量等,對於警察而言,作用不言而喻。
某一時間北京地區的詐騙簡訊發送密集區域
且僅從上述兩位安全研究員基於自身的介紹,重點網站監控、DDoS攻擊監控、蠕蟲木馬監控、網站事件運營、高級威脅雲端監測、Petya 勒索病毒等都能處於「真的看得見」的級別。
所謂真的看得見,是在「大數據」的基礎上,你在可視化界面中看到了一張中國地圖,隨手點開一個省份,一個城市,一條街道,一個單位,都能看到被攻擊單位的具體位置、名稱、被攻擊時間……
在本地化企業資產盤點和威脅感知中,只要該地相關負責人同意,接入數據後,整個區域所在企業的IT資產信息、網路安全狀況、負責人聯繫方式……一應俱全,在緊急安全事件發生時,系統可以自動通知。
按照黃鑫的說法,今年下半年他們想把「應急處理」推廣開,不僅局限在本地化中,當然,這就是另外可以再說的故事了。
雷鋒網(公眾號:雷鋒網)了解到,其實很多威脅感知平台都應用了可視化技術,而決定可視化精度和實時性的依然還是那個老問題——數據、流量。
如果說,上述是決定可視化技術在網路安全領域的這一落地應用效果的關鍵因素之一,袁曉如,這一身處科研界的可視化技術資深科研人還有另外兩個煩惱:第一,可視化技術的工程化、商業化應用——這幾年,他和360天眼團隊在安全可視化上進行了合作摸索,但可視化技術要想在安全領域的商業應用突飛猛進,恐怕還要不斷探索;
第二,可視化人才缺乏,為此,苦惱自己實驗室人才缺乏的北大教授不得不走出實驗室,連辦了四屆中國可視化與可視分析大會 (chinavis) ,目的還是選拔人才,促進整個鏈條的發展。
黃鑫對此感同身受,搞了好幾年,天眼的可視化團隊依然只有幾個人,最關鍵的是,既懂安全、又懂可視化技術的複合型人才實在太少。除了安全,可視化技術與其它學科能通曉的既專又複合的人才也不多。
雷鋒網讓黃鑫列舉他今年看中的人才,他數了數,一聲嘆息。他最看中的那個可視化和安全都十分精通的稀缺人才,目前正在袁曉如的實驗室讀博士,暫時想挖過來是不可能了。
表示我已經看開了(其實求賢若渴)的黃鑫(左)、張卓(右)
註:本文所列舉的天眼可視化技術應用不代表目前可視化技術在網路安全領域的所有應用,僅為案例之一。
雷鋒網原創文章,轉載請至雷鋒網官網申請授權。歡迎熱情討論,轉發分享~
※賈躍亭的最後底牌:寶馬高管和十億融資?
※江湖告急!三大派圍攻傳統零售,無人便利店星火燎原?
※首發!三角獸被 EMNLP 錄取論文精華導讀:基於對抗學習的生成式對話模型淺說
※解讀阿里AIR計劃:14個研究領域29個行業一線問題等你來戰!
TAG:雷鋒網 |
※狗狗踩三輪車上街,由於開車不看路,差點把小車撞了!
※狗狗踩三輪車上街,由於開車不看路,差點把小車撞了
※經典笑話:那天,我看到一輛小車碰到一輛麵包車
※詔安這路段上,一部寶馬小車撞上了
※又一起!半挂車路上急停 差點要了後面小車的命
※每天一大群狗狗拉著小車去菜市幫主人買菜,路人看了想抱走
※卡車上傳來「嗚咽」聲,後被小車攔截,仔細一看車上場景令人惱火
※主人每天用小車拉狗狗出行,路人以為是殘疾,看到上面的字笑了!
※南寧一輛小車遇故障停路中 後車翻滾底朝天
※平定網友返程路上拍下奇葩一幕,小車車尾拉一籠雞!哭笑不得!
※驚險!北海大道上海路口,一輛小車側翻了
※銅川街頭一輛小車沖向人行道 路燈桿瞬間倒下
※紙坊一小車半夜撞護欄逃逸,一頂草帽出賣了他!
※大貨車趴窩在路邊,結果前來救援的這部小車亮了!
※渝北龍石路,一小車直接開進路邊排水溝,就怪天氣熱?
※幽默搞笑:回家路上見一轎車,小車裡有一對男女好像被鎖車裡了!
※小車側翻 路邊多輛車跟著遭殃
※又見車禍!馬旺子一白色小車撞上隔離欄,將欄杆撞飛十幾米!
※主人帶8隻哈士奇拉車去買狗糧,畫面不忍直視,小車:我到底走哪兒
※花少停播?那說走就走的旅行我開小車車自己來