網路空間搜索引擎全方位評測

從前有座山，山上有座廟，廟裡有個老和尚和小和尚……這個簡短無盡的兒童故事是很多人都知曉的，整個故事從開頭就定義了空間的概念，讓我們能夠清楚的知道老和尚和小和尚在山上的廟裡，網路空間同樣如此。

如果說GPS繪製出了世界的地圖，那麼網路空間搜索引擎就是整個互聯網的地圖。

自從互聯網誕生的那一刻，網路空間也由混沌之初快速擴張。

在互聯網中各種網路設備物物相連，因此互聯網基礎上的延伸和擴展，用戶端延伸和擴展到了任何物品與物品之間，進行信息交換和通信，形成萬物互聯的物聯網（IOT，Internet of things）。

通過網路空間搜索引擎，我們可以快速的知道，全世界大約有多少網路攝像頭，有多少伺服器，有多少伺服器採用Apache等。

網路空間搜索引擎的作用就是將互聯網上公開的網路資產收集和整理，以此方便人們進行查閱和利用。

最佳設計獎：Shodan

簡介

全球最早的開放式網路空間應該非shodan莫屬，也是目前最為知名的一個網路空間搜索引擎。

Shodan於2009年誕生，每個月Shodan都會在大約5億個伺服器上日夜不停地搜集信息，shodan主要是針對伺服器、網路攝像頭、交換機、路由器等網路基礎設備做掃描。

特點

Shodan能夠成為全球最為出色的網路空間搜索引擎並非浪得虛名。為了方便開發人員更好的接入shodan的API介面，shodan開發了11個代碼庫，分別為Python，Ruby，PHP，C#，Go，Haskell，Java，Node.js，Perl，PowerShell和Rust。

除了這11大代碼庫以外，shodan還開發了自己的瀏覽器插件。Shodan瀏覽器插件的作用不是很大，主要就是查看當前訪問web伺服器所開放的埠，僅此而已。

Shodan創建賬號是免費的，但是可以免費查詢到的信息少的可憐。如果要進一步查詢更多的信息，你需要購買shodan的會員服務。Shodan的會員費用是49美元，值得慶幸的是一次付費即可享受終身會員服務。

除了個人版本的，shodan還推出了企業版和企業高級版的收費。Shodan上都是英文介紹，我這邊列出一個中文表格，方便各位比較。

Shodan上還有一個功能叫做scanhub。主要是將你Nmap掃描的結果導入到scanhub裡面，形成一個可視化數據。

但是這個功能是收費的，1GB/9美元/每月。個人感覺這個價格還是有些高了，並且功能並不是那麼實用，還不如直接用d3.js開發更實用。

Shodan的images功能感覺非常地高大上，以圖片的形式展示網路上開放的一些設備，除了遠程桌面連接界面外，還有攝像頭界面、工控控制界面等。

最屌炸天的設計還是shodan 3D功能，以一個3D球形展示搜索出來的網路設備。

Shodan還開發出了自己的CLI應用程序，用戶可以通過shell命令來使用shodan。

除此之外，shodan還有一個Honeypot Or Not功能，可以查看該伺服器是否為蜜罐。

小結

總的來說，shodan只是單純的對IPV4的地址做一個掃描，掃描結果還是比較滿意的。除了web伺服器以外，還有交換機、路由器、網路攝像頭、工控設備等掃描。而且對掃描數據的整理得也非常不錯，比如images功能、3D功能等。

除此之外，還開發了Firefox和Chrome的插件，11大代碼庫和CLI程序，也使得後期開發更加簡便高效。但是shodan主要只是針對IPV4進行掃描，卻忽視了針對域名的掃描，如果能夠加上域名掃描就更完美了。

最佳學術獎：Censys

簡介

在全部的網路空間搜索引擎當中，censys絕對是一個另類，因為

censys不包含任何收費項目，並且全部數據都可以免費下載

Censys創建之初的目的主要是用作學術研究，並且將它定義為一個公益項目。該項目由密歇根大學和Rapid7公司共同合作完成。

特點

在介紹censys之前，請允許我先介紹一下Sonar項目。Rapid7創建了一個項目名為Sonar，主要是通過Zmap對全球的DNS伺服器做掃描，比如收集轉發DNS記錄（ANY），反向DNS記錄（PTR），SSL證書掃描（443埠），HTTP 80埠掃描和UDP掃描等。

而Rapid7又會將掃描到的數據匯總到scans.io。說起scans.io和Zmap，那麼我又得說起J. Alex Halderman這個人。

J. Alex Halderman是密歇根大學的電腦科技教授和計算機工程師，他帶領著他的團隊開發了zmap掃描器，censys網路空間搜索引擎和scans.io存儲庫。

整個censys的項目主要是又sonar項目，Internet-Wide Scanning Research項目和The Meta Intelligence項目收集數據，然後匯總到scans.io存儲庫，最後再由censys對數據進行索引，以此方便人們查閱和研究。

市面上大部分的網路空間搜索引擎的數據下載是收費的，但是在censys上可以免費下載全部數據。

Censys除了基本的IPV4查詢以外，還可以針對域名和證書進行查詢。

以下是針對FreeBuf的一個掃描，會把和FreeBuf相關的各種web伺服器列出來。

得到censys認證的用戶還可以使用SQL語句對數據進行搜索。

同時還可以在線生成報告。

小結

總體來說，censys不僅僅只掃描了IPV4地址，還對域名和證書進行掃描。Censys的數據種類肯定是要比一般的網路空間搜索引擎還要多的。

但是針對數據可視化的功能就不如shodan了，並且censys也沒有代碼庫，如果要對censys進行二次開發還是比較費力的。

最佳先鋒獎：Zoomeye

簡介

當初zoomeye上線後，很多人說zoomeye就是中國版本的shodan，實際上zoomeye和shodan還是有一些差別的。

Shodan主要是對設備指紋進行掃描，但是zoomeye除了設備指紋的掃描以外，還增加了對域名和web伺服器的指紋掃描。而zoomeye也是中國首個半開放式的網路空間搜索引擎，其意義非同凡響。

特點

在搜索界面上，zoomeye就展示了和shodan的不同之處。不僅僅可以搜索主機設備，也可以對域名進行搜索。

根據zoomeye官網的介紹，zoomeye現在已經收集了7億多台互聯網設備的信息，1億多個域名的信息。

而且zoomeye的高級搜索功能也非常實用，用戶體驗很不錯。

同時，zoomeye的視角功能能夠讓用戶快速查閱搜索設備在全球的分部情況。

Zoomeye還開放了海盜榜計劃，每個用戶可以根據自己對zoomeye的貢獻值獲得更多的訪問許可權。

如果要加入海盜榜，那麼用戶就需要參與到D計劃當中。

雖然zoomeye針對普通用戶是免費的，但是在商業版也有自己的收費項目，分別為ZoomEye 商業版，ZoomEye 數據服務和ZoomEye API收費版。

小結

Zoomeye的運行模式還是非常不錯。通過商業收費獲取利潤，再通過D計劃源源不斷的獲取新的數據。並且zoomeye的搜索速度還非常快，用戶體驗也十分良好。同時，zoomeye在海內外都有較強的知名度。

但是zoomeye相對於censys來說，域名的收集數量還有所欠缺，並且在針對設備指紋掃描的時候可以參考shodan，列出更多的可視化數據服務。

最佳潛力獎：Fofa

簡介

FOFA是白帽匯推出的一款網路空間資產搜索引擎。它能夠幫助用戶迅速進行網路資產匹配、加快後續工作進程。例如進行漏洞影響範圍分析、應用分布統計、應用流行度排名統計等。

特點

FOFA在其規則指定上也是一個另類。FOFA用戶如果加入

FOFA

FOFA

同時fofa還面向企業和會員推出了PC平台客戶端。企業可以在客戶端上購買自己想要的POC，而會員也在客戶端上查看自己寫的POC。Fofa的客戶端還有一個作用，就是可以三分鐘根據POC掃遍全球的網路，查看哪些設備存在漏洞。

據說fofa在海內外布置了大量的掃描伺服器，對全球的網路資產做掃描。具體是否屬實我也不清楚，但是可以知曉的是fofa能夠針對html正文進行代碼級別的全文檢索 ，並且數據量十分龐大，光是域名的收集就達到兩億多條。以下是針對freebuf的掃描情況。

針對掃描結果，fofa可以用全球視角，中國視角和埠餅狀圖來展示。

小結

雖然fofa開始的時間比較晚，但是在搜索結果，數據量和數據整理方面還是非常不錯的，並且隨著越來越多的會員加入，fofa在POC的積累上也會慢慢起色。fafo目前雖欠缺的不是技術，也不是數據持有量，而是需要一個時間的醞釀和市場的推廣。

擴展思路

總體來說，個人認為中國的網路空間搜索引擎比國外的體驗更加良好，數據量也更全面，但是還是存在一定進步的空間。以下是我提出網路空間搜索引擎的一些建設性意見。

數據獲取

zoomeye採用的是用戶和自己的掃描器兩個方面來收集數據，shodan和fofa主要是依靠自己來進行掃描，而censys主要是通過學院和兩家公司的項目來一起收集數據。

在收集數據的過程中，我們可否能夠進行數據共享以此來查缺補漏？比如你fofa自己收集數據，但是你也可以下載censys的數據來做配對，查看自己缺了哪些數據。

同時，一個標準的網路空間搜索引擎應該有非常龐大的掃描節點，如果你在中國架設掃描節點，那麼你是沒有辦法掃描到一些境外伺服器和網站的，原因你懂的。掃描節點需要根據不同國家的政策來進行架設。

數據種類

一個標準的網路空間搜索引擎，應該包含HTML信息、埠信息、IP信息、域名信息、SSL證書信息、地理位置、伺服器供應商信息等。總體來說，就是需要獲取網路世界中全部開放出來的網路資產。

數據存儲

在獲得龐大的數據量後，存儲是一個大問題。大部分企業主要是採用的NOSQL類型資料庫來做存儲，然後再採用ES來做索引，通過同步腳本來對數據進行同步。最後由WEB UI把ES的數據抽取出來。

如果用戶訪問量特別龐大的化，那麼可以採用hadoop假設多個節點，以此來增加訪問速度。

數據可視化

針對數據可視化操作，shodan做的是最優秀的。國內的網路空間搜索引擎可以參考shodan的做法。

數據利用

zoomeye有seebug漏洞平台做支撐，而fofa則有會員提交的POC做支撐。

獲取到大量數據後，我們需要採用各種各樣的POC和指紋信息來做掃描，因為POC和設備指紋信息的存儲量就成為了這個網路空間搜索引擎利用率的關鍵。

數據誤報

在採集數據的過程中，或多或少都會採集到一些錯誤的數據。比如把apache偽裝成IIS。在採集數據的過程中，最好加入多重驗算機制，以防出現數據誤報的情況。

總結

除了以上的網路空間搜索引擎以外，還有很多我沒有做介紹，比如傻蛋搜索、IVRE開源網路空間搜索引擎框架等。

網路空間搜索引擎就像是一把雙刃劍，用在正處，可以快速和維護眾多網路設備的漏洞；用在壞處，可以快速入侵全球存在漏洞的網路設備。

包括前段時間大量IOT設備被當作肉雞進行DDOS攻擊，那麼攻擊者主要是採用了網路空間搜索引擎來獲得全球大量IOT設備的IP地址。同時還有前端時間大量Mongodb，ES等開放式資料庫遭到駭客入侵，被刪除了全部數據。

這些黑客組織是否又是採用網路空間搜索引擎來獲得入侵目標的全部IP？不由得想起前段時間筆者閑著無聊，在網路空間搜索為驗證的mongodb資料庫。

結果，筆者拿到了泰國數個伺服器供應商的全部客戶登陸憑證，裡面包含全部客戶的用戶名、郵箱、信用卡號、明文密碼等。同時還查閱到了中國某雲考勤系統大量員工數據，包括手機號、年齡等等。

還有某個省的監控伺服器的備份數據，包含該省份大量進出流量的HTTP信息，比如朋友圈視頻地址、後台登陸地址等等。而我所獲得信息只是那網路空間中的冰山一角。

2008年上映的科幻片《鷹眼》（Eagle Eye），片中美國軍方開發的鷹眼系統就是基於人工智慧和物聯網技術，通過遍布各地的網路終端設備監視、引導男主人公的行為，隨意撥打電話、控制紅綠燈乃至地鐵等等所有物聯網設備，用普通人作為棋子，設計了一個精密的殺局，美國大片的結尾從來不出人意料，超級英雄力挽狂瀾拯救世界，但是整個過程對人工智慧和物聯網的呈現，在當前的技術條件下，正逐步成為現實。

如果網路空間用在正處，那麼可以對某個地區的網路空間做安全評估，迅速挖掘到存在漏洞的伺服器，並且對其進行修補。同時還可以開發網路威脅感知系統，實時監控客戶伺服器是否存在漏洞等。

同時，網路空間引擎不斷的暴露這些漏洞，網路運營商不得不去面對這些問題，網路空間搜索引擎在推動網路安全前進的同時，也在讓越來越多的人重視網路安全。

打個廣告：我司最近重點布局雲南地區網路安全業務，急需全國各地優秀的安全產品，如有意向合作請聯繫231858887@qq.com

* 本文作者：耿浩然@水熊科技（企業帳號），轉載請註明來自FreeBuf.COM

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！