多位專家解答：AI安防行業到底需要什麼樣的伺服器？

安防，是目前人工智慧企業營收最多的行業之一。

在高清監控攝像頭數量與AI滲透率不斷遞增的情況下，由攝像頭採集的圖像、視頻流數據，需要更強大的計算引擎對其進行傳輸、存儲、訓練和分析。

在現階段的各類安防項目中，依靠智能DVR和NVR顯然無法滿足這些要求；而穩定性和安全性都欠佳的X86伺服器，由於基於PC機體系結構，也很難在安防企業級伺服器市場有驚艷表現。

那麼人工智慧時代下的安防行業，到底需要什麼樣的伺服器？ 針對一系列問題，雷鋒網人工智慧開發者與學術社區「AI研習社」，特地設立《AI安防行業到底需要什麼樣的伺服器？》主題問答，發起討論。

我們也邀請了浪潮商用機器OpenPOWER產品營銷部總監張琪針對用戶們的問題進行解答，浪潮商用機器作為業內少有的可提供安防視頻分析軟硬體伺服器一體機的企業，對AI安防需求有著深刻的理解。與此同時，以「海、大、宇」為代表的傳統安防公司、以「CV四小龍」為代表的AI公司、的眾多專家，也從自己的角度對用戶提出的諸多問題進行回答，雷鋒網AI研習社節選了4大主題的9個問題，予以呈現：

1.現階段大部分安防公司使用的什麼樣的伺服器，既能滿足安防企業現有的需求，同時也能應對好未來的AI算力需求？

李迪：

作為安防公司技術高管，之前X86伺服器一直都是我們採購的首選。

當下的問題是，各科成績都達標的 X86伺服器，在很多業務要嵌入AI時，遇到蠻多棘手的問題。

從安防用戶實際使用角度考量，目前X86伺服器應用在安防行業主要存在三大問題：

一、CPU負責邏輯運算的單元並不多，在多任務處理時效率低下。面對海量視頻信息，傳統X86伺服器單純以CPU為核心的數據中心部署已經不能很好地滿足並行靈活計算、多變環境的計算需求，很難在安防企業級伺服器市場有驚艷的表現。

以前的視頻數據只需存在後台，做少量分析即可，也就是說存儲足夠大就行；今天，很多客戶都希望我們能夠實時處理這些海量視頻信息並反饋結果，而這就意味著系統需要同時做解碼、做視頻結構化、做識別、搜索等等，X86明顯就不夠用了。

換句話說，X86可以類比手機里的功能機，它能夠滿足單一的通信處理需求，而AI融入的安防市場，更需要一台強大的智能手機，配備更強大的性能以適配遊戲、圖片處理等個性需求。

越來越多新應用的出現，傳統的X86計算架構會遇到很多瓶頸，包括數據瓶頸（處理器的計算單元以多快的速度獲取和交換數據）、計算瓶頸（單位空間內能集成多少計算能力）、延遲瓶頸、通信瓶頸。

就像設計時速30碼的道路難承載均速100碼的車輛通行一樣，很短時間內就可造成道路擁堵甚至癱瘓。

今天來看，面對大計算、智能化場景，什麼樣的伺服器+軟體解決方案，能夠最先解決算力問題，又能夠更好降低功耗與成本，這就是好產品。

胡曉：

1.未來城市大腦級的安防網，對檢索、比對、實時三維建模的運算能力要求極高

2.人車結構化數據增多，安全性會越來越重要

3.需要更大效能的傳輸，未來實現圖像特徵編碼能力

4.前端越來越智能，後端存儲需求可能會下降

總體而言，伺服器需適應這四大問題。

1. 伺服器廠商打造的安防AI軟硬體一體機端到端解決方案，相比於AI公司開發的方案，有哪些優勢，有哪些難點需要攻破？

李志鵬：

現在基於人工智慧的生態則有個特點，主要是在於生態的多樣性和不成熟。從數據清理開始，導入演算法，通過框架建模，形成一個人工智慧的應用，傳統客戶沒辦法直接使用人工智慧應用，整合複雜性更高。

所以伺服器公司給客戶提供端到端軟硬體解決方案，在現階段是符合商業規律的，單機銷售模式目前還挺難走通。只能說這種模式比單機更有優勢，但相比AI公司，真不好說。

鍾林：

AI公司的優勢在應用層的演算法性能方面，伺服器公司的優勢在整體成本層。各有優劣，所以具體看場景吧，複雜場景動態人臉找AI公司，其他簡單的場景找伺服器公司。

包翰霽：

其實做一體機方案的伺服器公司比較少，以浪潮商用機器的視頻分析方案為例，他們的方案因為提供的是一整套軟硬體產品，尤其是算力模塊和軟體包、圖像定製化開源框架，所以適用的場景更加寬泛，受限的環境條件要更小，包括光照條件差，監控設備的老舊和攝像頭清晰度不夠的問題，浪潮的方案都能蠻好地適應這些問題。能夠最大程度上利用好客戶現有的設備。

難點在於浪潮在人臉識別的單點場景上和CV四獸比起來性能上還有差距，不過我上次聽浪潮的思路是，尋找合適的AI獨角獸合作，互相補足，一起打造好的方案。

2. 安防行業人臉比對嫌疑人檢測服務等，後端都是有大量的數據在支撐，並且這些數據在快速增長。這些客戶都在用分散式存儲來承載這些數據。所以分散式存儲要求有很好的彈性擴展性和高並發響應能力，這就對集群內的單節點存儲容量，存儲讀寫速度和集群內節點間通信速度都有較高要求。那麼現在AI安防項目需要什麼樣的存儲伺服器呢？分散式存儲解決方案可以解決安防中的哪些痛點？

孫鍾前：

我們部署過分散式存儲方案來管理海量非結構化數據，目前來看，它的確可以很好地應對包括雲、大數據、智能分析等諸多安防實際場景。」

之前行業中較為常見的存儲方案大概包括DAS、NAS、SAN（IP SAN&FC SAN）等，眼下，以上幾種方案在實際應用過程中已經遭遇一些發展瓶頸。

譬如NAS本身的系統瓶頸，存在單點故障以及性能問題，網路協議還會帶來額外的IO開銷，很難滿足安防AI對大規模數據高存取速率的需求。

再譬如SAN一般是將塊設備提供給不同伺服器使用，但伺服器之間要共享數據仍然需要上層軟體來控制。雖然一些基於SAN的共享文件系統，如Veritas、CXFS等軟體利用元數據伺服器控制數據訪問，但元數據伺服器本身也是潛在的瓶頸。

就安防行業來說，相比此前較為常見的傳統存儲方案，基於GPFS的分散式存儲伺服器解決方案在大規模集群應用中優勢明顯，未來應用前景會越來越廣闊。

張琪：

安防行業以前對數據存儲的主要需求就是數據安全，查詢快速，容量大。在安防智能化之後，對存儲伺服器的新增需求就是強大的算力和高吞吐量。

分散式存儲的多節點備份和高並發正好可以解決安防領域的數據安全和查詢速度的需求；分散式存儲的彈性擴展可以讓客戶按照需求靈活擴容，同時以比集中式存儲更經濟的容災備份方案進行基礎設施投資，可以避免客戶一次性投資過大；安防智能化之後，分散式的高IO擴展性正好能夠滿足更強的算力需求。

1.在車站、機場這類人流較多的封閉場景中，通過識別非人臉特徵（穿搭、外形等信息），進行目標對象檢索與跟蹤，往往比人臉來的更有效。一款優秀的非人臉信息結構化系統，需具備哪些條件？ 非人臉結構化系統在哪些場景中比人臉識別更實用？市場上有哪些優質的解決方案？

謝鵬宇：

視頻結構化的應用場景與人臉識別的應用場景是互補的，在開放式空間區域中，很難基於卡口架設人臉識別攝像頭，而且人群相互之間的遮擋嚴重，無法根據人臉識別技術進行識別、定位、追蹤及數據整合。而非人像的視頻結構化系統可以在廣角度下捕捉全屏中的目標，通過整體特徵對目標進行追蹤，在公安、機場、高鐵、交通領域都具有廣闊的應用前景。

張琪：

一款優秀的非人臉信息結構化系統需要對各個廠商的視頻設備和監控系統有優秀的兼容性和深入的理解。同時也需要優秀的對視頻進行結構化處理的能力。

在光照條件差，視頻設備的清晰度不夠，目標距離較遠，成像較小，以及在廣域監控的場景下。非人臉結構化系統都比人臉系統有更好的應用。人臉系統在這些較差的條件下很難獲取到有質量的人臉信息。

市面上目前只有浪潮商用機器在專註於這一場景提供解決方案。

2.交通大腦車輛調度和紅綠燈管控，要解決哪些核心難題？

張琪：

智能交通在車輛調度和紅綠燈管控方面需要解決的高峰實時調控的問題。如何通過實時路況實時調整，解決高峰擁堵的問題。方案通過檢測每天各個時段的車輛通行密度，進而繪製整個城市的車輛通行密度圖。然後制定新的紅綠燈變化規則，調節擁堵路段的通行密度，達到調節擁堵的效果。

謝鵬宇：

系統做車輛調度之前有個比較大的難題，就是對異常事件的檢測。除了識別人、車、物以外，還必須要感知事件，平時車流都是正常通行，這樣的數據是大量的，而異常數據一般是稀少的，所以基於時空異常的檢測，比如車與人相撞、車與車相撞、車與路相撞，人與人相撞等少見問題，其實挺難訓練出一個高識別率的模型的。

3.上述場景中，有哪些優質的定製化深度學習開源框架，可以讓數據訓練和建模更加便捷？

曹國勝：

選擇深度學習開源框架？可參考下面這些考量標準：

1、與現有編程平台、技能整合的難易程度

2、和相關機器學習、數據處理生態整合的緊密程度

3、通過此平台做深度學習之外，還能做什麼？

4、對數據量、硬體的要求和支持

5、深度學習平台的成熟程度

機器學習平台在功能側重上是不一樣的，把他們分成四大類：

1. 第一類是以 Caffe、Pytorch、MXNet、CNTK 為主的深度學習功能性平台。這類平台提供了非常完備的基本模塊，可以讓開發人員快速創建深度神經網路模型並且開始訓練，可以解決現今深度學習中的大多數問題。但是這些模塊很少將底層運算功能直接暴露給用戶。

2. 第二類是以 Keras 為主的深度學習抽象化平台。Keras 本身並不具有底層運算協調的能力，Keras 依託於 TensorFlow 或者 Theano 進行底層運算，而 Keras 自身提供神經網路模塊抽象化和訓練中的流程優化。可以讓用戶享受快速建模的同時，具有很方便的二次開發能力，加入自身喜歡的模塊。

3. 第三類是 TensorFlow。TensorFlow 吸取了已有平台的長處，既能讓用戶觸碰底層數據，又具有現成的神經網路模塊，可以讓用戶非常快速的實現建模。TensorFlow 是非常優秀的跨界平台。

4. 第四類是 Theano，Theano 是深度學習界最早的平台軟體，專註底層基本的運算。

單純就安防圖像而言，Caffe目測是最好的選擇。

張琪：

通常大家都使用Tensorflow，Caffe，Pytorch這些深度學習開源框架，浪潮商用機器針對市場上主流的框架進行優化，使之更適用於安防視頻分析場景，這款框架叫Power AI，浪潮商用機器也特別推出了兩個免費的功能模塊：LMS(Large module support)深度學習大模型支持：用於解決超大模型訓練的問題，比如高清衛星圖片等；DDL（Distributed Deep Learning）分散式深度學習模塊：通過更優化的演算法引擎和預設的場景演算法去提高訓練效率。

4. 為了讓系統適配更多的行業場景，為了給更多第三方開發者提供AI開發平台，AI安防行業需要一個什麼樣的開放平台，並能提升伺服器處理的視頻流路數？

張琪：

AI安防需要能廣泛兼容各種視頻設備和視頻格式的平台。以達到充分利舊，保護投資和最大化場景應用的效果。浪潮商用機器的創新應用優選平台不但可以處理200路視頻影像，更重要的是可以兼容目前客戶購買的各種類型的監控設備。

陳明：

海康最近提出的AI開放平台重點談到了這麼三點：一是它能夠基於很少量數據，快速生成滿足場景化需求的AI演算法；第二是演算法訓練、編譯、優化全部自動實現，對零演算法基礎的客戶提供一站式服務；最後它基於海康威視的硬體基礎，開放了具有強大感知能力的智能產品。

這三個基本條件在任何一個視覺行業都是通用的。

曹國盛：

換個角度講，對於很多大公司來說，開放平台是沒有辦法的辦法，開放就意味著損失，別人從哪個角度都可以隨意切入進來；如果不開放，想走數據運營的話，就意味著沒有更多人參與，自己一家是無法搞定的。雙刃劍。

趙非明：

開放平台還有種模式，以華為為例，他們做安防的思路比較簡單，生態合作、分層解耦，通過上層的影響力，提供一整套的解決方案，自己能夠提供的就自己做，自己做不了就推薦合作夥伴去做。

這種打法能在很短時間內威脅到海康的核心利益。分層解耦的提出，就意味著系統不需要統一，用戶在每一層都可以選擇最好的廠商，然後做開放性的介面開發，誰都可以參與項目競爭。

高度成熟的市場一定是用戶導向的，一定是越來越開放。

未來的行業格局，一定是分層的，各個層面都有專業的公司，各個細分領域會出現巨頭，但不會出現類似海康這樣的安防全產業鏈巨頭。

1.安防場景中需要處理大量圖像，而圖像占極大的內存帶寬，嚴重阻礙了信息傳輸，如何通過新一代的信息傳輸技術降低帶寬延遲，提高數據處理效率？

張琪：

浪潮商用機器的伺服器產品中，OpenPOWER平台支持PCIE4.0以及NVLINK2.0，相對於X86平台擁有數倍的帶寬以及更低的延時。在處理多路並發視頻信息和及時分析上擁有更好的性能表現。

曹國盛：

一般來說，GPU是專為並行計算而設計的專用協處理器，通常其內部都集成了數千個高速運算核心。由於GPU通常都可以直接搭配高帶寬存儲器協同工作，因此比使用一般RAM的CPU運算速度快出一個數量級。

目前雖然一些企業和機構的資料庫已經使用了GPU，但普遍存在一個設計缺陷：其資料庫管理方案都是將資料庫存儲在CPU一側，當接到用戶的數據請求時，將數據搬移到GPU一側進行處理，然後再把處理結果移回至CPU進行存儲。也就是說，GPU並非真正的系統核心。這種機制決定了即使通過GPU加快數據處理速度，但把處理結果搬回CPU的過程仍然浪費了大量時間。

如果沒有像傳統系統那樣將數據全部存儲在CPU一側，而是將GPU作為真正的核心，利用高速緩存機制將盡量多的數據直接存儲在多內核協同工作的GPU一側，這樣做的結果就可避免數據搬移過程中耗費的時間，提升了運算效率。

雖然已有相應的解決方案去加快GPU與CPU之間的信息流通，但仍舊存在延時等問題。

目前比較前沿的加速CPU與GPU信息交方案是IBM與NVIDIA聯合研製的NVlink信息交換通道。樓上浪潮商用機器的張琪大牛也談到過NVlink，我從使用者角度再來談談NVlink。

GPU和CPU間的數據傳輸速度都是一項技術瓶頸，因為GPU的顯存能夠快速而少量的讀寫數據，而CPU使用內存讀寫則大量而慢速，因此，CPU的傳輸帶寬大於GPU。NVlink通過調整相應架構，使得GPU和CPU間的傳輸速度獲得巨大的提升。

其實IBM早在幾年前便注意到了這種趨勢，隨後它們與NVIDIA合作，去加快新數據中心工作負載的處理速度。經過四年的研發，POWER8伺服器聯合了NVIDIA的Tesla P100 GPU和NVlink互聯技術，實現了更高的數據性能分析和深度學習能力提升。早期IBM和NVIDIA技術如此緊密的結合使得數據流動速度比使用PCIE快了5倍。

NVlink除了可實現GPU-CPU節點內部的高速互聯，同時還能在GPU-GPU甚至CPU-CPU之間形成高速互聯。

如果服務計算量大的客戶，一般採用的是GPU集群，這個時候集群中GPU與GPU之間的高速互聯就非常關鍵。當然，資料庫也並非完全在GPU中處理，也有一小部分會放在CPU中，具體會根據客戶的成本以及數據量等問題來靈活安排。

為了讓GPU集群以及CPU-GPU之間通信順暢，近幾年，在技術合作上，以IBM和浪潮商用機器為代表的Power系列的產品會為客戶的GPU資料庫提供GPU-GPU以及GPU-CPU的NVlink通道機器Minsky。在市場方面，Power會向客戶銀行推廣包含GPU資料庫的一體機。

這類客戶分兩種，一種是對方只要打包好的、直接能夠使用的產品，他們只需知道這個引擎如何使用即可，另外一種客戶則要是想要自己買機器、做資料庫、做演算法，自己搭建人工智慧引擎。

過去IBM和現在的浪潮商用機器主要服務於前者，以一體機的形態把相關的人工智慧技術以及GPU資料庫進行整合，從而做成企業級直接使用的、沒有很多指令集、直接連接的產品。

2. 伺服器聯動多路前端智能攝像機，需要不斷提取大量的人車特徵，並傳輸至後台進行結構化分析和對象識別，後方的伺服器如何保證在極短的時間內對高並發的各類演算法和智能分析作出準確回應？

張琪：

主要依靠處理器的多核多線程的高並發性，以及處理器和GPU的高帶寬性。發揮強大的算力和高吞吐能力去運行演算法模型，處理海量數據。雷鋒網雷鋒網

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！