觸景無限肖洪波：前端智能三大挑戰堪比螺絲里做道場

科技 03-19

3月9日，由智東西主辦的GTIC 2018全球AI晶元創新峰會在上海召開，大會邀請到32名重磅嘉賓到場分享，超過一萬名觀眾報名，會場內座無虛席，會場外甚至還有大量來晚的觀眾直接選擇就地觀看直播。

在這次大會中，觸景無限CEO肖洪波以「前端智能為安防產生新的數據價值」為題做了精彩的演講。對於安防中越來越重要的前端智能，觸景無限有著許多不同的看法，以下是智東西整理的演講乾貨。

一、傳統監控技術無法滿足現有需求

觸景無限創立於2010年，一直專註做智能感知，在2016年，觸景無限開始步入安防領域，致力於為安防攝像頭以及無人機等提供智能感知能力。

隨著技術的提升和市場的發展，如今的安防已經和以前完全不同。首先，大量的安防數據對傳統安防系統提出挑戰。攝像頭的感測器每天都會產生大量的數據，單個高清攝像頭就需要10Mb/s的帶寬，2億攝像頭需要2Pb/s的存儲空間。安防數據體量非常大，大到需要5000個YouTube才能存儲所有攝像頭的視頻數據。

其次，傳統監控技術無法滿足現有需求。在很多場景下，很多時候的監控是存儲後，靠人力來做篩查，或者是攝像頭的數據傳輸到雲端，然後通過雲端來做計算分析。因此，傳統監控技術的實時性不夠好。

想像一個無人機在飛行過程中要做周圍物體識別，通過雙目攝像頭判斷周圍距離做避障，如果我們需要把數據傳到雲端，雲端有可能要排隊，如果附近的無人機同時也在往雲端上傳數據，兩邊的數據得不到及時的處理，這樣就可能會導致「撞機」。

此外，由於安防的發展，用在家庭里的攝像頭也越來越多了，在如家庭的場景中，傳統的伺服器處理需要把這樣的非常隱私的數據聯網傳輸到雲端進行分析計算，所以傳統監控技術也無法保障一些場景下視頻數據的隱私性。

與此同時，和傳統的對視頻編碼進行有損壓縮不同，在前端很容易能獲取原始數據，可以直接在原始數據上進行處理，並且處理結果可以重新回饋到感測器底層，可以利用智能分析的結果對底層SP（ Subspace Pursuit，子空間追蹤）演算法做優化，從而獲取更好的數據質量。

二、多維度感知真實世界

因此，前端智能憑著實時性、隱私性、降低後端壓力和提升後端效率和質量等優勢成為了安防的升級趨勢之一。在會後接受智東西專訪時，肖洪波也提到，未來5年會有越來越多的帶有前端感知能力的電子產品進入市場。如何利用感測器的感知能力挖掘更多有價值的數據，將是一個重要的課題。

除了圖片、視頻外，前端智能還可以通過多個數據維度來感知自身所處的真實世界，比如聲音、測距、地理位置、激光測距、氣壓、高度等。觸景無限希望在前端把感測器的數據融合在一起，提供多維的數據，在數據的基礎之上再做人工智慧的分析。

因為真實世界中，人所觀察到的數據本身就是有關聯的而不是割裂的。人會結合多種信息綜合分析，比如把一些距離信息和圖象信息做融合，或者說把熱感信息和圖象做融合，而當我們有多維度數據再分析的時候，往往可以分析出更有價值的信息。

比如說聲音的信息，前端智能讓攝像頭可以通過耳機陣列判斷聲音傳來的方向和角度，可以把現場發來的呼救、槍聲、玻璃破碎的聲音和攝像頭來進行聯動。這樣的話，當發生突發事件的時候，攝像頭可以通過聲音的信息調節攝像頭拍下合適的圖片、視頻。

在前端獲取數據後，前端需要提供比較微觀的數據可測量用於未來對前端設備的預測。所謂的微觀主要是在時間的維度，在毫秒級維度對數據進行測量。以火車站場景為例，當距離很遠的時候人臉是非常小的，甚至小到無法做人臉識別，這樣的數據沒有價值。而在距離很近的時候，人臉角度可能因為光照的條件而變得不適合抓拍。因此，前端所要做的就是確定在哪一幀、哪一個點做合適的抓拍，這就需要前端攝像頭能根據周圍的場景不斷地做調整。

三、「在螺絲里做道場」：前端智能面臨三大挑戰

前端智能和雲端相比，雖然具有很多優點，但是同時也面臨三大挑戰：模型參數大、實時要求高、運算能力弱。

對此，肖洪波表示，前端智能是「在螺絲里做道場」，前端運算力有限、功耗也很低，所以需要把散熱、功耗做的非常低。在運算力有限的情況下，需要做模型壓縮、優化，這些最後會轉化成數學上的優化問題，從而對整個模型進行優化。所以，前端嵌入式的人工智慧研究是很多底層的優化工作。

而對於這三大挑戰，觸景無限認為除了感知數據以外，還需引入時間維度的數據。通過帶時間維度的視頻數據，可以實現多攝像頭之間的聯動，在前端獲得更多信息，這樣的加入時間維度的多攝像頭場景叫做前端攝像頭的感知陣列。

肖洪波說，通常的模型都是基於卷積神經網路，用圖象處理的方式來處理視頻。實際前端處理過程當中，會碰到大量的視頻數據，而視頻數據本身是帶有時間維度的，只是以前處理的時候被忽略了。

因此通過這樣的多攝像頭的聯動，可以判斷一個人在多攝像頭裡的身份，實現軌跡追蹤。這樣可以對未來進行預測，通過時間維度預測以後，實現在前端處理人工智慧AI模型的優化處理，獲得更好的處理性能。

觸景無限通過邊緣智能感知終端集群（SENS）可以實現多攝像頭的聯動，這是一個智能感知的模組，體積很小，大概和一塊錢人民幣硬幣一樣大，通過這個模組，可以實現擴攝像頭追蹤、識別，從而形成局部的前端感知陣列。

除了多攝像頭聯動外，感知數據的優化也非常重要。比如，在一個非常逆光的場景，人臉的後面有一個非常亮的燈，人臉處於逆光環境，呈現在鏡頭前其實是黑的，而通過演算法處理以後可以把人的臉拍的非常清楚，在非常強逆光的情況下也可以獲得非常清晰的圖象。

在前端，觸景無限實現了演算法模型優化工廠，提供嵌入式DPU、FPGA，幫助安防廠商的產品（例如攝像頭）獲得前端的感知能力。在2017年，觸景無限推出了前端抓拍系統瞬視，基於英特爾Movidius晶元打造，可以在前端實現不跳楨的人臉抓拍，單幀圖像可實現100張人臉抓拍，並且可以針對特定區域進行圖象的優化（比如強逆光）。