杭州城市大腦現交通行業論壇 視覺智能負責人華先勝分享大規模視頻智能分析經驗

在3月24日的「江西智能交通論壇（第四期）」上，杭州城市大腦視覺智能負責人華先勝分享了城市大規模視頻智能分析的研究與實踐。

華先勝提到，目前城市擁有大量的視頻數據，但沒有充分利用，球機也只有單一功能不夠智能。但視頻是非常直觀的信號源，可以被更好地利用。

華先勝認為，城市大腦的第一步是通過AI實現感知，感知到路上的車、騎行的人、人，有了感知就能進行決策和優化。以往路面出現交通事故，大家還要吵一吵才報警處理，但攝像頭其實已經看到了，實際上可以更快速地作出處理。

攝像頭裡的視覺對象都可以被搜索和挖掘，就像商品搜索一樣，這樣就能實現套牌車、肇事車查找，這甚至可以是一個秒級響應的結果。這之後是預測，可以預測一段時間整體的車流狀態，最後實施干預。

華先勝在會上還首次介紹了機器代替交警巡邏的功能，利用城市已有的球機設備，不做別的改動，在雲端完成AI演算法，讓攝像頭自己發現路面的交通事故、進行報警。

不僅做到了不增加設備、不改變鏈路即帶來效能提升，還革新了技術，與交警一起解決了許多交通場景的演算法難題，並且還能在硬體上進一步降低成本。

城市大腦到底有什麼不同？華先勝總結，實際上使用AI和計算能力去挖掘大量城市數據不可替代的價值，完成人不能完成的事，這與許多模擬人的智能不同，未來城市大腦的整個系統將成為城市的基礎設施之一。

精選演講內容如下：

我們再走近一點看城市大腦是什麼？首先城市裡有大量的數據，尤其是視覺的數據，而且視覺的數據是不能被直接使用的。

首先第一步要進行感知或者叫認知，也就是我們要知道街上發生了什麼樣的事情，當然端上也能有一定的感知能力，那麼雲上的感知能力卻更為靈活更為強大更為的容易擴展。尤其是今天AI的技術和計算能力的提升以後，使得我們有很大的想像空間可以對整個的道路進行全面地感覺，一會我會講為什麼叫全面。有了全面的感知以後就可以進行決策，當然感知內層的話過去有很多像端上的設備的話可以感覺到車，可是人的話是很難感知的。我們今天在雲上感覺的時候是可以精細的分析到車、騎行的人、人，甚至他等紅綠燈的時間、拋灑物等等各種事件事故都可以進行感知全面的分析。有了這些以後就可以進行決策和優化了。簡單的決策是說我感知到了，馬上就可以進行採取行動，比如在杭州我們做事件、事故的檢測，幾十種事件事故的檢測，比如說交通的擁堵，很多是有事故引起的，大家還要吵一吵以後才會報警才會處理。但是我們攝像頭其實已經看到了，看到了以後馬上就可以知道什麼原因，馬上就可以進行處理，杭州其實目前還沒有做到自動，專門有一個交警隊，騎警隊馬上就會去處理，將來其實我覺得可能一個電話就可以解決的。對一些嚴重的交通事故的話，如果還沒有人來得及報警的話，我們攝像頭已經看到了全天二十四小時全程的觀測，看到了以後馬上就可以進行請求醫療資源去處理，可能能節省幾分鐘的時間就能救人一命。當然全局的優化，比如說交通燈，剛才有很多專家都談到過交通燈優化，那麼視覺可以給交通的優化帶來更全面更真實的信息，眼見為實的一些信息。

搜索和挖掘，我們可以把城市裡面我們通過攝像頭看到的所有的視覺對象，放到搜索引擎裡面去，就像商品搜索一樣，就像其他的圖像搜索引擎一樣，車、人全都放進去，不僅僅是車牌、車的屬性，甚至通過車特的圖像，車、人的視覺特徵進行搜索，這也是在業界也是非常難的一個問題，這叫車和人ID的問題，沒有車牌沒有人臉的時候大量的其實是看不清人臉的，能不能做到人的識別。比如說我們就可以做套牌車、做肇事車的查找，而且我們這次做的是一個實時的引擎，只有秒級的，也就是說一旦出事以後，我們不但可以知道這個車過去在哪裡出沒，在幾秒鐘之前，十秒鐘之前他在哪裡，十秒鐘的積累，可能我們將來會做的更好，可能只有幾秒鐘的積累，就可以知道他十秒鐘之前在哪裡，這個時間作為交警來講我們諮詢過，其實時長的話已經策劃好了，我們將來可能會做得更好一點。

再下一步可以進行預測，我們可以預測一段時間整體的行為，比如說車流10分鐘以後、20分鐘以後、30分鐘以後的車流是什麼樣子的，我想在座的很多交通專家對這個比較熟悉。比如說我們像今天的GPS其實是給你做路徑規劃的時候是沒有預測的，如果有預測的話，可以給你做一個更好的路徑的規劃。當然了，我們也可以做更長時間的預測，我經常舉的一個例子，比如說南昌明天要下大雨，還有幾個明星要在哪裡舉行活動，這個時候你大概根據歷史的數據和明天的情況，可以估計出來道路明天的幾點到幾點的擁堵情況和事件事故發生的概率，大概可以估出來的。有了這個以後你就可以進行一定的干預，比如說預先設置資源，醫療資源也好，交警資源、人力資源等等之類的，當然我們也可以做得更狠一點。更狠一點的話，我們通過交通的管控，交通的疏導、誘導，可以避免這些不好的事情的發生，比如說把交通事故的概率維持在原來的水平，交通擁堵的時間降低到原來的水平。整個一套下來我們認為這個是一個城市具有了大腦，但是目前還是以交通和安全為主，我想將來的話可能有更多的課題會引入進來，像環保、像土地使用等等之類的。這也是為什麼我們傾向於用一個新的名詞叫城市大腦，而不叫做smart city，因為我們認為這裡面是真正是有智能的。

整個城市的感知的發展也是經歷了很多的階段的，最早的話什麼都沒有，無感無知的狀態，這個時候是要通過走訪的，問問大姨、大媽有沒有看見什麼人什麼車，後來是感而不知、感而略知。從城市大腦開始，我們提出的概念是要叫感而全面知，感而全量知，感而實時知，這是很大的一個變化，這也是我們提出的雲上方案的一個特點。

從全面的角度來講，給大家舉一些例子。比如說我們對每一個攝像頭，它視野里所見到的所有的車、人、交通標誌以及路上可能出現的各種情況，事故也好、爆炸物也好，都要做全面的感知，今天在雲上的計算具有這個能力，具有這個靈活度，演算法也具有這樣一個能力來做這件事情。比如說最基本的就是目標和屬性的識別。這裡我給大家舉一個例子，其實是一個質量非常低的這樣一個視頻，我們不需要去換攝像頭，我們一樣可以做非常精準的目標檢測、跟蹤和識別，所以我們是不需要換設備的，什麼設備都可以。這裡面當然要求速度非常的快，要非常的准，你只有幾十毫秒的時間去處理這些事情，因為還有很多涉及到其他的事情需要去完成。

這裡面我們有一些科研的成果，高效的、全尺度的、多目標的檢測的這樣的一個工作，大家如果有興趣的話可以去讀一讀。我們在一些國際的比賽，檢測是我們的基本功，車輛檢測在KITTI比賽持續一年的時間一直維持在第一位，行人檢測最近幾個月我們也一直是維持在第一位。車輛、行人各種目標檢測是一個基本功，後面還有更難的事情是說事件事故的檢測發生了什麼？這是因為它是一個時空的檢測，其實是很難的一個問題，要做到全面還是非常難的，我們把它變成一個叫做時空異常檢測的問題。也就是說正常的車流是沒有問題的，一旦出現異常，出現事故事件的話，那就是個異常的車流，不管是有的車慢行、有的車超速還是碰撞，還是逆行，這些都可以通過異常來進行檢測，我們也有一個很好的工作，公開表的一個工作叫時空異常檢測，有了這個以後，我們就可以對路上發生的事情進行全面的感知，比如說像人車的相撞，車車的相撞，甚至擁堵情況，還有非機動車跑到高架路上，高架路一般不允許摩托車通行的，我們剛開始運行的時候找到了非常多這種例子。

剛才講的是具體的全面的角度，對整個路面的情況能夠全面的感知，當然交通流是最基本的一個感知，交通參數是最基本的感知。怎麼樣實現除了單個的攝像機的感知以外，要達到城市交通治理的這樣一個目的，還有一個很重要的兩個要求，一個叫全量，一個叫實時。因為時間關係沒有時間去展開，但是有一點，我們是基於阿里雲的實時計算平台或者叫流計算平台來實現的，因為有這樣一個平台，所以我們在上面去架構一個實時的大規模的視頻處理，其實就變得沒有那麼困難。雖然我們也需要做很多的工作，讓Stream Computing雲計算的平台能夠吃得進去大量的數據，扛得住大規模的計算，然後及時的能夠突出分析的結果。

這裡面其實很重要的一個因素，我們最早受到很大的挑戰就是成本的問題，我們在後台的雲上計算到底要多少成本，會不會比端上的計算更為昂貴？其實我們在這方面做了大量的工作，最早的時候和今天的演算法可能差了10倍、20倍的時間。今天舉個例子，如果你做一件事情本來要一台機器做成了，你結果用了兩台機器還不會有什麼事情，如果你做的這件事情要一千台機器，要一萬台即席，結果你用了兩千台、兩萬台，這個就很麻煩了。我們當時做了大量的工作，包括模型精簡的加速，並發計算的流程，和器件的加速，有幾十倍的速度的提升。最近馬上就會上線的APP，APP一個卡我們能處理70度視頻。

到底能實現什麼樣的功能？剛才講了一些單點的技術，其中我們最近會發布的就是機器代替交警巡邏這樣一個功能。這個其實目前幾乎沒有其他的人做，這個實際上是用的球機來做的，因為我們有很多的演算法是在槍機上，槍機相對是比較容易一點的一個case，球機因為它會動，而且有很多球機的分配率也不是很高，變化非常的多。在球機上怎麼樣讓球機變成一個智能的球機，這是我們其中的一個項目解決的一個核心的問題。通過球機來代替巡邏，在交警那裡其實是有個控制台，有很多人在那裡看，其實也沒有多少人，也沒有多少這個場景他是可以真正的去看的。現在我們可以用這個演算法在背後24小時全天候360度的值守，對交通違法、交通事故事件進行全面的感知。

這個小視頻是一個例子，球機也是在動的，這裡面人出來了和這個車在那裡不動了，這些都是我們馬上判斷出來他是一個事件事故，比如說十秒鐘之內我們就知道了。其實要人工去看的話，差不多也要十秒的時間才能判斷出來。還有更多的一些例子，全天候全面的交通事故的感知。我們可以看一下，這個應該是個交通事故，這個是個行人橫過馬路，這裡邊是擁堵，這個是騎摩托車的跑到高架上去，下面這邊是逆行，這邊是個路口打劫，後面兩個是晚上光照也不是很好的情況下，大家可以看到非常小的目標出現的，這實際上應該是兩個非機動車在高架路上行駛，非常小的目標我們都可以找得到。基本上最開始其實交警也不是很相信我們能夠做這件事情，到今天其實我們的最新的版本上線以後，交警認為是完全可以實現交通的管理。

我們在杭州正在運行的這一套城市大腦的系統，其中的事件事故檢測，我們在檢測到以後就會推送到大屏上來，大屏上的結果也會推送到各個局點，局點上就會有專人在看這個，進行適當的處理。這裡有更多的例子，包括事故、包括逆行、非法停車等等之類的。除了即時的發現以外，我們對相對長一點時間的統計也能發現一些問題，比如說像當時的1.0版本的時候，運行了一段時間，發現有些地方反覆在報警，這個基本上有點問題。後來我們找到了六個這樣的點，交警去實地看了一下，確實那裡路的設置等等之類有問題，然後進行了線下的處理，得到了明顯的改善。因為這個改完了以後，你的報警數目就可以看得到有沒有效果。

這一部分的工作其實有很多的產品，因為今天時間關係我就講了這一個。這一個特點，其中很重要的一個特點，就是我們充分利用城市既有的相關設備，包括它的最大的效率，不需要做其他的更改，直接在雲端就可以搞定。這個可以讓裝監控設備做自動的巡航、自動的巡檢，通過機器換人，實現緊密的最優的配置，所以這裡面其實我們不是替換了交警，實際上是讓交警去做更有意義的事情，最重要的事情，因為這個事情交給機器來做就可以了。機器將來能不能替換交通專家，我想了想，那麼多交通專家坐在下面，我還是說不行比較好。開個玩笑。應該是部分工作可以替換了。

基於交通球機的交通數據分析有三個特點，效能的提升，不增加設備，不改變鏈路，通過世界雲計算來進行效率的提升。第二個是技術的革新，這個裡面確實有很多計算演算法的難點的問題，我們也是跟交警一起謀划了很長的時間，杭州交警一起在真實近距離的協同作戰。還有一個是成本的降低，我們將來除了演算法本身性能的提升，也會在硬體上進一步的降低成本。

我稍微再回過來跳得高一點點看的話，城市大腦它有什麼不同地方？第一，我總結一下，實際上是用AI和計算能力去挖掘大量城市數據的不可替代的價值，它其實是做一件人不能完成的事情，最早的時候人工智慧是模擬人的智能，所以今天其實人工智慧雖然很多方面不如人，但是在很多方面也是超過了人的，比如像城市計算，其實這部分其實是超過了人的，是人做不了的。我們希望城市大腦這一套整個的系統會成為將來城市的一個基礎設施。剛才講到深度學習、計算能力等等AI催生了城市大腦，因為城市這個平台的巨大，城市的數據的量巨大，問題的複雜性問題，需求的量的巨大等等這些因素，其實它將來會成為一個平台，能夠催生很多人工智慧技術的發展，這也是為什麼我們城市大腦會成為科技部國家首批人工智慧開放創新平台之一，成為國家隊的項目。實際上我們會把它做成一個開放的平台，除了自己我們搭了個檯子，上面還有一些演員以外，其實有更大的空間會開放給第三方，一起來構建城市的智能計算，城市大腦的平台。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！