多目標跟蹤突破：上交大&中興 MOT Challenge 測評獲第一

20萬，這是新智元如今達到的用戶總數。在飛向智能宇宙的旅程中，感謝每一位和新智元同行的朋友。您的關注和支持是「新智元號」星艦永不枯竭的燃料。

多目標跟蹤是視頻分析及監控領域中的基本問題之一，在視頻目標分析、場景剖析、行為事件理解、交通管理及安全防控等應用中，多目標跟蹤都是必須解決的關鍵課題。與單目標跟蹤僅針對指定的單個目標框進行跟蹤不同，多目標跟蹤致力於對視頻中的所有感興趣目標進行自動提取，並通過時域關聯，得到其運動軌跡信息。因此，多目標跟蹤更適合處理包含大量目標的複雜場景。

圖1：多目標跟蹤致力於對視頻中的所有感興趣目標進行自動提取，並通過時域關聯，得到其運動軌跡信息，因此更適合處理含有大量目標的複雜場景

然而，由於多目標在場景中的運動往往存在大量的相互遮擋與交互，給目標提取及關聯帶來了大量的干擾，因此多目標跟蹤仍然面臨巨大的困難和挑戰。現有的研究大多隻專註於改進多目標跟蹤過程中的某一環節，缺少對多個環節的聯合建模，因此，跟蹤效果仍然有較大的局限性。此外，現有的大多數多目標跟蹤方法複雜性較高，難以實現有效的實時處理。

近日，上海交通大學林巍嶢副教授團隊和中興通訊的合作工作在多目標跟蹤領域取得突破，在保證實時處理的情況下，大幅提升了跟蹤效果，並在 MOT Challenge 測評中取得第一。

MOT Challenge 是國際多目標跟蹤領域最權威的測評平台，由阿德萊德大學、蘇黎世聯邦理工學院以及達姆施塔特工業大學聯合創辦，旨在評測多行人對象在複雜場景下進行同時檢測及跟蹤的演算法性能，迄今為止參加測評的機構多達 60 多支，包括海康威視、商湯科技、NEC 北美研究院、斯坦福大學、馬克斯普朗克研究所、紐約州立大學、蘇黎世聯邦理工學院、悉尼大學、倫敦瑪麗皇后大學等世界知名高校和研究所。

圖2：上海交通大學和中興通訊合作團隊獲得 MOT 16 Challenge 測評第一名。

MOT Challenge 主要包含 MOT 15， MOT 16，MOT 17 三個測評集。其中，MOT 17 主要測評多目標跟蹤模塊的性能，而 MOT 15 和 16 兩個測評集允許對目標檢測、特徵提取及跟蹤等多模塊的綜合效果進行測評，因此更有實戰性和挑戰性。本次，上海交通大學和中興通訊參加的 MOT 16 Challenge 測評，包含 7 段視角、場景、及長度各異的複雜視頻，不少視頻含有高密集目標及顯著遮擋，檢測和跟蹤的難度非常大。

上海交通大學和中興通訊的聯合研究團隊設計出了一種基於超平面匹配的一體化多目標檢測與跟蹤演算法。該方法將多目標跟蹤過程中的目標檢測、特徵提取、關聯跟蹤等模塊有機地融入一個整體的框架進行聯合建模，並通過各模塊間的信息反饋，有效地去除了跟蹤過程中的雜訊和干擾。同時，為了進一步有效建模多目標之間的相互關係，該方法進一步引入超平面來建模各個目標局部軌跡片段間的時空關係，並通過超平面匹配實現高精度的多目標跟蹤。

與現有多目標跟蹤演算法普遍運行速度較慢不同，該演算法採用了卷積信息共用技術對演算法進行加速，僅利用一次卷積操作，就可實現目標檢測、特徵提取、及超平面構建等多個操作，可以實現實時的檢測與跟蹤。聯合團隊在中興通訊人工智慧平台 uSmartAI 上進行了測試驗證，多目標跟蹤的處理速度達到 20 幀/秒以上。此外，該方法在 MOT Challenge 上測評的跟蹤準確度（Multiple Object Tracking Accuracy）達到了 71.3%，排名第一。

本次上海交通大學和中興通訊聯合研究團隊在多目標跟蹤方法上的突破，對於推動多目標分析的理論研究和實際應用，具有重要的意義。相關技術已用於中興通訊的部分產品中，相關論文的技術細節，也將在稍後發表（github.com/pjl1995/MOT）。

點擊閱讀原文可查看職位詳情，期待你的加入~

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！