使用卷積神經網路為基礎的帶有時空注意機制的單目標跟蹤器在線跟蹤多目標

使用卷積神經網路為基礎的帶有時空注意機制的單目標跟蹤器在線跟蹤多目標

視頻中的目標跟蹤是計算機視覺中的一個重要問題，引起了人們的廣泛關注。它有多種應用，如視頻監控，人機界面和自主駕駛。多目標跟蹤的目標是估計視頻中的多個對象的位置，並保持它們的一致性，以產生各自的軌跡。多目標跟蹤仍然是一個具有挑戰性的問題，特別是在頻繁遮擋、目標相互作用等擁擠場景中。

為了解決多目標跟蹤中難點問題，Qi Chu等提出了一個基於用帶有時空注意力機制的基於卷積神經網路的單目標跟蹤器實現在線的多目標跟蹤。該框架充分利用了單目標跟蹤器的優點，在下一幀中自適應地顯示了模型和搜索目標。簡單地應用單個目標跟蹤器會遇到遮擋問題造成計算效率和漂移結果的問題。他們的框架通過共享特徵和使用ROI池獲取每個目標的單獨特徵來實現計算效率。一些在線學習的特定於目標的美國有線電視新聞網層用於為每個目標調整外觀模型。在這個框架中，他們引入了時空注意機制處理的漂移由目標遮擋和相互作用引起。學習目標的可見性圖，用於推斷空間注意圖。然後應用空間注意圖對特徵進行加權。此外，遮擋狀態可以從能見度圖中估計出來，通過對不同遮擋狀態的訓練樣本在不同幀中的加權損失來控制在線更新過程。它可以被認為是時間注意機制。在實驗方面，工具使用的是matlab語言，用vgg-16的前10層卷積層作為共享CNN層。在作者所提的框架中，每個目標有自己在線學習到的個體的跟蹤器。貢獻點：1：一種有效的基於卷積神經網路的在線多目標跟蹤框架的提出；2：為解決隨意移動問題，提出時空注意機制。這兩大機制能夠促使追蹤能力更加強大。

參考文獻：

Qi Chu, et al. Online Multi-Object Tracking Using CNN-based Single Object Tracker with Spatial-Temporal Attention Mechanism. ICCV 2017.

註：圖位於下頁

圖1：直接採用單目標跟蹤器對其他目標遮擋造成漂移的一個多目標跟蹤實例。

圖2：時空注意機制簡圖。

圖3：（a）卷積神經網路模式的框架；（b）目標特異性卷積神經網路。

圖4：生成的可見性地圖示例。

圖5：從時空注意機制mot15訓練序列中不同演算法的性能。

表1：mot15和mot16測試幾種演算法性能定量結果。

認知與腦沙龍

公眾號ID：jsrzynkxyjs

關注

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！