AI＋視頻監控演算法創新：如何用未標註樣本，解決單標註樣本下的行人重識別問題？

AI掘金志出品

雷鋒網旗下只報道「AI+傳統」的內容頻道

雷鋒網 AI 掘金志按：本文作者為悉尼科技大學博士生武宇（Yu Wu），他根據 CVPR 2018 錄用論文 Exploit the Unknown Gradually: One-Shot Video-Based Person Re-Identification by Stepwise Learning 為 AI 科技評論撰寫了獨家解讀稿件。

在這篇論文中，我們提出了通過逐漸利用未標註樣本，來解決單標註樣本（one-shot）情況下的視頻行人重識別問題（video-based person re-ID）。這個方法很簡單通用，在兩個大型的視頻行人重識別數據集上都達到了遠超 state-of-the art 的性能。

1. 為什麼需要單標註樣本問題？

目前大多行人重識別方法都依賴於完全的數據標註，即需要對每個訓練集里的人在不同攝像頭下的數據進行標註。然而對於實際的監控場景，如一個城市的監控視頻來說，從多個攝像頭裡手工標註每段視頻的行人標籤的代價很大。因此我們嘗試去只用單標註樣本，讓網路自己去學會利用那些未標註的樣本。也就是說對於每個行人，我們只需要標註其中一段視頻，其餘的視頻通過演算法自己去探索。

對於這個任務，典型的做法是為未標註數據估計一個標籤，然後用初始的標註數據和部分選定的帶有假定標籤 (pseudo-label) 的數據用來訓練模型。

然而因為只用初始標註數據訓練出來的模型性能太弱，可信的 pseudo-labeled 數據是很少的，這樣選擇數據註定會引入很多錯誤的訓練樣本。所以我們提出了 EUG（Exploit the Unknown Gradually）方法，迭代地去預測標籤和更新模型，這樣一步步地利用未標註數據。

另外，我們發現直接用分類器預測出來的標籤是不可靠的，我們提出通過特徵空間裡面的最近鄰 (Nearest neighbor) 分類方式，去給每個未標註數據分配 pseudo label。

2. 如何去利用未標註樣本

如圖，我們一開始用有標註的數據來初始化訓練 CNN 模型，之後在每一次循環中我們（1）挑選可信的 pseudo-labeled 數據 2. 用標註數據和 pseudo-labeled 數據一起來更新 CNN 模型。我們通過逐步增大每次加入訓練的 pseudo-labeled 數據量，從而逐漸去利用更難識別的，包含更多信息多樣性的視頻片段。

這裡有兩個值得注意的點：

（1）如何決定每次選取多少 pseudo-labeled 數據做訓練

我們用一種動態測量，逐漸增加選取的樣本。在開始的循環中，只有一小部分 pseudo-labeled 數據被選中，之後會有越來越多樣本被加進來。我們發現增加樣本容量的速度越慢，即每一步迭代比上一步增加的 pseudo-labeled 樣本越少（對應需要的迭代次數更多），模型的性能越高。pseudo-labeled 樣本量的增長速度對模型最終性能的影響十分顯著。

（2）如何去給一個未標註數據分配 pseudo label 並量化其可信程度？

跟之前大部分 re-ID 的方法一樣，我們的訓練時採用的也是一個行人分類網路，因此對於未標註樣本，網路分類的預測值（Classification score）是可以用來預測標籤並判斷標籤置信度的。但是這樣的分類層在樣本量很少，特別是我們這種每個類只有一個樣本的情況下的情況下是不太可靠的。

同時我們注意到行人重識別（re-ID）的測試過程是一個計算特徵之間距離並進行檢索的過程，所以我們從這個角度出發，也去計算未標註數據與標註數據之間的距離（Dissimilarity cost criterion）。對於每個未標註的樣本，我們把離它最近的有標註樣本的類別賦予它作為 pseudo label，並且將他們之間的距離作為標籤估計的置信度，如下圖所示。

我們發現，這種用距離度量的方式選出來的 pseudo-labeled 數據要比分類層的預測要可靠很多。

3． 演算法實際選出來的樣本如何？

我們的方法在 MARS 和 DukeMTMC-VideoReID 這兩個大規模的視頻行人重識別數據集上都取得了極大的提高。下面我們展示一下演算法選出來的 pseudo-labeled 樣本。

這是一個演算法運行時為左邊這個行人選出來的 pseudo-labeled 樣本，可以看到在第 0 次迭代時返回的樣本都是和初始化視頻很相似的正確數據。演算法在第 1 次和第 2 次迭代時候開始返回了不同視角的正確數據，在第 5 到 7 次迭代時候返回了更難以分辨的正確樣本（完全不同的視角、遮擋和嚴重攝像頭色差）以及部分錯誤樣本。沒有被找到的這個視頻片段幾乎是全黑的。

Pytorch 代碼實現參見：

https://github.com/Yu-Wu/Exploit-Unknown-Gradually

DukeMTMC-VideoReID 數據集介紹和 Baseline 代碼：

https://github.com/Yu-Wu/DukeMTMC-VideoReID

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！