IJCAI Oral：弱監督實現精確目標檢測，上交大提出協同學習框架

新聞 05-14

新智元專欄

作者：上海交通大學未來媒體網路協同創新中心

【新智元導讀】訓練一個高準確率的檢測模型需要大量精細標註的圖片數據，其成本很高。本文提出了一種弱監督協同學習框架，僅使用粗略標籤的圖片訓練目標檢測模型，測試結果顯示其定位精確率和檢測準確率均顯著優於目前最先進的方法。

目標檢測是機器視覺的基本問題，在視頻監控、無人駕駛等場景都有廣泛應用。隨著深度學習的興起，近年來湧現了大量優秀的目標檢測模型。然而，訓練一個高準確率的檢測模型需要大量的以包圍框形式精細標註的圖片數據作為模型監督條件，需要花費大量的人力物力。

同時，我們可以從互聯網輕鬆獲取海量粗標註的圖片，如利用Flickr的標籤。因此，研究如何在弱監督條件下，即僅提供粗略圖片類別標註，訓練目標檢測模型，具有重要的意義。已有學者探索了基於多示例學習構建弱監督條件下的目標檢測模型學習方法，但是模型的精確度仍然難以令人滿意。

論文：Collaborative Learning for Weakly Supervised Object Detection

論文鏈接：https://arxiv.org/abs/1802.03531

本論文提出了一種弱監督協同學習（WSCL）的框架，將弱監督學習網路和強監督學習網路連接成為一個整體網路，通過一致性損失約束強監督和弱監督學習網路具有相似的預測結果，通過強監督和弱監督學習網路間部分特徵共享保證兩個網路在感知水平上的一致性，從而實現強監督和弱監督學習網路的協同增強學習。弱監督協同學習框架結構如下圖所示：

弱監督協同學習框架（以目標檢測為例）

基於上述弱監督協同學習框架，論文設計了一個端到端的弱監督協同檢測網路（WSCDN），弱監督和強監督的檢測模塊分別採用了目前最優秀WSDDN和RCNN網路結構。其網路結構如下圖所示。

弱監督協同目標檢測學習模型

在每次學習迭代中，整個目標檢測網路只將圖像級標籤作為弱監督，並且通過預測一致性損失並行優化強監督和弱監督檢測網路。

下圖是WSCDN訓練時，強監督和弱監督檢測網路準確率的變化曲線。

可以看出，在訓練的初始階段，弱監督檢測網路準確率高於強監督檢測網路。隨著協同訓練輪次的增多，兩者的準確率均逐漸上升，但強監督檢測網路提升的速度更快，並很快超越弱監督檢測網路。在整個訓練過程中，兩類檢測網路相互協同，達到了共同提高的效果。

我們比較了弱監督協同檢測網路與其他相關弱監督檢測方法在PASCAL VOC 2007測試圖片上的效果（見下圖）。其中，IW是單獨訓練得到的弱監督檢測模型，CSS是分開迭代訓練得到的強監督檢測模型，CLW和CLS分別是通過弱監督協同檢測網路得到的強監督和弱監督檢測網路。可以看出，我們的強監督檢測網路明顯優於其他檢測器網路，表現在可以得到更全面和更緊湊的包圍框預測。

我們用PASCAL VOC 2007和PASCAL VOC 2012數據集進行了測試。結果表明，弱監督協同檢測網路的定位精確率以及檢測準確率均顯著優於目前最先進的方法。

弱監督協同檢測網路與其他目前最先進的方法在PASCAL VOC 2007 測試數據集上檢測精確度的比較(AP) (%)