密西根大學利用圖像生成過程進行數據增強，可提高現實場景目標檢測的魯棒性

原文來源：arXiv

作者：Alexandra Carlson、Katherine A. Skinner、Matthew Johnson-Roberson、Ram Vasudevan

「雷克世界」編譯：嗯~是阿童木呀、KABUDA、EVA

導語：長期以來，深度學習使一系列計算機視覺任務的性能得到提升，而在本文中，密西根大學安娜堡分校（University of Michigan, Ann Arbor）的科學家們提出利用圖像生成過程進行數據增強，對相機效果進行建模以提升在真實數據和合成數據上進行的深度視覺任務的性能表現，接下來，本文將介紹輻射是如何轉換為8位像素值從而助力基於物理的數據增強的。

最近，我們的研究主要集中於生成合成圖像和增強真實圖像，以增加用於學習城市場景中視覺任務的訓練數據的大小和可變性。這包括增加遮擋的發生或改變環境和天氣的影響。然而，幾乎沒有人能夠解決感測器領域中的變分建模問題。不幸的是，對於在人工注釋的數據集上進行訓練的視覺任務而言，改變感測器效應會降低其性能和結果的泛化能力。本文提出了一種高效、自動化的基於物理的增強管道，以改變真實的和合成圖像上的感測器的效應——特別是色差、模糊、曝光、噪音和偏色等。具體來說，本文闡述了，使用所提出的管道增加訓練數據集，能夠提高在各種基準工具數據集上目標檢測的魯棒性和可泛化性。

深度學習使一系列計算機視覺任務的性能得到提升。隨著一些基準數據集為訓練深度神經網路（DNN）提供數以百萬的手工標記圖像，增加所標記的訓練數據集的大小和變化為這些性能的提升帶了很多貢獻。理想情況下，我們可以編譯一個大型的代表所有領域的綜合訓練集，並被標記以用於所有的視覺任務。不幸的是，收集和標記大量的訓練數據是非常昂貴和耗時的。此外，我們不可能收集到一個捕獲了現實世界中所存在的所有變化的單一真實數據集。

圖1：在KITTI上對基線未增強數據（左）和我們提出的方法（右）進行目標檢測的樣本示例。藍色方框表示正確的檢測結果，紅色方框表示基線法遺漏的、但通過我們所提出的基於感測器的圖像增強方法能夠檢測到的結果。

最近的研究表明，在使用合成數據訓練DNN以及對真實數據進行測試方面已經取得了成功。渲染引擎可以用來生成大量的合成數據，而這些數據看起來非常逼真。像素級標籤可以自動生成，大大降低了為不同任務創建基本事實標籤所需的成本和工作量。增強真實數據是增加數據集大小的另一種方式，無需額外的手工標籤。合成渲染和增強管道都尋求在一個圖像集中提高場景特徵的可變性。特別是,最近的研究著重點在於建模環境的影響，比如場景照明、當日時間、場景背景、天氣和遮擋，以增加訓練集中這些因素的表徵，從而在測試期間增加針對這些案例的魯棒性。另一種方法是增加有用目標的出現，以在不同場景和空間配置中訓練這些目標的過程中提供更多的樣本。

圖2：在我們的研究中所使用的圖像形成和處理流程圖。一個給定的圖像會經歷增強，這些增強就近似於相機在圖像中所產生的相同像素級效果。

然而，儘管空間布局和環境因素各不相同，但在實現結果的魯棒性和泛化能力方面仍然存在一定的挑戰。為了進一步了解合成數據集與真實數據集之間的差別，甚至不同真實數據集之間的區別，我們需要思考DNN在學習視覺任務中的失效模式。目前，已被證實的一點是，導致各基準數據集性能和泛化能力下降的一個因素是感測器偏差。相機模型與環境中的照明之間的相互作用對圖像中的像素級偽影（pixel-level artifacts）、失真和動態範圍會產生很大影響。根據圖1左側的顯示內容可知，包括模糊和過度曝光在內的感測器效應，降低了城市駕駛場景中目標檢測網路的性能。儘管如此，在改善由自然環境中已學習視覺任務感測器導致的失效模式方面，仍然是一片空白。

圖3：用於CITYSCAPES（左）和VKITTI（右）的單一感測器效應增強和我們的完整圖像增強管道增強樣本。

在本文中，我們研究了不同感測器模型的DNN性能對城市場景中自主駕駛計算機視覺任務的影響。我們提出，通過一種新的圖像增強管道來對由感測器效應引起的信息缺失進行建模。我們的增強管道基於圖像生成和處理過程中所產生的效應，這些效應會在學習框架過程中觸發失效模式——色差、模糊、曝光、雜訊和色偏校正。我們的目標是，通過在包含一組具有代表性實際感測器效應的數據上進行訓練，從而在我們的學習框架中實現針對這些效應的魯棒性。我們增強了真實數據和合成數據，以表明我們提出的方法提高了車輛數據集中目標檢測的性能（圖1）。軟體和數據集將在完成盲審後公布。

圖4：錯車的定性分析，KITTI樣本在左側，Cityscapes樣本在右側

圖5：Virtual KITTI樣本在左側，GTA樣本在右側

我們提出了一種新的基於感測器的圖像增強通道，用於增強輸入到DNN中的訓練數據，以完成城市駕駛場景中的目標檢測任務。我們的增強管道模擬了圖像生成和後期處理流程中所出現的一系列物理真實的感測器效應。之所以選擇這些效應，是因為它們會導致信息丟失或場景失真，從而降低了已學習視覺任務上的網路性能。通過在我們的已增強數據集上進行訓練，我們無需進一步標記，即可有效地擴大數據集規模和感測器領域中的變化，進而提高目標檢測網路的魯棒性和泛化能力。我們在一系列基準車輛的數據集上實現了性能的顯著提升，其中包括使用真實數據與合成數據進行訓練。總而言之，我們的研究結果揭示了，對在合成數據上進行訓練，在真實數據上進行測試的特定問題的感測器效應進行建模的重要性。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！