北大開源ECCV2018深度去雨演算法：RESCAN

（關注52CV——有價值有深度的公眾號~）

性能強悍，在所有評估指標下碾壓state-of-the-art方法。

本文來自於ECCV2018接收的論文《Recurrent Squeeze-and-Excitation Context Aggregation Net for Single Image Deraining》。

圖像中雨水條紋會嚴重降低能見度，導致許多當前的計算機視覺演算法無法工作，比如在自動駕駛場景下圖像去雨就變得非常重要。該文提出了一種基於深度卷積和遞歸神經網路的新型深度網路體系結構，用於單圖像去雨。

該文對圖像去雨的多個挑戰分別提出了解決方案，取得了非常顯著的演算法改進。

1.由於背景信息對於定位雨水位置非常重要，該文首先使用了擴張卷積神經網路（dilated convolutional neural network ）來獲取大的感受野，同時為更好地適應去雨任務修改了擴張卷積網路。

2.在大雨的圖像中，雨水條紋有各種方向和形狀，此時將其看作是多個雨水層的疊加。通過結合squeeze-and-excitation模塊，根據強度和透明度為不同的雨水條紋層分配不同的α值。

3.由於雨水條紋層彼此重疊，因此在一個stage中不容易完全除去雨水。因此進一步將雨水分解分為多個stage。結合遞歸神經網路保留先前階段中的有用信息並有利於後期的除雨。

最終演算法在合成數據集和真實數據集上進行了大量實驗，結果顯示該文提出的方法在所有評估指標下都優於目前的state-of-the-art方法。

SCAN

結合擴張卷積和squeeze-and-excitation模塊的單stage的網路架構。

SCAN的細節參數

RESCAN

結合RNN的多個stage的去雨架構。

在合成數據集上的去雨效果

合成數據集上的性能指標

相比以往演算法改進異常顯著。

真實數據集上的去雨效果

在真實數據集上用戶調查結果

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！