技術前沿

作者：蘿蔔兔

在圖像處理的過程中，會遇到各種各樣的雜訊，比如在夜晚場景下的照片會有很多噪點，在霧霾天氣下會朦朧不清，在下雨天會有密密麻麻的雨滴.....所以去除圖像中的各種雜訊，還原清晰的圖像也是CV領域的一大研究方向。蘿蔔兔今天便給大家介紹一些前沿的圖像去雨滴演算法。

用注意力對抗網路進行單圖去雨

該方法是來自於今年的CVPR文章《Attentive Generative Adversarial Network for Raindrop Removal from a Single Image》，是北京大學、新加坡國立大學以及耶魯-新加坡國大的研究成果，主要是對車窗上的水滴進行清除。

由於受各方面因素的影響，去雨問題實際是一個很複雜的問題，首先這個問題是如何建模，基本的思想是將帶雨圖像分解為不帶雨滴的圖像和受雨滴影響的圖像。

其中I是就是我們需要處理的帶雨滴圖像，M是一個0,1掩膜, B是不帶雨滴的真實背景圖，R是受雨滴影響的圖像。去雨的目標就是要從I中恢復出B。

這篇文章使用GAN框架來解決這個問題，創新的地方在於在生成器和判別器中引入了視覺注意力機制，讓模型能夠意識到哪些地方是受雨影響的，整個框架如下圖，下面來看看兩部分具體是如何工作的。

生成器

生成器包括兩部分，一個是基於循環神經網路生成注意力熱圖，另一部分是上下文自編碼器，用於生成去雨之後的圖像。

首先來看如何生成注意力熱圖，作者使用了循環神經網路的結構，每個cell包括使用5層ResNet提取特徵，然後送入convLSTM中生成2D的注意力熱圖。每一個step都使用上一時刻的注意力熱圖和原圖作為輸入，逐漸生成更精確的注意力分配圖。這一部分使用掩膜M作為每個step的監督，指導注意力熱圖的生成。

接下來看如何生成去雨的圖像。這一部分的有兩個目標，一是要生成去雨的圖像，而是要保證生成的圖像儘可能真實。圖像生成的主要框架是一個自編碼器，輸入是帶雨圖像與注意力熱圖，輸出是去雨的圖像。在損失函數上兩部分Lm和Lp, Lm是一個多尺度的Loss，它是為了在解碼的時候保證獲得更多的上下文提升生成的圖像質量，具體來講就是講真實的背景圖像進行下採樣分別用於監督解碼器不同的層級，具體形式都是基於像素的MSE；Lp稱為感知Loss（perceptual loss），它利用VGG16提取高層的特徵進行監督來保證生成圖像的質量。

判別器

判別器是為了區分出誰是真的誰是假的，對圖像進行判別，可以從全局和局部兩個方面進行，從局部來看就是要檢查可能為假的部分，可是並沒有先驗的信息來告訴我們哪些位置可能為假，因此需要判別器自己去學。文章為了解決這個問題，將上一步中生成的注意力熱圖引入到判別器中。具體來講，在判別器CNN的中間部分生成一個注意力分配圖，將其與特徵相乘之後傳入下一層，注意力分配的監督工作由生成器得到的注意力熱圖完成，這樣相當於引導判別器主要關注受雨滴影響部分的真實性。

實驗效果

實現細節參照論文：

https://arxiv.org/pdf/1711.10098.pdf

RESCAN單圖去雨

該論文是來自北京大學和上海交通大學的幾位研究者的成果，已經入選今年的ECCV會議，他們在卷積神經網路以及循環神經網路的基礎上，提出了一種新的神經網路架構RESCSN來處理單圖雨滴。

這篇文章對於去雨問題的建模也是將問題進行分解，稍有不同的是將雨的影響進行了細分，認為R是由多種雨的紋路（rain streaks）組成的。另外在模型的建模目標上也有不同，上一篇文章直接去生成去雨的圖像，而本文則希望去建模得到R，這樣B = O - R。因此這篇文章的總體目標就是希望學到一個映射F, 使得F(O) 與 R儘可能接近。

方法

文章提出了一種稱為REcurrent SE Context Aggregation Net (RESCAN)的框架，整個過程是多階段的，逐步得到R。

每個階段使用一種稱為SCAN的結構，這個結構主要有以下幾個特點：

第一是使用空洞卷積快速擴大感知野，因為在去雨中更多的上下文信息是比較關鍵的，比如上篇文章的多尺度的Loss；

第二個特點是使用SE模塊（具體可以參考論文1），作者認為特徵圖的每個channel都可以看為某種Ri的表示（embedding），每個Ri都有一個對應的係數αi，通過引入SE模塊，可以顯式地為不同Ri賦值不同的係數。這樣每個階段都能得到某些rain streaks,也就是說每個階段都能去除某些rain streaks。

由於一個階段不可能將所有的rain streaks都去除，因此需要多階段逐步地進行，這個過程通過RNN的結構來建模。

實驗效果

具體技術細節參考論文：

https://arxiv.org/pdf/1807.05698.pdf

去除圖像中的雨滴也有很多可以應用的地方，比如說如果自動駕駛，如果車輛要在雨天行駛的話，就需要保持良好乾凈的視野，再比如處理下雨天道路的監控圖像以及一些需要在雨中作業的機器。雖然，這只是CV領域的一個小小細枝節，但也是可以造福我們人類的重要科技力量。

參考文獻：

1. Hu, J., Shen, L., Sun, G.: Squeeze-and-excitation networks. arXiv preprint arXiv:1709.01507 (2017)

2. Qian, Rui, et al. "Attentive generative adversarial network for raindrop removal from a single image." arXiv preprint arXiv:1711.10098 (2017).

3. Li, Xia, et al. "Recurrent Squeeze-and-Excitation Context Aggregation Net for Single Image Deraining." arXiv preprint arXiv:1807.05698(2018).

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！