殘差密集網路：利用所有分層特徵的圖像超解析度網路

圖像超解析度在安防等很多領域有這廣泛的應用，而美國東北大學最近提出了一種殘差密集網路來從原圖生成高解析度圖像。該網路結合殘差網路與密集連接網路的特性充分利用原始 LR 圖像的所有分層特徵，因而能重構出高質量的圖像。

單幅圖像超解析度（SISR）旨在於低解析度（LR）測量的基礎上生成視覺良好的高解析度（HR）圖像。SISR 用於各種計算機視覺任務，如安全和監視成像 [38]、醫學成像 [22] 和圖像生成 [9]。圖像超解析度是一個不適定（ill-posed）逆過程，因為對於任何 LR 輸入都存在多種解決方案。為了解決這個逆問題，研究者們已經提出了大量的圖像 SR 演算法，包括基於插值、基於重建和基於學習的方法 [27, 28, 19, 2, 20, 8, 10, 30]。

圖 1. 之前的網路結構（a，b）和我們殘差密集塊（residual dense block）（c）的比較。其中（a）為 MDSR 中的殘差塊（residual block）[16]，（b）為 SRDenseNet 中的密集塊（dense block）[30]，（c）為我們的殘差密集塊。

其中，Dong 等人 [2] 首先將一個三層卷積神經網路（CNN）引入到圖像 SR 中，與傳統方法相比，此方法有了明顯的改進。Kim 等人通過使用梯度截斷（gradient clipping）、跳過連接（skip connection）或遞歸監督（recursive-supervision）來降低訓練深度網路的難度。通過使用有效的構建模塊，圖像 SR 的網路變得更深，性能變得更好。Lim 等人使用殘差塊（圖 1（a））構建了一個非常大的有殘差縮放（residual scaling）[23] 的網路 EDSR [16] 和一個非常深的網路 MDSR [16]。Tai 等人提出通過記憶塊構建 MemNet [25]。隨著網路變深，每個卷積層中的特徵將具有不同層級的感受野。然而，這些方法忽略了充分利用每個卷積層的信息。儘管提出的記憶塊中的門控單元是控制短期記憶 [25] 的，但局部卷積層不能直接訪問後續層，所以很難說記憶塊充分利用了其內部所有層的信息。

此外，圖像中的物體具有不同的大小、視角和高寬比。一個非常深的網路的分層特徵將為重構提供更多的線索。然而大多基於深度學習（DL）的方法（如 VDSR [10]、LapSRN [13] 和 EDSR [16]）在重構時忽略了使用分層特徵。儘管記憶塊 [25] 也使用之前記憶塊的信息，但沒有從原始 LR 圖像是提取多級特徵。MemNet 將原始 LR 圖像內插至所需大小形成輸入。這個預處理的步驟不僅使計算的複雜度平方地增加，而且也丟失了原始 LR 圖像的一些細節。Tong 等人為較低增長率（如 16）的圖像 SR 引入了密集塊（圖 1（b））。根據我們的實驗（見第 5.2 節），更高的增長率可以進一步提高網路的性能。而在圖 1（b）中，很難用密集塊來訓練更大的網路。

為了解決這些缺點，我們提出了殘差密集網路（RDN）（圖 2），通過殘差密集塊（RDB）（圖 1（c））來充分利用原始 LR 圖像的所有分層特徵。對於一個很深的網路來說，直接提取 LR 空間中的每個卷積層的輸出很難，可以說是不切實際的。我們使殘差密集塊（RDB）作為 RDN 的構建模塊。RDB 包含密集連通層和帶有局部殘差學習（LRL）的局部特徵融合（LFF）。我們的殘差密集塊還支持 RDB 間的連續記憶。一個 RDB 的輸出可以直接訪問下一個 RDB 各層，從而使狀態連續傳遞。RDB 每個卷積層都可以訪問所有的後續層，傳遞需要保留的信息 [7]。將前面的 RDB 與當前 RDB 的所有前面層的狀態連接，LFF 通過自適應地保存信息來提取局部密集特徵。此外，LFF 通過穩定更大網路的訓練來實現極高的增長率。在提取多層局部密集特徵後，我們進一步進行全局特徵融合（GFF）以全局方式自適應地保留分層特徵。如圖 2 和圖 3 所示，每層都可以直接訪問原始的 LR 輸入，從而產生隱式的深層監督 [15]。

總得來說，這項工作的主要貢獻有三個：

• 我們提出了一個統一的框架，它通過不同的退化模型（degradation models）使用殘差密集網路生成高質量的超解析度圖像，網路充分利用原始低解析度圖像的所有分層特徵。

• 我們提出了殘差密集塊（RDB），它不僅可以通過連續記憶（CM）機制從前一個 RDB 讀取狀態，還可以通過局部密集連接充分利用其中的所有層。然後通過局部特徵融合（LFF）自適應地保留累積的特徵。

• 我們提出了全局特徵融合以自適應地融合 LR 空間中所有 RDB 的分層特徵。利用全局殘差學習，我們將淺層特徵和深層特徵結合在一起，從原始 LR 圖像中得到全局密集特徵。

圖 2. 我們提出的殘差密集網路（RDN）的結構。

網路架構

如圖 2 所示，我們的 RDN 主要包含四部分：淺層特徵提取網路（SFENet）、殘差密集塊（RDBs）、密集特徵融合（DFF）以及上採樣網路（UPNet）。我們將 ILR 和 ISR 表示為 RDN 的輸入和輸出，具體來說，我們使用兩個 Conv 層來提取淺層特徵。

圖 3. 殘差密集塊（RDB）架構。

表 3. BD 和 DN 退化模型的基準結果。

圖 7. 使用縮放因子×3 的 BD 退化模型的可視化結果。SR 結果分別是由 Urban100 的圖像得到的「img 096」和由 Urban100 得到的「img 099」。

圖 8. 使用縮放因子×3 的 DN 退化模型的可視化結果。SR 結果分別是由 B100 的圖像得到的「302008」和 Manga109 得到的「LancelotFullThrottle」。

圖 9. 縮放因子×4 的實際圖像視覺效果。兩行分別為圖像「chip」和「hatc」的 SR 結果。

論文：Residual Dense Network for Image Super-Resolution

論文鏈接：https://arxiv.org/abs/1802.08797

一個非常深的卷積神經網路（CNN）最近在圖像超解析度（SR）方面取得了巨大的成功，並提供了分層特徵。然而，大多數基於 SR 模型的深層 CNN 並沒有充分利用原始低解析度（LR）圖像的分層特徵，從而其性能較低。本文中，我們得出了一種新的殘差密集網路（RDN）來解決圖像超解析度問題。我們充分利用所有卷積層的分層特徵。具體來說，我們提出了殘差密集塊（RDB），通過密集卷積層來提取充分的局部特徵。RDB 還允許將前一個 RDB 的狀態直接連接至當前 RDB 的所有層，從而形成連續記憶（CM）機制。然後使用 RDB 中的局部特徵融合來自適應地學習來自先前和當前局部特徵的更有效特徵，並穩定更大網路的訓練。在完全獲得密集的局部特徵後，我們使用全局特徵融合整體地聯合和自適應地學習全局分層特徵。在不同退化模型的基準數據上的大量實驗表明，我們的 RDN 相對最先進的方法取得了良好的性能。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！