英偉達教你用深度學習做圖像修復，確定不試一下？

知識 05-27

本文為雷鋒字幕組編譯的技術博客，原標題 Image Inpainting for Irregular Holes Using Partial Convolutions，作者 NeuroHive 。

翻譯 | 段小傑塵央整理 | 吳璇

為了克服先前方法的局限性，英偉達公司的研究利用部分卷積去解決圖像著色問題。部分卷積層由一個掩模更新運算再加一個被掩模和再標準化的卷積運算構成。

深度學習是人工智慧中發展最快的領域之一，被廣泛的應用在很多領域，尤其是實時目標檢測、圖像識別和視頻分類。深度學習通常採用卷積神經網路、深度信念網路、循環神經網路等方式實現。

圖像修補就是深度學習的一個應用。它通過建立一個圖像修補模型，自動填充圖像不規則的空隙內容，這些填補是基於圖像語義上的預測，使其與原有圖像可以完美融合，而不必藉助任何後期操作。圖像修補可以應用在很多場合，例如擦除圖像不需要的內容並填補圖像合理的內容。

圖像修補中使用了許多不同的方法，但是沒有一種方法使用深度學習方法，並且這些方法有一些限制。其中一種方式叫做塊匹配（patchmatch），是在自身圖像中找到與之最匹配的塊來填補圖像。儘管這種方式能夠產生比較光滑的結果，但是受到可用圖像塊數量的限制以及此種方式不能很好地理解圖片的視覺語義。許多方法的另一個局限是聚焦矩形孔洞，這些孔洞常被看做圖像的中心，這些限制導致了矩形空隙的過擬合，最終限制了這些模型的應用。

它是怎樣工作的

為了克服先前方法的局限性，英偉達公司的研究利用部分卷積去解決圖像著色問題。部分卷積層由一個掩模更新運算再加一個被掩模和再標準化的卷積運算構成。最主要的延伸是掩模自更新步驟，它去掉了所有掩模，這樣部分卷積就可以再非掩模值上運算。以下是本文的主要創新點：

1. 用帶有自動掩模更新的部分卷積運算來進行圖像修補，達到目前以來的最好效果。

2. 用部分卷積和掩模自動更新代替卷積運算可以得到目前最具藝術性的圖像修補結果。

3. 證明了部分卷積在建立圖像修補模型時，對不規則孔洞填充的有效性。

部分卷積層

該模型運用多次部分卷積運算和掩模更新步驟來進行圖像修補。部分卷積運算和掩模更新函數共同構成了部分卷積層。

W 作為卷積濾波器的權值，b 作為卷積濾波器相關的偏置，x 是現有卷積窗口的特徵值（像素值），M 是對應的二進位掩模。不同層的部分卷積運算被表示為：

⊙表示元素點乘。可以看到，輸出值只取決於非掩模輸入。縮放因子 1/sum(M) 應用合適的縮放係數去自適應不同的有效輸入。在每個部分卷積運算之後，掩模被更新了。去掩模規則很簡單，如果卷積運算可以使輸出至少反應一個有效輸入值，去掩模就是將那個位置的掩模去掉。這種運算表示為：

並且可以很容易地在任何深度學習框架中作為前進的一部分實現。

網路體系結構

通過擴展現有的標準 PyTorch 來實現部分卷積層。通過定義大小為 C×H×W 的二進位掩碼來簡單實現與其一樣大小的相關圖像或功能，然後使用一個固定的卷積來實現掩碼更新，大小相同的內核作為部分卷積操作，權重相同的設置為 1 和不同則設置為 0。無論孔的大小，512×512 圖像的整個網路推斷在單一 NVIDIA V100 GPU 中需要花費 0.23 秒。

所使用的架構是類似於 UNet 的架構，將所有的卷積層替換為部分的卷積層，並在解碼階段使用最近的鄰居向上採樣。

圖 1：在圖像修復中使用的架構，所有的卷積層都被部分的卷積層取代

ReLU 被用於編碼階段，角度為 0.2 的 LeakyReLU 則被用於所有解碼層之間。編碼器包括 8 個步幅為 2 的部分卷積層。內核大小為 7、5、5、3、3、3、3 和 3。通道大小為 64、128、256、512、512、512、512 和 512。最後部分卷積層的輸入將包含原始輸入圖像、孔和原始掩碼的連接。