「實戰」利用卷積自編碼器實現圖片降噪（代碼開源）

新聞 07-19

1新智元推薦

「實戰」利用卷積自編碼器實現圖片降噪（代碼開源）

前言

這周工作太忙，本來想更把Attention tranlsation寫出來，但一直抽不出時間，等後面有時間再來寫。我們這周來看一個簡單的自編碼器實戰代碼，關於自編碼器的理論介紹我就不詳細介紹了，網上一搜一大把。最簡單的自編碼器就是通過一個encoder和decoder來對輸入進行復現，例如我們將一個圖片輸入到一個網路中，自編碼器的encoder對圖片進行壓縮，得到壓縮後的信息，進而decoder再將這個信息進行解碼從而復現原圖。

「實戰」利用卷積自編碼器實現圖片降噪（代碼開源）

作圖工具：OmniGraffle

自編碼器實際上是通過去最小化target和input的差別來進行優化，即讓輸出層儘可能地去復現原來的信息。由於自編碼器的基礎形式比較簡單，對於它的一些變體也非常之多，包括DAE，SDAE，VAE等等，如果感興趣的小夥伴可以去網上搜一下其他相關信息。

本篇文章將實現兩個Demo，第一部分即實現一個簡單的input-hidden-output結的自編碼器，第二部分將在第一部分的基礎上實現卷積自編碼器來對圖片進行降噪。

工具說明

TensorFlow1.0
jupyter notebook
數據：MNIST手寫數據集
完整代碼地址：NELSONZHAO/zhihu

第一部分

首先我們將實現一個如上圖結構的最簡單的AutoEncoder。

載入數據

在這裡，我們使用MNIST手寫數據集來進行實驗。首先我們需要導入數據，TensorFlow已經封裝了這個實驗數據集，所以我們使用起來也非常簡單。

「實戰」利用卷積自編碼器實現圖片降噪（代碼開源）

如果想讓數據顯示灰度圖像，使用代碼plt.imshow(img.reshape((28,28)), cmap="Greys_r")即可。

通過input_data就可以載入我們的數據集。如果小夥伴本地已經有了MNIST數據集（四個壓縮包），可以把這四個壓縮包放在目錄MNIST_data下，這樣TensorFlow就會直接Extract數據，而不用再重新下載。我們可以通過imshow來隨便查看一個圖像。由於我們載入進來的數據已經被處理成一個784維度的向量，因此重新顯示的時候需要reshape一下。

構建模型

我們把數據載入進來以後就可以進行最簡單的建模。在這之前，我們首先來獲取一下input數據的大小，我們載入進來的圖片是28x28的像素塊，TensorFlow已經幫我們處理成了784維度的向量。同時我們還需要指定一下hidden layer的大小。

「實戰」利用卷積自編碼器實現圖片降噪（代碼開源）

在這裡我指定了64，hidden_units越小，意味著信息損失的越多，小夥伴們也可以嘗試一下其他的大小來看看結果。

AutoEncoder 中包含了 input，hidden 和 output 三層：

「實戰」利用卷積自編碼器實現圖片降噪（代碼開源）

在隱層，我們採用了ReLU作為激活函數。

至此，一個簡單的AutoEncoder就構造完成，接下來我們可以啟動TensorFlow的graph來進行訓練。

「實戰」利用卷積自編碼器實現圖片降噪（代碼開源）

訓練結果可視化

經過上面的步驟，我們構造了一個簡單的AutoEncoder，下面我們將對結果進行可視化看一下它的表現。

「實戰」利用卷積自編碼器實現圖片降噪（代碼開源）

這裡，我挑選了測試數據集中的5個樣本來進行可視化，同樣的，如果想觀察灰度圖像，指定cmap參數為"Greys_r"即可。上面一行為test數據集中原始圖片，第二行是經過AutoEncoder復現以後的圖片，可以很明顯的看到像素信息的損失。

同樣，我們也可以把隱層壓縮的數據拿出來可視化，結果如下：

「實戰」利用卷積自編碼器實現圖片降噪（代碼開源）

這五張圖分別對應了test中五張圖片的隱層壓縮後的圖像。

通過上面一個簡單的例子，我們了解了AutoEncoder的基本工作原理，下面我們將更進一步改進我們的模型，將隱層轉換為卷積層來進行圖像降噪。

上面過程中省略了一部分代碼，完整代碼請去作者的GitHub上查看。

第二部分

在了解了上面AutoEncoder工作原理的基礎上，我們在這一部分將對AutoEncoder加入多個卷積層來進行圖片的降噪處理。

如果有小夥伴對卷積神經網路不清楚的話，可以去知乎看看大神們的文章來學習一下。

同樣的我們還是使用MNIST數據集來進行實驗，關於數據導入的步驟不再贅述，請下載代碼查看。在開始之前，我們先通過一張圖片來看一下我們的整個模型結構：

「實戰」利用卷積自編碼器實現圖片降噪（代碼開源）

作圖工具：OmniGraffle

我們通過向模型輸入一個帶有雜訊的圖片，在輸出端給模型沒有雜訊的圖片，讓模型通過卷積自編碼器去學習降噪的過程。

輸入層

「實戰」利用卷積自編碼器實現圖片降噪（代碼開源）

這裡的輸入層和我們上一部分的輸入層已經不同，因為這裡我們要使用卷積操作，因此，輸入層應該是一個height x width x depth的一個圖像，一般的圖像depth是RGB格式三層，這裡我們的MNIST數據集的depth只有1。

Encoder卷積層

Encoder卷積層設置了三層卷積加池化層，對圖像進行處理。

「實戰」利用卷積自編碼器實現圖片降噪（代碼開源）

第一層卷積中，我們使用了64個大小為3 x 3 的濾波器（filter），strides默認為1，padding設置為same後我們的height和width不會被改變，因此經過第一層卷積以後，我們得到的數據從最初的28 x 28 x 1 變為 28 x 28 x 64。

緊接著對卷積結果進行最大池化操作（max pooling），這裡我設置了size和stride都是2 x 2，池化操作不改變卷積結果的深度，因此池化以後的大小為 14 x 14 x 64。

對於其他卷積層不再贅述。所有卷積層的激活函數都是用了ReLU。

經過三層的卷積和池化操作以後，我們得到的conv3實際上就相當於上一部分中AutoEncoder的隱層，這一層的數據已經被壓縮為4 x 4 x 32的大小。

至此，我們就完成了Encoder端的卷積操作，數據維度從開始的28 x 28 x 1變成了4 x 4 x 32。

Decoder卷積層

接下來我們就要開始進行Decoder端的卷積。在這之前，可能有小夥伴要問了，既然Encoder中都已經把圖片捲成了4 x 4 x 32，我們如果繼續在Decoder進行卷積的話，那豈不是得到的數據size越來越小？所以，在Decoder端，我們並不是單純進行卷積操作，而是使用了Upsample（中文翻譯可以為上採樣）+ 卷積的組合。

我們知道卷積操作是通過一個濾波器對圖片中的每個patch進行掃描，進而對patch中的像素塊加權求和後再進行非線性處理。舉個例子，原圖中我們的patch的大小假如是3 x 3（說的通俗點就是一張圖片中我們取其中一個3 x 3大小的像素塊出來），接著我們使用3 x 3的濾波器對這個patch進行處理，那麼這個patch經過卷積以後就變成了1個像素塊。在Deconvolution中（或者叫transposed convolution）這一過程是反過來的，1個像素塊會被擴展成3 x 3的像素塊。

但是Deconvolution有一些弊端，它會導致圖片中出現checkerboard patterns，這是因為在Deconvolution的過程中，濾波器中會出現很多重疊。為了解決這個問題，有人提出了使用Upsample加卷積層來進行解決。

關於Upsample有兩種常見的方式，一種是nearest neighbor interpolation，另一種是bilinear interpolation。

本文也會使用Upsample加卷積的方式來進行Decoder端的處理。

「實戰」利用卷積自編碼器實現圖片降噪（代碼開源）

在TensorFlow中也封裝了對Upsample的操作，我們使用resize_nearest_neighbor對Encoder卷積的結果resize，進而再進行卷積處理。經過三次Upsample的操作，我們得到了28 x 28 x 64的數據大小。最後，我們要將這個結果再進行一次卷積，處理成我們原始圖像的大小。

「實戰」利用卷積自編碼器實現圖片降噪（代碼開源）

最後一步定義loss和optimizer。

「實戰」利用卷積自編碼器實現圖片降噪（代碼開源）

loss函數我們使用了交叉熵進行計算，優化函數學習率為0.001。

構造雜訊數據

通過上面的步驟我們就構造完了整個卷積自編碼器模型。由於我們想通過這個模型對圖片進行降噪，因此在訓練之前我們還需要在原始數據的基礎上構造一下我們的雜訊數據。

「實戰」利用卷積自編碼器實現圖片降噪（代碼開源）

我們通過上面一個簡單的例子來看一下如何加入雜訊，我們獲取一張圖片的數據img（大小為784），在它的基礎上加入雜訊因子乘以隨機數的結果，就會改變圖片上的像素。接著，由於MNIST數據的每個像素數據都被處理成了0-1之間的數，所以我們通過numpy.clip對加入雜訊的圖片進行clip操作，保證每個像素數據還是在0-1之間。