梵高究竟長啥樣？深度神經網路根據油畫重建出他的照片

科技 07-26

選自 TechCrunch

作者：Lucia Maffei

機器之心編譯

參與：微胖、無我莽莽

我們都對 Prisma 情有獨鍾，它是一款 P 圖神器，將智能手機里的普通照片轉變為著名藝術家畫作的風格。但是，另一轉變過程——將藝術作品轉變為照片——同樣很迷人。來自荷蘭的研究員們說，這並非那麼遙不可及。

由內梅亨大學（ Radboud University）四位神經科學家組成的團隊正致力於研究一種模型，藉助深度神經網路，將面部素描逆向合成為逼真面部圖像。研究結果（Convolutional Sketch Inversion）第一時間發布到了網站 arXiv 上，已被在阿姆斯特丹舉辦的歐洲計算機視覺大會接受。

梵高究竟長啥樣？深度神經網路根據油畫重建出他的照片

圖1：卷積素描逆向變換模型的例子。我們的模型將面部素描圖轉變合成為逼真的面部圖片。每一行展示了素描圖逆向變換/照片合成的流水線過程，即藉助不同的深度神經網路，將同一張臉的不同素描圖轉變為同一張臉的不同圖片。每一個神經網路層由其特徵地圖的前三個基本成分表示。

論文摘要：在本論文中，我們使用深度神經網路將面部素描圖轉化合成為逼真的面部圖片。通過擴大現有不受限的面部數據集，我們首先構建了一個半模擬的數據集，包括海量風格不同的計算機生成的面部素描圖以及相應面部照片。然後，充分利用深度學習近期取得的成果，比如，batch normalization，深度殘差學習，知覺損失和隨機優化與我們新的數據集結合起來，訓練模型獲得最好的結果，無論是在計算機生成的素描上還是手繪素描上。我們最終證明了模型在美術和法醫學上的應用潛力。與已有的基於塊的（ patch-based）方法相比，我們的基於深度神經網路的方法，能夠被用於合成逼真面部圖像，方法就是逆向反轉面部素描。

科學家們說，他們的模型的應用領域不但涵蓋美術，將自畫像轉變為更像照片的圖畫，而且還可以涵蓋法醫學，例如，將根據目擊證人做出的素描，變成可以使用圖像識別工具的東西。

「我們的靈感源自最近關於神經風格遷移（neural style transfer）的研究，這種演算法以藝術作品的方式重新想像圖片作品。」兩位認知神經科學博士生 Ya?mur Gü?lütürk 和 Umut Gü?lü 說，他們和 Marcel van Gerven 以及 Rob van Lier 共同參與了這項研究。

Ya?mur 和 Umut 提及的這篇論文描述了一種技術：以梵高油畫《星月夜》的風格重新想像一張德國圖賓根城市照片。「這個例子讓我們開始思考反轉（逆向）的問題。也就是說，用照片風格重新想像梵高的藝術作品，會怎麼樣？」 Gü?lütürk 和 Gü?lü 寫到。

這裡，Gü?lütürk 和 Gü?lü 描述了他們軟體（使用了人工神經網路）的運作原理：

「我想教會人工神經網路如何將素描（輸入）轉變為照片（輸出）。首先，我構建了非常龐大的數據集，由素描和對應的照片組成。我給人工神經網路輸入素描圖，然後讓它將這些素描轉變為照片。系統隨機選擇一種策略並加以嘗試。起初，輸出照片可能和數據集中的照片不大像。系統比對兩者，並找出系統所犯的錯。基於反饋，系統會調整起初的策略並再次進行嘗試。逐漸地，輸出照片質量提高了。」

梵高究竟長啥樣？深度神經網路根據油畫重建出他的照片

來自 LFW 數據集的合成的逆向素描的例子。每一欄中第一列圖片是基準圖片，第二列是生成的素描圖，第三列是合成的逆向素描。（來自作者論文）

教會一個模型如何匹配素材圖和照片，非常重要的一點是重複訓練（這對於訓練神經網路是相當正常的）。「我們一次次重複著最後兩步。」Gü?lütürk and Gü?lü 寫到。「最後，它的照片看起來就像數據集里的照片。如果一切順利，它不僅可以使用新技能將已經見過的素材轉變為高質量圖片，還能將未見過的新素材轉變為高質量照片。」

為了訓練和測試演算法，科學家們使用了計算機基於 CelebA 數據集（這是一個網上資源庫，有超過 20 萬張名人圖片）和 LFW 數據集（一萬三千張人臉圖片，來自網站）生成的素描。手繪的素描圖來自 CUFS 數據集。

這兩位博士首先嘗試的事情之一，是將他們自己的臉部素描—— Ya?mur 畫的，轉變為圖片。多虧了這一演算法，根據三位著名荷蘭藝術家（倫勃朗，梵高和埃舍爾）的自畫像，他們也獲得了三位大師的逼真面部圖像。

梵高究竟長啥樣？深度神經網路根據油畫重建出他的照片