讓黑白影像重獲新生：UC 伯克利提出實時神經網路著色模型

選自arXiv

作者：Richard Zhang等

機器之心編譯

參與：李澤南

UC Berkeley 的研究人員近日推出了一種利用深度學習對黑白圖像進行實時上色的模型，並開源了相關代碼。該研究的論文將出現在 7 月 30 日在洛杉磯舉行的 SIGGRAPH 2017 計算機圖像和交互技術大會上。

• 論文鏈接：https://arxiv.org/abs/1705.02999

• Demo 和代碼鏈接：https://richzhang.github.io/ideepcolor/

在計算機圖形學領域中，一直存在兩種為圖片上色的方向：用戶引導上色和數據驅動的自動上色方式。第一種範式是由 Levin 等人在 2004 年開創的，用戶通過彩色畫筆在灰度圖像中進行引導性上色，隨後優化演算法會生成符合用戶邏輯的上色結果。這種方法可以保留人工上色的部分性質，因而經常會有絕佳的表現，但往往需要密集的用戶交互次數（有時超過五十次）。

為了解決這一問題，UC Berkeley 的 Richard Zhang 等人近日開發出了一款利用深度學習為圖片進行上色的新方法。據論文介紹，該方法無需大量手動輸入，同時也可以實時生成著色效果，為用戶提供參考。該方法的演示視頻和代碼現已公布。

論文：Real-Time User-Guided Image Colorization with Learned Deep Priors

摘要

我們提出了一種以用戶引導方式為黑白圖片著色的深度學習方法。系統可將灰度圖像以及稀疏的本地用戶「提示」直接映射到卷積神經網路（CNN）中，輸出著色結果。不同於手動定義的規則，該神經網路從大量數據中經過學習後，可通過融合低級線索和高級語義信息來傳播用戶的編輯。我們訓練了一百萬張以上圖片以模擬用戶的輸入。為了引導用戶進行有效的輸入選擇，系統會根據輸入圖像和目前用戶的輸入提供相應建議。著色是單詞前饋傳遞的，可以進行實時圖像處理。在論文中，我們展示了即使用隨機模擬的輸入信息，推薦系統也可以幫助一名新用戶快速對圖片進行逼真的著色，並且只需一分鐘時間就可以大大提高色彩質量。此外，我們還展示了該框架在工作時利用此前其他用戶給出的著色「提示」的能力，並展示了利用有色圖片進行風格轉換的能力。我們已將該成果的模型和演示圖公布。

Demo 視頻

圖 1. 該方法在灰度圖片（左圖）的基礎上，通過稀疏的用戶引導著色（第二張圖），可以實現快速生成合理色彩的結果（後三圖）。

圖 2. 網路架構

該方法同時訓練兩個變體網路。兩個變體都使用圖中藍色層來預測顏色。本地提示網路也使用紅色層與用戶引導的動作預測顏色分布 Z。全局提示網路使用綠色層，它將全局輸入分為 1×1 的卷基層，隨後將結果輸入主著色網路。每個 box 代表一個卷積層，垂直維度表示特徵圖空間解析度，水平維度表示通道數。解析度的變化通過二次採樣和上採樣操作來實現。在主網路中，當解析度降低時，特徵通道數量增加一倍。上採樣卷基層有快速通道連接。

圖 3. 建議調色板

在該方法中，建議顏色可以為任意像素點進行手動著色，建議顏色按照神經網路生成的可能性排序。在上圖的例子中，植被的顏色被排在了最前端。右邊的六張圖是按照建議顏色生成的圖片。

圖 5. 用戶使用結果。新用戶在實驗中僅需一分鐘即可掌握著色技巧。

圖 7. 非常規著色。通過非正常著色的手動引導，神經網路可以生成用戶想要的特殊結果。

圖 9. 使用全局提示網路進行的風格遷移式著色，右上小圖為參考圖。

圖 10. 該方法對幾張經典歷史照片的處理結果。

目前，用戶使用這種方法需要以點輸入的形式對神經網路進行引導。論文作者表示，他們將在下一步研究中加入更加符合人們習慣的筆畫式輸入，以進一步提高效果。