南大和中大「合體」拯救手殘黨：基於GAN的PI-REC重構網路，「老婆」畫作有救了

「2019 Python開發者日」全日程揭曉，請掃碼諮詢

編譯 | 一一

出品 | AI科技大本營（ID:rgznai100）

對於喜歡畫畫的你來說，總是畫得七零八落，不堪入目，但現在，有一種方法可以讓你像專業人士那樣，讓你的糟糕畫作變成一副完美的作品。

南京大學和中山大學的三位研究人員發布的最新論文中，提出了一種具有邊緣和色域的漸進式圖像重構網路 PI-REC，這是一種基於 GAN 的漸進式訓練方法，它能從超二值稀疏邊緣以及色塊中還原重構真實圖像，最終「合成」一張高精度圖像，當然它並非自動繪畫。

總之，你們畫的半成品「老婆」們的美貌有救了。

論文鏈接：https://arxiv.org/abs/1903.10146

研究者介紹說，PI-REC 項目屬於圖像重構、圖像轉化、條件圖像生成以及 AI 自動繪畫等前沿交叉領域的最新產出，而非簡單的以圖搜圖等，它主要有以下三種功能：

圖(a): 超稀疏輸入信息重建原圖。PI-REC 方法能夠從提取的稀疏邊緣和平面色域中重構逼真圖像。

圖 (b): 手繪草圖轉換。PI-REC 方法可以在手繪草圖的基礎上合成準確和微調圖像。

圖 (c): 用戶自定義的邊緣到圖像（edge-to-image，E2I) 轉化。用戶可以將自定義和像素級的樣式圖像注入 PI-REC 模型以獲得準確輸出。

當然，用相似內容進行 I2I 轉化也沒問題。

近年來，在圖像到圖像（I2I）轉化領域，Pix2Pix 等方法可以從稀疏二值邊緣圖中合成逼真圖像，並根據條件生成對抗網路（cGAN）部署循環框架。不過，在邊緣到圖像（E2I）轉化領域無法生成高保真圖片。於是研究者開始考慮解決稀疏輸入和可控樣式空間的矛盾。

在 S2I 合成、I2I 轉化、IR（圖像識別）等領域使用的主要方法功能比較，PI-REC 具有更多的功能。?表示輸入的各種特性，*表示輸出質量。

受繪畫過程的啟發，基於生成對抗網路的 PI-REC 由三個階段組成：旨在初始化網路的模擬階段（Imitation Phase），然後是以重構初步圖像的生成階段（Generating Phase）以及用於將初步圖像微調到具有最終細節輸出的精細化階段（Refinement Phase）。該框架允許他們的模型從稀疏輸入信息中生成豐富的高頻細節。

值得一提的是，這三大階段都只用了一個生成器和一個判別器。訓練期間，在同一個生成器上利用漸進式策略可以減少時間和 RAM 內存成本。

研究者還探討了從圖像中隱式分解樣式潛在空間的缺陷，並證明了模型中的顯式色域為什麼在可控性和可解釋性方面表現更好。在實驗中，他們在重構真實圖像和將手繪草稿轉化為令人滿意的繪畫作品方面取得了出色的成果。此外，在邊緣到圖像轉換領域，他們的模型 PI-REC 在定量和定性方面評估真實性和準確性方面是最好的方法。

以下為論文中的部分實驗圖表數據：

（a）不同稀疏級別輸入結果。由於訓練時的 HC（超參數混淆）操作，本文的模型對用於測試的特定超參數不敏感。（b）對比有 HC 操作和無 HC 操作的輸出結果。當在訓練中應用 HC 操作時，研究者可以在局部細節上獲得更好的質量，而且能從非常稀疏的內容或樣式中獲得不錯的輸出。

手繪草圖轉化。上層表示手繪草圖與已編輯邊緣和色域相結合，下層表示輸出，它們對手繪圖輸入的微小變化會做出敏捷響應。

定性比較 PI-REC 與基線的結果。對於 MUNIT 和 BicycleGAN，研究者分別將真實圖像和顏色域作為樣式輸入，以便得到最好的重構輸出。顯然，經過精細化調整的 PI-REC 模型可以更準確地重構內容和顏色細節。

總體而言，該論文的研究者提出了一種用於圖像重構任務的新型漸進性模型 PI-REC。當只取超稀疏二值邊緣和平面色域的輸入時，能實現精細化和高質量的重構輸出。輸入的稀疏性和可解釋性保證了用戶對圖像內容或風格的自由、準確控制，這是對現有作品的重大改進。

該方法在 E2I 任務的標準基準測試中取得了較好的成績。同時，他們利用參數混淆操作（HC），在手繪圖紙轉換任務中取得了顯著的效果，從而推動了自動繪製技術的發展。如果兩個領域的內容相似，該方法也可以有條件地應用於 I2I 轉換任務中。

GitHub鏈接：https://github.com/youyuge34/PI-REC

PI-REC 安裝

基礎環境

Python 3

PyTorch1.0（0.4不支持）

NVIDIA GPU CUDA cuDNN

第三方庫安裝

複製這個 repo

從http://pytorch.org安裝PyTorch和依賴項

安裝python要求：

pip install -r requirements.txt

運行使用

提供以下兩種方式運行：

命令基礎行模式用來批處理測試整個文件夾數的圖片

繪畫 GUI 模式工具用來實現互動式創作

福利

CSDN本周發起Python狂歡福利群！不僅匯聚你身邊的Python人，一起交流成長，入群還有機會獲四重福利：

1、抽取錦鯉送門票！價值699元「2019 Python開發者日」門票，抽取幸運用戶送出。

2、送下載！50次CSDN下載權益每天抽。

3、送好課！人工智慧、大數據、Web等熱門好課連送七天。

4、送好書！每天抽送好評紙質書，一起成長吧！

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！