女神被打碼了？一筆一划腦補回來，效果超越Adobe

栗子 曉查 發自 凹非寺

量子位 出品 | 公眾號 QbitAI

女神的照片花得像個二維碼，心不心痛，著不著急？

你需要一位PS高手。

或者，一隻AI。

上面這個毫不違和的修復成果，就出自一個今年新誕生的圖像修補演算法之手。

和完好的原圖比一比，還原度99 %，一眼望去，都是安吉麗娜·朱莉。

和從前的圖像修復AI不同，它在補圖的時候沒指望一步登天：

藍色輪廓是猜的

而是先勾出殘存部分的輪廓，再猜出整張圖的輪廓，最後把顏色填進去。

這個演算法來自加拿大的安大略理工大學，叫做EdgeConnect，修復效果甚至超越了Adobe登上CVPR 2018的演算法。

另外，名義上是修復圖像，事實上可以有很多有趣的用法。先舉一個栗子為敬：

你不想看到哪個人，用橡皮擦一擦，他就融化在背景里。

不過，最重要的是，它已經開源了。

描邊大法的勝利

先集中觀察一下修補效果。

首先，是人類與人類最好的朋友：

人類的朋友變成了大小眼，除此之外一切近乎完美，順便讓金髮妹子的蘋果肌立體了一些。

然後，是人文景觀與大自然：

一切恢復了安靜祥和，與橡皮擦侵襲之前的景象，並沒有太大的不同。

只是最後這一張，牛頓的棺材板懸空的柱子，不知道能支撐多久。但對一隻沒有學過經典力學的AI來說，也是合理的修復方案了。

跟原圖比過之後，再和其他圖片修複選手比一場。其中一道題是：

選手們的表現是這樣的：

其中，c是Adobe團隊入選CVPR 2018的方法，e和f是本文的描邊大法。

有趣的用法

有了這樣優質的方法，當然要拓展一下用途才好。

就像開頭提到的，把搶鏡的人類踢出去，是其中一種思路。

想把眼鏡摘掉的話，也是同樣的道理：

要讓兩座山看起來更般配，還是這個思路：

停，換一個思路。

把兩張圖拼起來怎麼樣？

比如有兩隻木屋，一個像夏天，一個像冬天。

把夏天的左邊和冬天的右邊拼到一起，夏天的畫風，便可以溫暖冬天的冷。

兩個膚色不同、臉型不同的妹子，也可以合體：

AI小畫家：先構圖後上色

如果說以前那些修補圖像的GAN只是用訓練數據填充，那EdgeConnect就是在模仿畫家的思路。

畫家作畫時，總是先把不同物體、不同顏色的部分用線條分割開來。先用線條構圖，然後再填充顏色。

以前面的花瓣為例，以前的演算法在恢復圖片時邊緣出現了扭曲，因為它們只是對圖像進行平滑過渡或者模糊處理，所以在色差變化明顯的邊緣不能很好地與背景區分。

但是，一張圖中不止有顏色變化平滑的部分，也包含不同顏色區域的邊緣。以往的GAN難以準確地重建這些物體邊緣。

而EdgeConnect是先把圖片已知部分轉換成一幅「白描畫」，用神經網路補全殘缺的筆畫，然後在此基礎上填充顏色。

EdgeConnect將圖像修復模型分為兩大部分：邊緣生成器（edge generator）和圖像補全網路（image completion network）。

邊緣生成器的作用，就是腦補缺失區域里物體的描邊，生成幻覺邊緣（hallucinated edges）。

要腦補空白部分的描邊，直接輸入殘缺的彩色照片是不行的。需要先用邊緣探測器(Edge Detector) 把照片變成不完整的白描稿，再讓生成器把這它補全。

探測器觀察的是已知區域。它對色彩區分越仔細，給已知區域描出的邊緣線，就越密集。

黑線是描的，藍線是腦補的 (不適用於下圖)

已知區域的線條密了，邊緣生成器為空白部分腦補的邊緣線，也就密了。

σ越小，探測越靈敏，腦補線條越密集

而線條過於稀疏的話，圖像修復的質量就不會太好 (比如，只描出了右眼的輪廓) 。

那麼，如果一條邊緣線也沒有呢：

AI幾乎是完全依賴從前見過的人臉特徵，想像出一張臉來。額頭顯得有些空曠了。

完成白描圖以後，我們就能給圖片上色，這一步類似於之前Philip Isola等人提出了的條件GAN框架pix2pix。

如果你還有印象，應該記得它能把抽象的簡筆畫變成一隻可愛的貓咪。

而圖像補全網路與pix2pix不同之處在於，除了補全的邊緣信息外，它還有一個殘缺的彩色圖像作為輸入。

圖像補全網路能根據已有的色彩信息，預測出缺失區域的顏色，並且要保證顏色變化不至於太突兀。

除了以上兩個部分外，EdgeConnect還包含一個端到端的可訓練網路，作用是結合前面的邊緣生成和圖像補全，進一步填補缺失區域的細節。

傳送門

開源PyTorch實現：

https://github.com/knazeri/edge-connect

論文地址：

https://arxiv.org/abs/1901.00212

另外，圖像修補這件事兒，PS大廠Adobe、顯卡大廠英偉達都很喜歡，量子位之前介紹過他們的成果：

—完—

加入社群

量子位AI社群開始招募啦，歡迎對AI感興趣的同學，在量子位公眾號（QbitAI）對話界面回復關鍵字「交流群」，獲取入群方式；

此外，量子位專業細分群(自動駕駛、CV、NLP、機器學習等)正在招募，面向正在從事相關領域的工程師及研究人員。

進專業群請在量子位公眾號（QbitAI）對話界面回復關鍵字「專業群」，獲取入群方式。（專業群審核較嚴，敬請諒解）

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回復「招聘」兩個字。

喜歡就點「好看」吧 !

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！