【新智元導讀】前不久，AI換臉楊冪，「復活」哥哥都火了一把。近幾日，氣質美女林青霞也被AI舊照換新顏，猝不及防的上了熱搜。快來一睹林青霞的傾國容顏吧！

AI修復的林青霞猝不及防上了熱搜。

網友們紛紛感嘆好美好有氣質，甚至還有人起鬨說道：「趕緊把7080年代的時候的港台男女明星都修復一下，那時候顏值基本上個個都賞心悅目。」

先給大家上一波福利。

上圖中既有林青霞拍電影時的劇照，也有日常生活的照片。經過AI修復後，原本模糊，噪點極大照片變得相對較為清晰。用網友的話說，大方立體的五官，富有線條感的臉部輪廓，AI修復的林青霞，真的美到讓人驚嘆！

圖像修復術與一鍵磨皮不同

在一片拜倒、讚美的聲浪中，也有網友提出了疑問：「這就是一鍵磨皮」？

儘管修復老照片，一鍵磨皮，都利用了卷積神經網路，但二者並不一樣。

修復老照片是利用AI演算法替代圖像數據中缺失或者損壞的部分。而一鍵磨皮是在保護頭髮、眼睛等細節部位外，其它部位進行模糊處理，相當於是一種粗糙的去雜訊的方式，並不能很好的去除模糊和提升清晰度。

常用的磨皮演算法包括均值模糊、高斯模糊、中值濾波等，它們的去噪效果很好，但視覺效果太差。效果比較好的去噪演算法是雙邊濾波演算法。

一位接受採訪的圖像識別專家告訴我們，AI修復的林青霞照片採用的演算法包括，人物區域監測，任務區域去噪音，去模糊等演算法。

通常來說，圖像修復包括多種任務：降噪/去噪、超解析度重建、圖像填充、圖像去模糊、JPEG去塊等。

傳統上，圖像修復可以使用基於擴散方法來處理，這種方法將局部結構傳播到位置部分，或者基於示例的方法，每一次構建缺失部分的一個像素點（塊）同時保持和周圍像素點的一致性。

當缺失部分很大時，這些方法會失效，因此需要一個額外的部件提供合理的想像力（來自機器的幻覺）。這些附加的信息可能是由自然圖像的高階模型提供，例如由深度神經網路計算的那些。

依賴預訓練神經網路的幻覺來填補圖像中的大洞。深度神經網路使用監督圖像分類。在監督圖像分類中，每個圖像都有一個特定的標籤，並且神經網路通過一連串的基本操作運算來學習圖像到標籤之間的映射。

當在巨大的數據集（數百萬張帶有成千個的標籤的圖像）上被訓練後，神經網路具有卓越的分類表現並且偶爾可以超越人類的準確率。實施一個判別式預訓練的神經網路來指導圖像重建，其中神經網路的最後一層在圖像修復問題中被直接運用。

在圖像修復過程中，最值得關注的信息有哪些呢？上述接受採訪的圖像識別專家告訴我們，「圖像修復過程中，人物區域的識別信息，相關圖片的雜訊強度，模糊程度信息很關鍵。」

結合深度學習的圖像修復是如何實現的？知乎答主QZhang 為大家整理了13篇論文，供學習參考：

CVPR 2016的Context-Encoders（CNN+GAN， 鼻祖級的 NN修復方法）。

鏈接：

https://arxiv.org/abs/1604.07379

CVPR 2017的High Resolution Inpainting(Context-Encoders+CNNMRF框架)，結合了風格遷移的思路。

鏈接：

https://arxiv.org/abs/1611.09969

ICCV 2017的on demanding learning(本質上還是Context-Encoders的衍生版)。

鏈接：

http://vision.cs.utexas.edu/projects/on_demand_learning/

SIGGRAPH 2017 (ACM ToG)的Globally and Locally Consistent Image Completion (CE中加入Global+Local兩個判別器的改進)。

Github代碼：

https://github.com/satoshiiizuka/siggraph2017_inpainting

ECCV 2018的Image Inpainting for Irregular Holes Using Partial Convolutions （引入了局部卷積，能夠修復任意非中心、不規則區域）。

鏈接：https://arxiv.org/abs/1804.07723

CVPR 2018的Generative Image Inpainting with Contextual Attention，一作大佬jiahui Yu 後續還有個工作: Free-Form Image Inpainting with Gated Convolution。

Github代碼：

https://github.com/JiahuiYu/generative_inpainting

ECCV 2018的Shift-Net: Image Inpainting via Deep Feature Rearrangement （哈工大 左旺孟教授組的工作）效果也不錯。

Github代碼：

https://github.com/Zhaoyi-Yan/Shift-Net_pytorch

ECCV 2018的Contextual-based Image Inpainting，inpainting大佬Chao Yang(NPS的一作)等人的又一力作。

鏈接：

https://arxiv.org/pdf/1711.08590.pdf

ACM MM 2018的Semantic Image Inpainting with Progressive Generative Networks，簡稱PGN，採用了由外至內的步進式修補策略。

Github代碼：

https://github.com/crashmoon/Progressive-Generative-Networks

NIPS 2018的Image Inpainting via Generative Multi-column Convolutional Neural Networks，用了不少trick。

Github代碼：

https://github.com/shepnerd/inpainting_gmcnn

ArXiv 2019（不清楚作者投哪了）的EdgeConnect: Generative Image Inpainting with Adversarial Edge Learning, 採用邊緣推斷信息的思路進行重建。

Github代碼：

https://github.com/knazeri/edge-connect

CVPR 2019的Foreground-aware Image Inpainting, 思路類似於上面的工作，也是先推斷生成輪廓邊緣，輔助缺失區域進行修復。

鏈接：https://arxiv.org/abs/1901.05945

CVPR 2019的Pluralistic Image Completion。

鏈接：https://arxiv.org/abs/1903.04227

本文經授權轉載自微信公眾號：圖靈TOPIA，ID：turingtopia

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！