拍照時不小心閉眼了？交給Facebook新AI工具來拯救！

拍照時正好閉眼了怎麼辦？

不用重拍，用Facebook黑科技來拯救！

深度學習讓計算機「腦補」，風格轉移合成逼真細節

Facebook在他們發表於CVPR 2018的論文「Eye In-Painting with Exemplar Generative Adversarial Networks」中描述了這項工作。

這裡提到的「In-Painting」，也即圖像補全，最初是一個傳統圖形學的問題，在一幅圖像上挖一個洞，看如何利用其他的信息將這個洞補全，並且讓人眼無法辨別。

這個問題對人類來說似乎很容易，只要稍微想像一下，大家很容易就能腦補出洞里應該有什麼。但是，這個任務對於計算機而言卻十分困難，因為這個問題沒有唯一確定的解，如何利用其他的信息，如何判斷補全的結果是否足夠逼真，都是要考慮的問題。

近來，深度學習的發展，得益於神經網路對圖像中高層特徵（high-level feature）的提取能力，研究人員可以將大數據和high-level feature組合起來，使這個十分困難的問題得到了比較好的解決。

例如，2017年，來自伯克利和Adobe等機構的研究人員提出了一種混合優化方法（joint optimization），利用編碼器 - 解碼器CNN的結構化預測和神經補丁的力量，成功合成了實際的高頻細節。

對於給定的一張帶有孔洞（256×256）的圖像（512×512），演算法可以合成出更清晰連貫的孔洞內容（d）。上圖展示了混合優化方法與用Context Encoders（b）、PatchMatch（c）這兩種方法產生的結果的比較。

類似於風格轉移（style transfer），他們的方法將編碼器 - 解碼器預測作為全局內容約束，並且將孔洞和已知區域之間的局部神經補丁相似性作為風格（style）約束。

補全眼睛，還是個大問題

但是，上述方法還是存在種種局限，其中之一就是對眼睛的補完。

這並不是說眼睛——「人類心靈的窗口」很難模擬。實際上，目前的深度網路已經能在語義上產生逼真的、令人信服的結果。

但是，大多數方法並不能保留照片中人物的「身份」（identity）。DNN可以學習「打開」一雙閉合的眼睛，但是模型本身並不能保證新的眼睛對應於這個人的特定眼睛結構。

DNN只會插入一雙與訓練集中相似的臉相對應的眼睛。這時候，如果一個人有一些明顯的特徵，比如眼睛的形狀比較特別，就不會在生成的部分中得到體現。

在測試中，人們錯誤地將虛假的睜眼照片誤認為是真實的照片，或者說他們不能確定哪些是真實的，認為這樣的被測試者超過了50%。除非觀看者知道一張照片被篡改，否則，如果只是在新聞採訪中滾動瀏覽照片，可能也不會特別注意。不過，如果仔細看起來還是有點奇怪。

據Facebook相關研究人員介紹，在某些情況下，此功能仍然會失效，如果一個人的眼睛被頭髮部分覆蓋，或者有時不能正確地重新創建顏色，就會產生奇怪的偽影。目前，研究人員正在解決這個問題。

你可以想像一下，Facebook上的一個自動開眼界工具的用處，它可以檢查一個人的其他照片，並用它們作為參考來代替最新的照片。這有點令人毛骨悚然，但這對Facebook來說非常標準，至少它可以挽救一兩張合影照片

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！