AI「照妖鏡」：不僅知道你P過圖，還知道你P圖前長啥樣

機器之心報道

機器之心編輯部

識別 PS 照片的問題，還是需要依靠推出 PS 的公司 Adobe 來解決。

現在的社交媒體上充斥著各種自拍，而且其中大部分人物都長得挺好看。但大家心知肚明的是，這些照片大多被 P 過。有很多人甚至因為 P 得一手堪比「整容」的照片而走紅。

雖然只是出於愛美之心，但不可否認的一個事實是，這些「照騙」的盛行，的確讓我們對社交媒體的信任日漸下降。

隨著技術的發展和流行，製作這種假照片的門檻越來越低，幾乎人人都可以是修圖大師，更不用說手機廠商和科技公司已經有實時 AI 美顏技術了。

如果有人利用 P 過的圖來行騙，成功率估計也會相應提高。

那我們要如何識別這些被 P 過的照片呢？

眾所周知，PS 是美國公司 Adobe 推出的一款專業圖形編輯軟體 Photoshop 的簡稱。自 1990 年發布之後，Photoshop 已經成為創造力和藝術表達進步的重要組成部分，甚至廣泛影響了我們的視覺文化。但誰曾想到作為「萬惡之源」的 Adobe 也在研究破解 PS 的方式。

最近，Adobe 的研究人員和來自 UC Berkeley 的合作者開發了一種檢測圖像 PS 痕迹的方法。該方法效果如何呢？請先看下圖：

如果對比左右兩張圖，你可能會發現右圖的臉頰更寬，而左圖中更瘦，尤其是靠近下巴一塊；右圖的嘴角下垂，而左圖嘴唇是微笑的狀態。

但如果只看左圖呢？你能看出來臉頰被 P 過的痕迹嗎？可能下巴左邊 P 得過了點，往裡凹了一塊，有點明顯；但右邊 P 得算是不錯了，不太明顯，小編看了半天才發現（可對比右臉下方邊緣至旁邊白色圓圈的距離）。

但是你看中圖的檢測分析，該方法圈出了右邊嘴角和左臉頰下方的 PS 痕迹，且右臉頰下方用紅色標註了。

此外，研究人員通過實驗對比發現，人工檢測 PS 照片的準確率僅為 53%，而他們提出的方法檢測 PS 照片的準確率高達 99%。

準確率對比。

演算法原理

這項研究利用卷積神經網路識別「修」過的人臉圖片，由 Adobe 研究科學家 Richard Zhang、Oliver Wang 以及 UC Berkeley 的 Shen-Yu Wang、Andrew Owens 與 Alexei A. Efros 參與完成。

Adobe 之前對 PS 圖像的檢測工作主要集中在拼接、移除、複製方面，而這項研究主要針對 Adobe Photoshop 自帶的功能「臉部感知液化」（Face Aware Liquify）。

臉部感知液化可以先識別人臉五官，然後用戶可以使用它進行相應的修改，如眼睛大小、額頭寬窄、瘦臉、鼻高等，還可以輕鬆調出微笑唇。

Liquify 工具堪稱修圖神器，而且使用起來也非常簡單。

果然是「以子之矛攻子之盾」啊，Adobe 這項新研究對自己之前推出的「美顏」功能下手了！

根據 Adobe 博客介紹，這項新研究試圖解決以下基本問題：

• 是否可以創建一個比人類識別「修圖」還可靠的工具？
• 該工具能否指出到底「修」了哪兒？
• 能否撤回對原圖的「修改」？

還是以上文的人臉圖像為例，右一為原圖，左一為 PS 後的圖像（Manipulated photo），左二展示了 Adobe 這項新研究的功力：它發現了修圖的具體位置（Detected manipulations），那麼右二是什麼呢？

仔細觀察右一和右二，區別大嗎？

Adobe 這項新研究把修過的地方又修回去了！

對比左一、右二和右一，可以看到，三張圖存在一些細微差別。三張圖的嘴角弧度不同，原圖很明顯是下垂的，而修過的圖片則是微笑唇，撤銷修圖後的圖片嘴角弧度則處於中間狀態。

這些圖像被 P 過嗎？

研究人員訓練了一個卷積神經網路，以識別出修改過的人臉圖像。具體而言，他們使用為 ImageNet 分類任務訓練的 ResNet50 [13] 架構，然後針對該任務進行微調。

另外，他們通過編寫 Photoshop 腳本創建了圖像訓練集，以在數千幅抓取自網路的照片上進行臉部感知液化調整。

研究人員隨機選擇這些照片的子集進行訓練。他們還請了一名美術師來手動修改一些圖像，並將這些圖像混入了數據集中。這樣的做法拓寬了測試集中圖像的修改和技術範圍，超出了那些合成圖像。

該研究所用數據集的具體數據。

訓練數據集中的隨機樣本示例如下圖所示：

Adobe 研究人員 Oliver 表示：「我們首先向人們展示一對圖像（修改前和修改後），他們知道其中一幅圖像被修改過。若我們的方法能夠行之有效，那它在識別編輯過的人臉時效果應顯著優於人類。」

實驗對比發現，人工檢測 PS 照片的準確率僅為 53%，而他們提出的方法檢測 PS 照片的準確率高達 99%。

到底動了哪兒？能還原回去嗎？

這個工具還能確定面部修改的特定區域和方法。此外，在實驗中，該工具可以將修改後的圖像還原至它們初始狀態，還原效果相當不錯。

具體而言，研究人員預測從原圖 X_orig ∈ R^(H×W×3) 到修改後的圖 X 的光流場（optical flow field）U? ∈ R^(H×W×2)。之後，研究人員嘗試「撤銷」修改，將圖像恢復為原圖。

研究人員訓練了一個光流場預測模型 F 來預測像素扭曲場（perpixel warping field），衡量其與每個樣本真實光流場 U 之間的距離（通過計算原圖和修改後的圖之間的光流得到）。

下圖展示了光流場的一些示例。

損失函數公式如下所示：

其中，X 是修改後的圖像，U 是真值光流場，L_epe 表示光流場之間的誤差。

研究者試圖使光流場更加平滑流暢，於是使用以下損失函數：

UC Berkeley 的教授 Alexei A. Efros 說道：「這聽起來似乎是不可能的，因為面部幾何形狀存在著大量的變化。但如果深度學習能夠查看低級圖像數據（如扭曲偽像）和高級線索（如面部布局），那這種方法似乎是行之有效的。」

那麼如何「撤回」對圖像的修改呢？

我們現在已經預測到了原始圖像到修改圖像的光流場，基於此，就可以通過「逆扭曲」來恢復原圖。重建損失函數為：

而直接使用該重建損失函數會導致低紋理區域出現模糊和偽影，於是研究者聯合訓練以上三個損失函數：

總之，在架構層面上，研究人員使用在 ImageNet 數據集上訓練的 Dilated Residual Network variant (DRN-C-26) [37] 作為基礎網路，來進行局部預測。

至於光流場回歸網路，研究者首先將該問題重塑為多項式分類，然後再針對光流場回歸進行微調。在計算真值光流場時，研究者使用的是 PWC-Net [32]。

應用何時上線？

Richard 補充道：「製作一個神奇的「撤銷」按鈕來恢復圖像編輯的想法離現實還很遙遠。但在我們生活的這個世界裡，人們越來越難以信任自己消費的數字信息，所以我們非常期待這一領域的進一步研究。」

我們看到的明星照片大多經過了 PS。

與此同時，Adobe 正在進行大量研究項目，以幫助驗證自身產品所創建的數字媒體的真實性，並識別和阻止濫用現象。

Adobe Research 負責人 Gavin Miller 表示：「該方法在檢測某些類型的圖像編輯領域邁出了重要一步，同時撤銷功能的效果也出奇得好。但除了這種人臉識別方法，有經驗的公眾才是最好的圖像鑒定者。」

Adobe 目前還沒有立即將這項研究成果轉變為商業產品的計劃，一位發言人表示，這只是 Adobe 在更好地檢測圖像、視頻、音頻和文檔操作方面的眾多努力之一。

不過演算法已經推出，應用還會遠嗎？看來解決 AI 造假的問題還是要靠 AI。

參考內容：

https://theblog.adobe.com/adobe-research-and-uc-berkeley-detecting-facial-manipulations-in-adobe-photoshop/

https://www.theverge.com/2019/6/14/18678782/adobe-machine-learning-ai-tool-spot-fake-facial-edits-liquify-manipulations

https://arxiv.org/pdf/1906.05856.pdf

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！