研究人員用面部怪癖來揭穿「深度偽造」視頻 | 矽谷洞察

更多精彩，敬請關注矽谷洞察官方網站（http://www.svinsight.com）

在觀看了數小時前總統奧巴馬每周發表講話的視頻片段後，Shruti Agarwal開始注意到一些關於奧巴馬說話方式的怪癖。

加州大學伯克利分校（UC Berkeley）計算機科學研究生Agarwal說：「每次他說『嗨，大家好』，他都會把頭向左或向右移動，然後捲起嘴唇。」

Agarwal和她的論文導師Hany Farid，即電子工程和計算機科學系以及加州大學伯克利分校（UC Berkeley）信息學院的教授，目前正在努力開發數字取證工具，以揭示「深度偽造」，即人工智慧生成的超現實視頻，視頻中人們做著或說著他們從未做過或說過的事情。

在奧巴馬的真實演講中看到這些方式給了Agarwal一個想法。

Agarwal說：「我意識到在所有這些深度偽造中有一個共同點，那就是它們往往會改變一個人說話的方式。」

Agarwal的洞察使她和Farid創造了對抗深度偽造的最新武器：一種新的法醫方法，可以利用一個人說話方式的微妙特徵，比如奧巴馬明顯的點頭和捲起的嘴唇，來識別這個人的新聞視頻是真實的還是虛假的。

Agarwal本周在位於加利福尼亞州長灘舉行的計算機視覺和模式識別會議上展示了他們的技術,該技術可用於幫助記者、決策者和公眾在政治或經濟領導人的虛假視頻出現之前領先一步, 這些視頻可能被用來推動選舉、破壞金融市場穩定，甚至煽動內亂和暴力。

「想像一下現在的世界,你讀到的新聞可能是真實的,也可能是不真實的——這就是我們自2016年選舉以來，過去兩年一直生活的世界——你看到的圖像和視頻可能是真實的,也可能不是真實的，」在7月1日開始在加州大學伯克利分校任職的Farid說。這不僅僅是偽造圖像和視頻方面的最新進展。正是這些技術注入了一個已經在宣傳假新聞、聳人聽聞的新聞和陰謀論的生態系統。

這項新技術之所以有效,是因為所有三種最常見的深度偽造——被稱為「嘴唇同步」、「換臉」和「木偶大師」都涉及將一個來源的音頻和視頻與另一個來源的圖像相結合,從而創造一個可以被敏銳的觀察者或複雜的計算機模型發現的斷開連接。

例如,使用「換臉」技術,通過將特朗普的臉疊加到亞歷克.鮑德溫模仿特朗普的視頻中,從而製造一個唐納德.特朗普的深度偽造,這樣,鮑德溫幾乎就像戴著貼身的特朗普面具一樣。但是鮑德溫的面部表情仍然會通過面具表現出來，阿加瓦爾說。

Agarwal說:「新塑造的形象將具有亞歷克.鮑德溫的表情和面部行為,但卻是特朗普的臉。」

同樣,在「嘴唇同步」的深度偽造中，人工智慧演算法提取一個人講話的現有視頻,並更改視頻中的唇部運動以匹配新音頻的語音,其中音頻可能是斷章取義的舊語音、模擬者說話或合成的語音。去年,演員兼導演Jordan Peele利用這種技術製作了一段病毒視頻，視頻中奧巴馬說了一些特朗普總統的煽動性言論。

但是在這些視頻中,只有嘴唇運動被改變,所以面部其他部位的表情可能不再與所說的話相匹配。

為了驗證這個想法, Agarwal和Farid收集了五位主要政治人物的視頻片段——希拉里.柯林頓、巴拉克.奧巴馬、伯尼.桑德斯、唐納德.特朗普和伊麗莎白.沃倫——並通過開源面部行為分析工具包OpenFace2進行分析，該工具包可以識別出面部抽搐，比如眉毛凸起、鼻子皺紋、下巴下垂和嘴唇緊閉。

然後,他們利用這些輸出來創建團隊所稱的"軟生物識別"模型,該模型將每個政治領導人的面部表情和頭部運動聯繫起來。他們發現每個領導者都有一種獨特的說話方式,當他們使用這些模型分析他們在南加州大學合作者製作的真實視頻和深度偽造時,依據領導者和視頻的長度，他們發現這些模型能夠準確地分辨出92% 到 96% 之間的真假。

「基本的想法是,我們可以為各種世界領導人，如 2020 年的總統候選人，建立這些軟生物識別模型, 然後，當視頻開始播放時，我們可以分析這些模型，並試圖確定它們是否是真實的。」 Farid說。

與一些數字取證技術不同,這種新技術通過識別製造過程中留下的圖像偽影來識別假製品,新技術仍然可以識別通過簡單的數字處理(如調整大小或壓縮)而更改的假製品。

但這並非是萬無一失的。這項技術在政治人物發表演講和正式講話時效果很好, 因為他們傾向於在這些環境中堅持精心排練的行為。但在其他場景下，這些人的視頻可能效果不佳：例如,奧巴馬在問候他的朋友們時可能不會點頭而表示同樣的特徵。

研究人員說,深度偽造的創始者也可以對這些語言模式更為精通,並學會將它們融入到他們為世界領導人製作的視頻中。

Agarwal說,她希望新技術將有助於在不斷進化的發現深度偽造的競爭中爭取一些時間。

Agarwal說: 「我們只是想在這個發現和創造新的深度偽造的貓和老鼠遊戲中取得一點優勢。」

原文作者：Kara Manke

原文鏈接: https://news.berkeley.edu/2019/06/18/researchers-use-facial-quirks-to-unmask-deepfakes/

更多精彩，敬請關注矽谷洞察官方網站（http://www.svinsight.com）

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！