加入AI實時處理，谷歌闡釋ARCore中AR濾鏡原理

上個月，青亭網曾報道谷歌ARCore更新1.7版，並新增AR自拍API：Augmented Faces。據悉，該API的功能曾被谷歌用來製作了YouTube Stories中的 AR濾鏡可讓用戶在自拍中添加動態面具、眼鏡、3D帽子。

Augmented Faces

近期，谷歌發文闡釋了Augmented Faces所使用的機器學習技術，並表示若想要實現虛擬內容在真實環境的精準定位，則需要一系列感知技術，用以追蹤高動態表面，從而捕捉微笑、皺眉或傻笑等表情。

為了實現精準的感知，谷歌利用機器學習來推測大概的3D表面結構，然後在此基礎上加上視覺特效。這麼做的好處是，只需要一個攝像頭就足夠，不需要使用專門的3D感測器。

這種方法採用TensorFlow Lite軟體幫助手機對錶面進行檢測，可實時添加AR特效，使用這種簡化模型的好處是，可大大提高計算速度，對AR特效的質量影響也很小。

Augmented Faces的效果是，可通過環境識別對玻璃表面的渲染，模擬光線反射，模擬自然光在人臉上加入虛擬陰影，模擬虛擬物體對人臉產生的遮擋（比如眼鏡濾鏡）。

同時，這個功能還能夠實現逼真度極高的彩妝特效，尤其是能夠自然模擬光線在人嘴上的折射，或者模擬採用感光材料的人臉彩繪。

此外，谷歌還闡釋了其機器學習技術生成AR自拍濾鏡的方法，簡單來講就是同時運行兩個實時深度神經網路模型：一個負責檢測整張圖像並計算人臉位置的探測模型，另一個是通用3D網格模型，它會通過回歸的方式檢測並預測大概的面部結構。

這種方式可準確地對人臉進行摳圖，進而大量減少對旋轉、轉化和縮放等仿射變換需要大量數據的操作的依賴，同時它會將大部分計算用於提高表面預測的準確性上，以提升數字內容定位的準確率。

摳圖完成後，接下來是通過視窗化平滑的方式為每一幀添加3D網格，目的是給靜止的面部表情降噪以及避免在表情幅度大的時候產生滯後。

經過反覆訓練和迭代後，谷歌的這款模型還能在難度較大的場景識別人臉，比如鬼臉、偏斜的角度和遮擋。

對此項技術感興趣的創作者、用戶和開發者可使用YouTube Stories的全新創作者特效功能，或者下載最新版ARCore SDK（1.7版）和ML Kit人臉檢測API。最後，谷歌還表示在未來會將這項技術用在更多產品中。本文系青亭網翻譯自：Google AI Blog

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！