CMU研究員拿手機錄視頻，人臉3D建模高度逼真！
新智元報道
來源：techxplore
編輯：夢佳
拿手機拍一段視頻就能實現人臉3D建模，高度逼真！
還記得阿凡達里的3D人臉數字建模嗎？阿凡達的人物3D建模是利用通行已久的 LightStage 技術將目標對象360 度拍出各角度完整影像之後經過標記與微調後讓程式自動建模與貼圖。南加大團隊打造了擁有球體外型的「LightStage」硬體設施，劇組演員進進球體拍攝不同光線來源與亮度的照片，再運用計算機程序，打造逼真的人臉模型，進而做齣電影中的虛擬角色。
而這種3D人臉建模技術一般需要非常昂貴的設備和專業技術才行。而現在，卡內基梅隆大學的研究人員通過在普通的智能手機上錄一段視頻，就能輕鬆完成！而且效果逼真又不嚇人。
輕輕鬆鬆實現人臉3D建模
用智能手機連續拍攝包含面部正面和側面圖像的視頻會產生大量的數據。卡內基梅隆大學機器人學院研究中心開發了一個兩步過程，在深度學習演算法的幫助下，進行了人臉模型的數字重建。該團隊表示，他們的實驗方法精度可以達到亞毫米級別，比其他基於攝像機的建模過程效果更佳。
人臉數字技術的應用非常廣泛，可以用來製作遊戲，VR或者AR，也可以用於動畫、生物識別甚至醫療領域。一個精確的面部3D渲染也有助於打造定製的外科口罩或呼吸器。
動畫片中的應用
?VR虛擬現實應用
機器人學院的副研究教授 Simon Lucey 說: 「人臉的3D重建一直是計算機視覺和圖形學領域的一個懸而未決的問題，因為人臉面部特徵非常細緻入微。如果重建過程中出現輕微異常，也會讓最終結果看起來和實際的面部特徵差很多。」
激光掃描儀、結構光和配備多個相機設備的工作室可以產生高精度的面部掃描結果，但是這些專業的感測器對於大多數應用場景來說昂貴得讓人望而卻步。然而，卡內基梅隆大學新開發的方法只需要一部智能手機。
這個方法由Lucey 與碩士生 Shubham Agrawal 和 Anuj Pahuja 共同研發，於3月初舉行的 IEEE 計算機視覺應用冬季會議上展示。首先要拍攝15到20秒的一個視頻。研究人員使用iPhone x 的慢動作功能進行了拍攝。
「高幀率的慢動作是我們設計方法的關鍵之一，因為它生成了一個密集的點雲，」Lucey 說。
深度學習演算法助力建模
然後，研究人員採用了一種常用的技術，叫做視覺即時定位與地圖構建(SLAM)。可視 SLAM 將表面上的點進行三角測量以計算其精確的形狀，同時利用這些信息來確定攝像機的位置。這種技術可以創建人臉的初始幾何圖形，但缺少的數據會在模型中留下空白。
第二步，研究人員運用深度學習演算法來填補這些空白。然而，深度學習只能在有限的範圍內使用:它可以識別人的整體外觀和一些標記點，比如耳朵、眼睛和鼻子。然後使用經典的計算機視覺技術來填補SLAM的空白。
「深度學習是我們每天都在使用的一個強有力的工具，」 Lucey 說。「但是深度學習會傾向於記憶解決方案」 ，但是面部細節千差萬別，記憶功能並不利於區分這些差別。
這種方法比較耗時，需要30-40分鐘的處理時間。但是整個過程都可以在智能手機上完成。
除了面部重建，卡內基梅隆大學研究小組的方法也可以用來捕捉幾乎任何物體的幾何形狀。然後，這些物體的數字重建可以被整合到動畫中，或者通過網路傳輸到可以複製物體的3D 列印網站。
參考鏈接：https://techxplore.com/news/2020-04-smartphone-videos-highly-realistic-d.html
