結合深度數據和骨架，清華大學研究單深度相機實時動捕技術DoubleFusion
文章相關引用及參考：techcrunch
你知道為什麼在動捕設置中，演員必須穿上緊身衣嗎？
（映維網 2018年06月19日）隨著增強現實技術的日漸流行和深度追蹤攝像頭開始登陸各款旗艦手機，提高計算機對人體運動追蹤的時機已經成熟。現在映維網了解到，一項全新的計算機視覺系統甚至可以隔著衣服抽離人體運動。
一個基本的問題是，如果你要在電影或AR遊戲中捕捉運動中的人體，衣服所造成的模糊感將會令人感到沮喪。你知道為什麼在動捕設置中，演員必須穿上緊身衣嗎？因為只有這樣系統才能更準確地識別各肢體的位置。
即便是相當緊身的牛仔褲，這都會影響計算機對身體位置的捕捉。
這份最新的研究結合了深度數據和智能假設，利用一種X射線視覺來揭示衣服下面的人體形狀和位置，即使在跳舞這樣的快速動作時也能實時支持。
這篇論文是基於兩個以前的方法：DynamicFusion和BodyFusion。前者通過單攝像頭深度數據來估計身體姿勢，但在快速移動或遮擋情況下效果不佳；後者則使用骨架來估計姿勢，但同樣在快速運動中表現不佳。研究人員將這兩種方法合併為「DoubleFusion」，通過單個深度相機對動態人體進行採集，從深度數據中創建一種合理的骨架，然後通過距離適當的皮膚對其進行收縮包裹。
如上所示，攝像頭的深度數據與人物的一些基本參考圖像組合在一起，然後生成一個骨架並追蹤身體的關節和末端。右邊的是，DynamicFusion（b），BodyFusion（c）和DoubleFusion（d）的結果。
我們可以看到，DoubleFusion的效果比單獨任何一種方法都要好，可以在一系列的姿態和服裝下生成優秀的身體模型：
但一個缺點是，如果用戶身穿太多衣服，系統往往會高估一個人的體型。沒有簡單的方法來判斷某個人是否體型巨大，或者只是身穿一件厚重的毛衣。當用戶與一個單獨的對象進行交互時，如桌子或遊戲控制器，系統同樣表現不佳：它可能會試圖將這一切解釋為四肢的奇怪擴展。研究人員正計劃在未來解決這一系列的問題。
論文作者包括清華大學的于濤，鄭澤榮和郭凱文，但北京航空航天大學，谷歌，南加州大學和馬克斯普朗克研究所的研究人員也有參與其中。值得一提的是，該研究工作得到了國家自然科學重點項目和優秀青年基金的資助。
研究團隊在論文中寫道：「我們相信，我們方法的穩定性和準確性將能支持眾多的應用，特別是AR/VR，遊戲，娛樂，甚至是虛擬試裝，因為我們同時重構了身體形狀。藉助DoubleFusion，用戶第一次真正可以輕鬆實現數字化。」
相關論文：Yu DoubleFusion Real-Time Capture_CVPR 2018
文章《結合深度數據和骨架，清華大學研究單深度相機實時動捕技術DoubleFusion》首發於 映維網。
TAG:映維VR |