Facebook提出圓柱體外設,高速、精確追蹤手指、拇指位置
文章轉載,請直接留言並註明公眾號ID
查看引用和消息源請點擊:映維網
精確追蹤手勢
(映維網 2019年04月19日)在穿戴VR頭顯後,用戶一般無法看到雙手的存在。為了支持用戶通過雙手與虛擬環境交互,有必要渲染所述肢體的臨在。VR系統可以利用手部追蹤系統來追蹤雙手的運動和位置,進而在虛擬環境中渲染它們。
但根據美國專利商標局日前公布的一份授權專利,Facebook認為傳統的系統無法精確追蹤用戶手指和拇指的位置,因此無法精確描述手部的狀態。所以,這家公司提出了一種用以高精度追蹤和響應用戶手勢的圓柱形追蹤設備。
專利文件概述道:「專利描述的系統包括:電子顯示器,其配置為根據顯示指令顯示一個或多個模擬對象;成像感測器,配置為捕獲用戶手部圖像;以及控制台。控制台配置為根據捕獲圖像提取用戶的手部關節信息,並根據所述關節信息確定一個或多個姿勢。根據確定的姿勢,控制台更新顯示指令。」
Facebook進一步解釋說,為了實現精確的捕獲,成像設備可以通過各種方法來捕獲環境的深度數據,如利用發射網格圖形的發射器,以及先進的計算機視覺演算法。
所述的控制台(圓柱形設備)可以包含應用儲存,追蹤模塊,以及執行引擎。其中所述的應用包括遊戲應用,視頻播放應用或其他合適的應用程序等等。由應用程序生成的內容可以響應於從用戶接收的輸入。
控制台中的追蹤模塊可以利用一個或多個校準參數校準系統環境,並調整一個或多個校準參數,從而減少判斷姿勢判斷誤差。另外,系統可以結合IMU組件的信息來幫助校準。
追蹤模塊可以利用深度學習模型來判斷用戶手勢姿態。這一深度學習模型可以是神經網路,如卷積神經網路,更具體來說是殘差神經網路。因此,控制台可以根據捕獲圖像提取用戶的手部關節信息,從而幫助精確判斷手部姿態。
Facebook進一步指出,利用這樣的系統,「用戶將能執行導致模擬虛擬現實,增強現實,和/或混合現實環境中出現各種變化的手勢。」
相關專利:High Resolution Tracking And Response To Hand Gestures Through Three Dimensions https://patent.yivian.com/3352.html
名為「High Resolution Tracking And Response To Hand Gestures Through Three Dimensions(三維手勢的高解析度追蹤與響應)」的專利是於2017年5月提交,並於日前由美國專利商標局獲批公布。另外,這僅僅只是一份專利,僅代表Facebook朝這一方向進行了探索,尚不確定他們是否會或將於何時商業化具體的發明。
※Magic Leap想用區塊鏈技術來保護用戶個人數據
※索尼專利為PS VR近視用戶設計眼動追蹤近視眼鏡
TAG:映維VR |