Facebook如何用AI打造Oculus Insight內向外追蹤系統

查看引用/信息源請點擊：映維網

最先進的計算機視覺（CV）系統和視覺慣性即時定位與地圖構建（SLAM）

（映維網 2019年08月24日）為了充分發揮虛擬現實和增強現實的潛力，這項內向外追蹤技術需要支持在任何地點適應用戶所在的空間及其在真實環境中的移動方式。當Facebook開發首款無線VR一體機Oculus Quest的時候，這家公司就明白設備需要實現精確的實時位置追蹤功能，亦即意味著它必須緊湊和高能效。

延伸閱讀：Oculus Insight內向外追蹤技術的起步、發展與未來

Facebook在2018年的Oculus Connect大會及後續的博文中已經分享了不少關於Oculus Insight的細節。隨著搭載這項尖端技術的Quest和Rift S已經正式發售，Facebook希望向我們介紹研驅動Oculus Insight的人工智慧系統。下面是映維網的具體整理：

Oculus Insight標誌著消費者AR/VR設備首次實現了無線纜約束的六自由度頭顯和控制器追蹤。Facebook團隊是從零開始構建Oculus Insight堆棧，並且利用了最先進的計算機視覺（CV）系統和視覺慣性即時定位與地圖構建（SLAM）。

Oculus Quest頭顯中的攝像頭和追蹤感測器

Oculus Insight能夠以每毫秒的速度為頭顯和控制器計算精確的實時位置，從而可以將用戶的動作轉化至VR，並帶來逼真的臨場感。它利用SLAM來追蹤頭顯位置，並通過Constellation追蹤系統來確定控制器位置。為了提高系統的位置追蹤精度和響應時間，Oculus Insight的CV系統同時融合了頭顯和控制器的多個感測器輸入。

1. 用SLAM生成實時地圖和追蹤數據

學術領域在過去數十年間已經對SLAM技術進行了大量的研究，但這項技術是直到最近才開始成熟並足以滿足消費者應用，如無人駕駛汽車和移動增強現實。Facebook曾為移動設備發布了針對AR的SLAM技術，其可通過單個攝像頭和慣性測量單元（IMU）來確定智能手機位置並啟用「世界鎖定」內容（數字內容視覺錨定真實對象）。Oculus Insight屬於第二代產品，它集成了多個IMU數據，超廣角攝像頭和紅外LED組合的更多信息，可共同追蹤VR頭顯和控制器的六自由度位置。

為了確定對象相對於給定空間內其他對象的位置，Oculus Insight系統利用了定製的硬體架構和先進的計算機視覺演算法，包括視覺慣性映射，位置識別和幾何重建。這種新穎的演算法堆棧能夠支持VR設備精確定位其位置，識別房間幾何形狀的各個方面（如樓層位置），並確定頭顯和控制器相對於由Oculus Insight生成並不斷更新的3D映射的位置。這一過程所涉及的數據主要來自Quest和Rift S內置的三種感測器：

IMU的線性加速度和旋轉速度數據，可以支持系統以低延遲確定設備的方向和位置。

頭顯攝像頭的圖像數據有助於生成房間的3D映射和精確定位相關標記，如傢具角落或地板圖案。通過重複監測所述標記，Oculus Insight能夠補償漂移（IMU的常見挑戰，小幅度的測量差異能夠隨時間推移而不斷累積，從而造成位置定位不準確）。

頭顯攝像頭監測控制器的紅外LED，可幫助系統限制由多個IMU引起的控制器位置漂移。

當用戶移動時，Oculus Insight將檢測高對比度圖像中的像素，比方說窗角。隨著時間的推移，系統將逐圖像地追蹤和關聯高對比度圖像區域。給定足夠長的監測基線，Oculus Insight可以對周遭環境中每個點的3D位置進行三角測量。這構成了系統3D環境映射的基礎。

SLAM的首個主要應用是機器人技術，特別是早期的自動駕駛車輛。所述的用例依賴於大量的計算資源（多個車載PC），以及昂貴（導航級IMU）和高耗能（如3D激光雷達系統）的感測器。近來，工程師們推出了允許SLAM支持較低性能硬體的技術，包括用於遊戲和AR濾鏡效果的智能手機。儘管基於智能手機的增強現實可以接受絲許的延遲或定位誤差，但對於消費者SLAM用例，無線VR需要前所未有的速度和精度。這是因為對於手持式AR，3D效果只佔據用戶整體視場的一小部分，並且為了減少延遲內容可以進行時間同步。相比之下，VR內容佔據了用戶的整個視場，系統需要以匹配用戶的移動速度進行響應。所以對VR而言，任何潛在的定位錯誤都會更加明顯，並且顯著增加了Insight支持Oculus Quest和Rift S的難度。

通過自動識別環境中的特徵，SLAM能夠解決所述挑戰，並允許Oculus Insight將玩家的當前位置整合到VR世界之中。Insight同時利用了具有動態阻尼的外推功能來幫助預測用戶頭部和手部在未來幾毫秒的移動位置。這存在大量的優勢，包括減少抖動等視覺卡頓問題（衡量追蹤系統的關鍵指標之一）。為了實現舒適的VR體驗，追蹤應該要維持在亞毫米範圍內。在大多數環境中，Insight已經超出了這個目標。

要實現沉浸式體驗，另一個需要避開的主要問題是延遲。物理運動和對應虛擬運動之間的任何延遲都會降低現實感。通過利用低延遲的IMU數據，以及預測用戶未來運動的運動模型，Oculus Insight能夠有效消除明顯的延遲。我們將在下一節中介紹包含SLAM數據的感測器融合過程，但減少抖動和延遲是Insight實現高水平真實感能力的核心。

SLAM同時存在其他更微妙的優勢，如幫助減少所謂的「Swimminess」，即因物理運動沒有正確轉化至相應VR運動而導致的失向感，如用戶揮劍時劍刃揮舞的速度過快或穿行距離過遠。這個問題與由延遲造成的遲滯運動不同，而Insight能夠依靠高追蹤精度來避免因真實運動和虛擬運動之間的差異所引起的Swimminess。

2. 通過動捕和設備模擬提高精度

要構建一個能夠解決如此廣泛的潛在問題的系統，並且將其納入至能夠滿足消費者市場需求的產品，這意味著需要解決同樣廣泛的技術挑戰。大多數挑戰與兩個目標相關：精度和效率。

精度的某些方面很容易量化，例如為幫助減少抖動所達到的亞毫米級追蹤精度。但對於其他方面（如Swimminess），至少有一部分原因是基於用戶的主觀感受。例如，網球拍的揮舞可能看起來太快或太遠，但基於感測器的測量不一定會將其記錄作為一個錯誤。量化，以及最終彌合物理運動和虛擬運動之間的差距需要一種全新的衡量方法。

Facebook的解決方案是，對由OptiTrack攝像頭陣列採集的動捕數據與感測器數測量據進行深入的分析。Facebook在工作室及員工家裡設置了這種用於好萊塢視覺特效製作的攝像頭陣列。OptiTrack系統將追蹤被試的頭顯和控制器的照明器。這使得Facebook能夠計算Quest和Rift S用戶的精確Ground-Truth三維位置，然後團隊將所述測量值與Oculus Insight的位置追蹤演算法進行比較。根據OptiTrack動捕數據和Insight位置數據的潛在偏差，工程人員對演算法進行微調。通過在數百個具有不同照明，裝飾和房間大小的環境中（所有這一切都會影響Oculus Insight的精度）進行測試，Facebook大大優化了系統。

除了利用物理測試環境外，Facebook同時開發了可以重放數千小時的錄製視頻數據，並在查看給定視頻序列時標記系統性能變化的自動化系統。由於Quest基於移動晶元組，所以團隊構建了一個模擬移動設備性能的模型，並用伺服器計算機運行（如Facebook數據中心的計算機）。這使得Facebook能夠進行大規模的重放，併產生代表Quest實際性能的結果，然後他們能夠在頭顯條件的約束下優化Insight的演算法。

3. 設計極高效的CV

精度對Insight的位置追蹤很重要，但前所未有的CV效率同樣如此。Oculus Quest需要以相當於PC和主機的解析度和幀速率渲染實時高端圖形，而在某些情況下的解析度和幀速率甚至高於PC和主機，而Quest需要以低於PC或主機兩個量級的功耗實現這一點。另外，設備同時需要運行實時SLAM和控制器追蹤系統。要憑比現代PC低了計算量級，總功耗低兩個量級，以及內存和帶寬顯著更少的系統中支持所有這一切，這毫無疑問是一項重大的系統挑戰。

沒有一種能夠簡化這種計算管道的方法，而團隊為此進行了多線程調整，其中一系列的操作都是非同步發生。

Oculus Insight實時處理多個數據線程：映射器線程修改映射；將更新副本發送到追蹤器線程，後者利用camera幀來估計映射器提供的幀的姿態；IMU線程利用IMU的測量來更新SLAM狀態。

例如，Facebook採用了包含非同步映射更新的Quest專用數字信號處理優化，這允許系統根據用戶環境的變化來而在後台進行優化和更新映射。同時，IMU數據在更高優先順序的線程運行，而輸出則存儲在共享內存緩衝區中，從而能夠最大限度地減少系統延遲。

4. 空間AI的未來

Oculus Insight是無線AR/VR技術的基礎，同時為Quest用戶提供了高能效，高定位精度的無線體驗，使得他們能夠自由在遊玩空間中暢玩VR的樂趣，同時能夠避開現實世界的障礙。對於探索SLAM的研究人員，以及任何能夠受益於低功耗，高精度房間映射的系統而言（如數字助理和物理機器人），Facebook的這項研究可能會產生廣泛的影響。

Facebook的長期願景是將空間AI技術融入至他們正在構建的所有聯網設備和平台，而這個系統正是其中的一部分。到目前為止，Facebook的空間AI應用程序包括Oculus Insight（它證明了這種方法可以支持消費者應用），以及Facebook Reality Labs為Replica數據集創建的逼真三維重建。但這項技術的未來是具有空間意識的全天候可穿戴AR眼鏡。這個目標意味著Facebook需要解決運行SLAM的更多挑戰，包括進一步減少延遲並將功耗降低至頭顯SLAM所需的2％。清除所述障礙將需要硬體方面創新，以及AI的進步，從而進一步優化合成多個感測器輸入的過程。這個項目的最終目標是實現不僅更具沉浸感，同時能夠融入至物理世界的AR和VR體驗。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！