ARKit 玩出新高度：iPhone＋紙盒眼鏡怎麼實現 Inside-out 追蹤？

自從蘋果推出 ARKit 之後，不少開發者已經玩瘋了。繼ARkit+HTC Vive 玩《Tilt Brush》的視頻引來眾人圍觀後，又有一家內容團隊把 ARKit 玩出了新高度。

這家團隊名叫 Nexus Studios，他們將 ARKit 開發的 demo，與紙盒眼鏡 Cardboard 結合，在戶外展示了所能實現的效果。

從視頻中，我們能看到，戴上 Cardboard 之後，你眼前的內容一會兒切換成 AR，真實環境與虛擬的內容一同顯示，一會兒切換成 VR，完全進入虛擬的世界中，相當有意思。

Nexus Studio 稱「在 iPhone 7 上實現 AR 效果，以及達到每秒 60 幀 VR 畫面 Inside-out 追蹤，是完全有可能的。」但還是有一些小問題，「不能快速地移動頭部，只要你在內容呈現的『畫廊範圍內』走動，定位追蹤的效果還不錯。」

Nexus Studios 的互動藝術部門負責人 Luke Ritchie 向外媒表示，他們測試了 10 分鐘，他透露到"說實話，追蹤確實很棒。如果快速轉動頭部，畫面會不穩定。快速移動和稍長的延時會讓人感到有些不舒服。我們不建議現在就拿給消費者使用。"

樹旁邊是虛擬的畫

在這個測試視頻中，有兩點比較有意思，一是這個 demo 在戶外測試，並且有一定空間範圍的移動，其中蘋果手機怎樣實現定位追蹤的？另外， VR、AR 是如何隨意切換的？

沉浸感請教了 Usens 技術副總裁馬賡宇，他給出了很詳細的回答：

ARKit 的 SLAM 技術，是基於單目相機和 IMU 感測器融合的。通過對攝像頭圖像中的特徵點識別和跟蹤，可以重建出場景的 3D 模型。但是單目相機無法得到尺度信息。因此需要用 IMU 中的陀螺儀和加速度信息進行融合，得到場景的真實尺度信息。

AR 和 VR 中用到估算的 SLAM 空間定位技術都是一樣的，只是顯示的內容不一樣。SLAM 會識別出雙眼在世界坐標系下的位置。AR 應用中是把一個虛擬物體顯示在一個世界坐標系中的某個位置，同時顯示真實場景的內容。VR 應用就是只顯示虛擬物體，不顯示真實場景。

因為 ARKit 是針對 AR 場景開發的，所以對快速旋轉跟蹤的並不好。文中也說了，只是對類似看畫廊的那種平移移動效果比較好。

簡單來說，基於蘋果手機上單目相機和 IMU 感測器融合的 SLAM 技術，定位是一樣的，只不過根據內容開發的不同，而產生了 AR、VR 切換的效果。仔細看視頻，你會發現，他們在真實的樹上設置了點雲。

馬賡宇也解釋道，

咱們手機上的攝像頭，是可以直接看到外部環境的。AR 無非就是在這個畫面上疊加了虛擬的物體。而 VR 就是把 VR 的內容，放到你的屏幕上了，比如你看電影的時候或玩遊戲的時候，就看不到外部環境了。

VR時候的畫面，在「畫廊的範圍內」移動

另外，基於現有的包括單目、雙目和深度相機等三種視覺定位追蹤方案，馬賡宇表示它們的不同之處在於：

單目使用的信息最少，如果跟蹤丟失的話，需要相對較長的時間進行初始化。而且估計尺度需要較高的 IMU精度。成本最低。

雙目可以通過單幀圖像得到場景的真實尺度，初始化比較簡單。但是由於基線長度限制，對太遠的場景初始化不好。而且成本相對較低。

深度相機要處理的數據量比較大，計算比較複雜。而且深度相機成本比較高

沉浸感又想到了當年搭載深度相機的 Tango 手機，儘管推出的時間很早，但並沒得到開發者熱烈的反響，究其根本原因還是與硬體的普及度有關。馬賡宇說，「Tango 硬體不普及，必須要特殊的硬體才能用，所以一般開發者也不會在 Tango上開發應用，導致消費者沒有購買的動力。」

事實上，除了國外開發者玩的嗨，國內也有開發者正在進行 ARKit 的內容開發。沉浸感聯繫到武漢火游網路的 CEO 童洋，他跟 Luke Ritchie 的看法一致，現在 ARKit 還不成熟。他們現在使用 iPhone 7、iPhone 6 & 6s 進行 Demo 測試，還處於只是「能用」的階段，可能需要等待 iPhone 8 的上市，在硬體和軟體上能更好地支持 ARKit。

再來說說文章一開始提到的 VRKit 和 HTC Vive，有可能是通過單目+IMU 的定位方式，並配合 Lighthouse 空間定位系統，實現了我們所看到的效果。

最後，iPhone 8 如果上市了，你會不會為了好玩的 AR 換手機？筆芯。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！