加入手勢識別，ARKit 還能這麼玩！

ManoMotion 演示 Demo

隨著 ARKit 和 ARCore 開發工具的發布，開發者們對 AR 內容開發的熱情高漲。之前，國外開發者們有的把 ARKit 和蘋果機器學習框架 Core ML 相結合，通過手機攝像頭可自動識別物體，並用 AR 效果呈現；還有的把 iPhone 放在紙盒眼睛中，也完成了 Inside-Out 的效果……但，這些還不是 ARKit 的終極玩法。

最近，有家公司把手勢識別加入了基於 ARKit 製作的 Demo 中，他們發明的新玩法又是什麼樣呢？

據了解，這是一家名為 ManoMotion 的計算機視覺和機器學習公司。日前，他們剛剛宣布將公司基於智能手機的手勢操作 SDK 融入蘋果 AR 開發工具 ARKit 中，用戶只需藉助手機上已有的處理器和攝像頭便可在 AR 應用中追蹤雙手。

該公司的 CEO Daniel Carlman 此前曾向 Venturebeat 表示，ManoMotion 的 3D 手勢識別技術可追蹤手部 27 個自由度，可自動識別你是攤開五指，還是指向特定的物體，還可追蹤深度和動態手勢，如擊打、點擊、輕拍、抓取、釋放等，所有這些對資源的耗費相當少。延遲少於 10 毫秒，並且只佔用 iPhone 6s 30% 的處理能力。

現在，他們與 ARKit 結合後，用戶的手部可被識別，還能做出相應的點擊動作，如圖中用戶點擊小球，擊入桌子對面的杯子。

Carlman 談到，手機上的單目二維攝像頭可以檢測到手部的移動，並將捕捉到的動作融入到用 Unity 開發的 AR 內容中。當然，其他方法也能實現這點，如多目攝像頭、深度攝像頭，以及動作捕捉。但是這些方法和技術十分昂貴，他們想解決如何更簡單地實現「手的臨在感」。

「目前，AR 技術還面臨很多限制，例如無法自然與 3D 空間中的物體交互。」Carlman 稱，「 ARKit 中加入手勢識別也是市場上第一次出現，我們期待看到開發者們會如何重新定義 AR 交互。」

ManoMotion 成立於 2015 年，目前有 14 名員工，已經融資 200 萬美元。未來幾周，他們將發布可融入 ARKit 的 SDK，開發者可在公司官網下載，會最先支持 Unity iOS。

說到手勢識別，我們並不陌生，像 Leap Motion 也是大家熟知的手勢識別公司。手勢識別在 AR 中的應用，最讓人沉浸感編輯難忘的便是 HoloLens 了，把手指當做滑鼠，可隨意拖動視頻，控制菜單，確實很酷。但，把手勢識別用在手機的 AR 應用上還是第一次見，沉浸感編輯還是蠻期待的。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！