〔Part 2〕Leap Motion：如何為VR-AR設計手部「快捷鍵」

原標題：〔Part 2〕Leap Motion：如何為VR-AR設計手部「快捷鍵」

來自Leap Motion的首席VR交互工程師和首席VR設計師Barrett Fox和Martin Schubert

（映維網 2018年06月09日）如果新計算技術要實現完整的潛能，它們需要全新的用戶界面。虛擬空間中最重要的交互都是基於直接的物理操作，比如說抓和捏。但從手臂平視顯示器到數字可穿戴設備，再到包含按鈕、滑塊，甚至3D追蹤球和顏色選擇器等可部署的小部件，Leap Motion的團隊同時探索了一系列令人感到興奮的的界面範例。

Barrett Fox和Martin Schubert分別是Leap Motion的首席VR交互工程師和首席VR設計師。兩人日前分享了一篇關於如何為VR和AR設計單手快捷方式的文章，以下是映維網的具體整理：

在上一次，我們詳細介紹了Leap Motion的單手快捷系統。經過一定的實驗後，我們在文章中探討了手心朝上，然後手指進行捏合以啟動快捷方式的操作。上一篇文章只是第一部分，今天我們很高興向大家介紹相關設計探索的第二部分，而我們同時在Leap Motion Gallery中提供了可下載的演示。

延伸閱讀：Leap Motion：如何為VR和AR設計單手「快捷鍵」

我們發現快捷方式系統用起來十分舒適，可靠和迅速。由於不需要用戶看著操作，系統的操作同時令人感覺自然具體和空間感十足。現在是時候在真實世界的設定下進行設計了。當我們嘗試用雙手進行操作時，具體的效果將如何呢？

我們討論了下面幾種潛在的用例：

直接的抽象命令：在這個場景下，系統可以直接用來觸發抽象的命令。例如，在一個繪畫應用程序中，每一隻手都可以啟動快捷方式系統，左邊撤銷，右邊恢復，向前放大，向後縮小。

直接的情景命令：試設想，一隻手可以對另一隻手所握持的對象應用操作。例如，用左手拾起一個對象，然後用右手啟用快捷方式系統，向前進行複製，向後進行刪除，或者向左/向右以改變其材質。

工具調整：系統可以同時用來調整各種參數。例如，在相同的繪畫應用中，你的優勢手可以作出捏合姿勢並在空間中繪畫。相同的手可以啟用快捷方式系統，然後向左/右平移以增加/減少筆刷大小。

模式切換：最後，系統可以用來切換不同的模式或工具。再次回到相同的繪圖應用，每隻手都可以通過快捷系統切換直接操作，畫筆工具，橡皮擦工具等等。另外，通過利用每隻手進行獨立的工具切換，我們可以快速組裝出有趣的工具組合。

在上述選項中，我們認為模式切換最能全面地測試系統。通過設計一系列需要不同手部動作的模式或能力，我們可以驗證快捷鍵系統不會造成妨礙，而且可以進行快速方便的訪問。

1. 模式切換和捏合交互

在思考可以進行切換的可能性時，我們不斷想起基於捏合的交互。正如上一篇博文所討論的一樣，「捏」是一個非常強大的裸手交互，原因如下：

這是一種大多數人都非常熟悉的手勢，而且操作起來的模糊性很低，所以新用戶可以輕鬆地成功執行操作。這是一項省力的動作，只需要拇指和食指的移動。因此，它適用於高頻交互。對於食指與拇指相交時所出現的觸覺反饋，這清晰定義了操作是否取得了成功。

但由於錯誤觸發時一種常見的現象，這種操作同樣存在缺點。出於這個原因，提供一個快速簡便的系統進行啟用，禁用和切換捏合功能，這將非常具有價值。所以我們設計了一組捏力來測試我們的快捷系統。

2. 捏合操作

我們設計了三種捏合操作，剩下一個快捷方向作為禁用所有捏合操作，並使用空閑手進行常規直接操作的選項。每個捏合操作都可以鼓勵不同類型的手部運動，以測試快捷系統是否仍然按預期運行。我們希望創造出單獨使用起來有趣，但也可以進行組合的捏合操作，從而利用每隻手獨立切換模式的能力。

2.1 飛機手

對於我們的第一個方案，我們利用捏合手指來實施一個非常普遍的動作：投擲/扔。我們從物理世界取得了靈感，並發現扔紙飛機是一種非常具有表現力的操作，其基本運動幾乎完全一樣。捏合併捏住一段時間以生成全新的紙飛機，然後作出投擲動作並釋放，通過這樣的操作，我們可以在釋放手指之前計算捏合手指在一定數量的幀上的平均速度，並將其作為發射速度饋送到紙飛機。

對於這一種操作，結合快捷方式系統時出現了一定的衝突。在捏合紙飛機時，一種常見的情況是手掌朝上並稍微向內。這就陷入了介於「手背對準自己」和「手心對準自己」的灰色區域。為避免誤報，我們稍微調整了閾值，直到系統不會意外觸發。

為了重新創造紙飛機的空氣動力學，我們使用了兩種不同的力。第一個附加力相對於紙飛機向上，並取決於紙飛機當前的速度大小。這意味著更快的投擲將產生更強的拉升力。

第二個附加力則不太現實，但有助於實現更為無縫的投擲動作。它利用了紙飛機的當前速度，然後增加扭矩來令其前進方向（或者說機頭）與該速度保持一致。這意味著向側方投擲的紙飛機將修正其前進方向，從而匹配其移動方向。

在上述空氣動力學的作用下，即使投擲角度和方向出現微小變化也會導致各種各樣的飛行軌跡。飛機會以令人驚訝的方式沿曲線和弧形運動，鼓勵用戶嘗試高手投擲，低手投擲，以及側角投擲。

我們在測試中發現，用戶在投擲過程中常常旋轉手掌並形成一個手勢，這會無意中觸發快捷系統。為了解決這個問題，我們簡單禁用了在捏合時打開快捷系統的能力。

除了這些針對手掌方向衝突的問題修復之外，為了盡量減少意外的捏合，我們也想測試一些其他解決方案。每當用戶啟用一個捏合操作，我們就把一個對象放在用戶的捏合點中。這樣做的目的是向用戶發出信號，向其說明捏合操作「一直都是開著的」。當結合發光的指尖，以及由捏力驅動的音頻反饋時，這似乎成功地減少了意外捏合的可能性。

我們還在飛機生成時為其添加了一個簡短的縮放動畫。如果用戶在飛機完全放大之前松下捏合手指，飛機就會縮小並消失。這意味著短暫的無意識捏合不會生成紙飛機，從而進一步減少了意外捏合的問題。

2.2 彈弓手

對於我們的第二個捏合操作，我們探討了先捏合，往後拉，然後釋放的過程。這個動作對於《憤怒的小鳥》而言是核心機制，而且Valve同樣將其整合至《The Lab：Slingshot》中。

虛擬彈弓具有很強的物理感。往後拉彈弓，並且聽到相應的吱吱聲可以為你提供令人滿足的逼真儲能感。就我們的目的而言，由於我們可以在空間的任何位置進行捏合併作出往後拉的動作，所以我們決定採用比彈弓稍微更輕便的對象：一個小巧的可伸縮弓。

捏合將生成弓，然後我們把弓弦附加在用戶的捏合手指上。沿最初捏合位置向後拉動將生成弓箭。向後拉動距離越長，釋放時的發射力就越足。我們再次發現，當用戶在使用弓時，他們常常將手旋轉成特定的姿勢，從而意外地觸發快捷系統。對此，我們再次簡單地禁用了打開快捷系統的能力。

為了最大限度減少意外捏合動作所生成的弓，我們在用戶捏合併生成弓箭之前應用了一個一定的延遲。但與基於時間的飛機生成動畫不同，我們這一次定義了距離最初捏合點的最小距離。一旦達到這個距離，系統將生成一支新的弓箭。

2.3 時間手

對於最後一個捏合操作，我們探討了捏合，然後像撥動調整鐘的時針和分針那樣的旋轉動作。我們的想法是，捏合以生成一個時鐘，然後旋轉捏合手指，就像是調整時針或分針那樣。但在測試中，我們發現這種捏合旋轉只能支持小範圍的轉動，因為轉動過大容易造成不適。

因為如果時鐘調整的範圍很小，其價值將很低，所以我們決定將其換成觸發器。對於這種捏合操作，我們在捏合點位置用一個時鐘替換了最初的強力蛋。在正常的速度下，時鐘的擺針移動速度很快，較長的手每秒完成一次完整的旋轉。在擠壓時鐘時，時鐘時間減慢為正常速度的三分之一，時鐘變色，而較長的一手需要一分鐘才能完成一次完整的旋轉。再次擠壓時鐘可將時間恢復到正常速度。

3. 組合與匹配

由於每隻手都可以獨立地切換模式，快速組合和匹配雙手可以創造出有趣的組合。

3.1 雙手紙飛機

通過在雙手啟用紙飛機捏合操作，你可以快速創建新飛機，並以有趣的重疊弧線和曲線進行投擲。

3.2自由手和時間手

你可以用一隻手放慢時間，然後用另一隻自由手輕輕一撥或抓住紙飛機。

3.3 彈弓手和時間手

用一隻手放慢時間和控制飛機，另一隻手則用弓箭擊打飛機。

3.4 雙重時間手

兩隻時間手可允許你疊加效果，將其時間放慢成正常速度的九分之一。

3.5 雙重彈弓手

雙彈弓手很有趣，而我們認為我們可以做得更好一點。雙手拉弓射箭是今天VR遊戲的一大亮點，可以充分利用6自由度輸入的物理運動。所以在啟用雙彈弓手時，捏合左手可以生成一把較大的弓，然後捏合右手則可以生成噴射藍色火焰的弓箭。

然後用戶可以調整弓箭瞄點，從而更精確地射出弓箭。

如果要啟動雙重彈弓手，我們一開始要求用戶的右手需要在靠近弓弦的位置進行捏合，然後向後拉動並釋放。但我們發現如果允許用戶在任意位置進行捏合，這將能減輕手臂疲勞度。這同時可以支持用戶高度射出藍焰火箭，只需快速閉合食指與拇指即可。有趣的是，有用戶報告說，這個動作比點擊滑鼠或按下機械按鈕的速度要更快。

4. UX調整

在用戶測試快捷系統時，我們很快就注意到許多用戶在一開始就遇到了幾個問題。首先，如果用戶在穿戴頭顯時系統和所有的捏合操作都已經啟用，在移動雙手時所出現的各種音效和動畫將會令用戶難以承受。

為了幫助用戶慢慢適應系統，我們增加了一定的介紹環節，讓用戶把雙手放在一個圓台上，這將會為用戶提供「強力球」。然後，系統將從自由手模式開始，用戶可以翻轉雙手並捏合強力球。在一開始，用戶只能切換至飛機手。在成功切換和使用飛機手後，系統將為用戶提供彈弓手，然後則是時間手。

我們對另一個問題實際早有預計：用戶將嘗試用一隻手輕撥，推動或抓住另一隻手上的強力球。儘管我們嘗試了各種方式來禁止另一隻手與強力球的交互，但許多用戶仍然會嘗試這樣做。

我們決定不再與這種行為作鬥爭，而是接受這種行為，並利用這一點來增加新功能。我們增加了利用另一隻手來完全禁用強力球的功能。這可以關閉整個快捷系統，以及所有的捏合操作，從而支持用戶自由地移動雙手。再次點擊強力球時將重新激活系統，並重置為上次啟用的模式。

5. 整合在一起

在實踐中，這三種捏合操作和彼此之間的切換都能無縫地整合在一起。在一個沙箱體驗中，我們投擲紙飛機，然後用弓箭為它們增加色彩。當弓箭擊中白色的紙飛機時，它們將變成帶尾巴的多彩紙飛機。

用火焰弓箭擊中白色紙飛機，令其著火，然後摧毀紙飛機。

但如果是用火焰弓箭擊中已經變形的多彩紙飛機，它們將出現特定的火焰顏色，並且在短時間內發出耀眼的光芒。

如果你擁有Leap Motion控制器，你可以下載這個可執行文件，並通過HTC Vive或Oculus Rift進行嘗試。我們非常有興趣聽聽你在實踐中是如何找到捷徑系統，尤其是經過數分鐘的熟悉和使用後。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！