Facebook分享如何測量力反饋手套的感知延遲

來源：映維網?作者?桐羽

我在大約一年多前加入Facebook Reality Labs（FRL）。我有幸與世界級的專家合作，並一起發明最前沿的新技術。遺憾的是，我付出的代價是不能再通過博客介紹我的工作。有關我工作的一切都是最高機密。但今天情況發生了變化。

我將介紹我負責的一個軟體工程項目。它是如何帶來意想不到的發現。是什麼致使我們進行用戶研究。這產生了一定的新發現。實際上，這篇博文只是簡單介紹了FRL的一些研究。

1. 觸覺手套演示

我們的一個研究項目是觸覺手套。邁克爾·亞伯拉什曾在OC5大會通過一個簡短的視頻進行了展示：在視頻中，一位用戶正在穿戴一款觸覺手套。在虛擬現實中，系統能夠追蹤並完全解釋她的雙手。當她用虛擬手觸碰虛擬積木塔時，物理手套將產生觸覺反饋。

這個演示的早期版本中存在一個問題：延遲。音頻和觸覺反饋明顯滯後。用戶是手觸碰積木塔之後才開始感到或聽到相應的反饋，彼此不是同步實現。

我喜歡優化問題。首個任務之一是測量。對於純粹的軟體問題，這十分簡單。你可以發現各種用於分析代碼性能的工具。但測量硬體延遲則更為困難。幸運的是，我有先例可以參考借鑒。

2. 遊戲輸入延遲

遊戲開發商多年來一直在測量輸入延遲。「感覺」好的遊戲和「感覺」不好的遊戲之間的區別很難解釋，並且通常難以量化延遲。

輸入延遲是一個簡單的概念。從按下按鈕到馬里奧開始跳躍，這期間需要多長時間？從按下按鈕到電視像素髮生，這期間又需要多少毫秒？一種快速巧妙的測量方法是利用智能手機。你可以以240 FPS錄製慢動作視頻，然後計算幀數。

更好的方法涉及一種定製控制器。控制器接入包含LED的電路板。檢測到按鈕信號時，LED亮起。結合高速視頻，你可以實現更精確的測量。

比這個更好的解決方案是，修改遊戲並令其渲染黑色方塊，然後黑色方塊能夠在按下按鈕時變成白色。你可以將光感測器接到顯示器，這樣可以提供非常精確的測量。

3. 端到端延遲

現在我們知道應該如何測量延遲了。很好。

不盡然。上述方法是用於測量按鈕到光子的視覺延遲。我們關心的是縫製在手套內的觸覺致動器的延遲。攝像頭可排不上用場。

更糟糕的是，我們沒有按鈕。我們採用的是先進的手部追蹤系統。當物理模擬檢測到虛擬雙手的接觸時，觸覺反饋就將產生。

我們可以將觸覺反饋單獨拿出來，但我們關心的是演示體驗的端到端延遲。這包括硬體追蹤系統，內部軟體，第三方軟體，設備驅動程序和輸出硬體。

下面是我們的測量解決方案：

我們將物理桌面與虛擬桌面對齊。當用戶的物理手部輕敲物理桌面時，他們的虛擬手部同時將輕敲虛擬桌面。

然後我們使用兩個麥克風。一個指向桌面並記錄物理接觸的聲音。第二個是手套內部的接觸式麥克風，其用於記錄觸覺響應。兩個麥克風都輸入至能夠同步音頻流的現場錄音器。

接下來，我們不計算視頻幀，而是通過Nuendo打開音頻流。我們手動注釋音頻流，然後計算增量時間，亦即我們的端到端延遲。

我們的觸覺延遲測量速度高達300毫秒。所有人都知道這很糟糕。但這是我們第一次擁有了具體的數字。

這段時間裡面，大約有200毫秒來自於第三方軟體。我們不是在開展傳統項目。我們希望觸覺設備能夠以1000赫茲的頻率運行。這會導致各種奇怪的邊緣情況。一旦我們知道問題出自哪裡，我們就能夠調整行為並避免中間件的死亡螺旋。

我們的軟體管道貫穿多個子系統。它們在多個線程上運行，並以不同的速率更新。

線程問題導致周期浪費，有時甚至是損壞的信號。FramePro是一個可視化多線程行為的優秀工具。

為了驗證我們的修復，我們用示波器測量了觸覺致動器。作為一個軟體人，這對我來說是一種有趣的新體驗。

4. 三模態延遲

細心的讀者可能已經注意到Nuendo截圖中的四個音頻流。我的主要目標是衡量和改善觸覺延遲。但由於我們的系統實際上屬於三模態：我們關心觸覺（手套），視覺（VR顯示）和音頻（耳機）。

為了測量這三者，我們記錄了四個同步的音頻流：

檢測物理接觸的桌面麥克風

檢測手套觸覺的接觸式麥克風

用於檢測Rift頭顯音頻的麥克風

用於檢測顯示變化（黑色到白色）的光電二極體

我們同時使用接入USB的電容模擬板作為我們的物理觸碰目標。這使得我們能夠獲取軟體時間戳，後者可用來測量追蹤系統的延遲。

利用這個工具，我們能夠提高性能並生成以下信息圖：

這時，我們的積木塔演示感覺已經好了很多很多。觸覺反饋的延遲感和斷開感已經有了很大的改善。用戶能夠在觸及積木的同一時刻感受到觸覺。

5. 感知同時性

人類的大腦非常奇特。人類非常善於根據多種感官信息來源來建立世界的心理模型。但有時我們的感官可能存在誤導性。你可能已經注意到我之前的信息圖中存在一個問題。視覺，觸覺和音頻的延遲不一樣。觸覺延遲不到100毫秒，而音頻慢了大約40毫秒。

在我們優化演示內容的時候，有人詢問是否可以禁用音頻。接下來發生的事情令我感到震驚。觸覺感覺更加敏感。我希望我能和你分享這段經歷。啟用音頻後，觸覺感覺很棒。關閉音頻後，觸覺感覺超級棒。不是更好，而是顯著更好。我們興奮地跑到辦公室，並對大家進行測試，看看大家是否都能感受到這種差異。結果確實如此。

具體來說，大腦將多個感官信號融合到統一的感知事件中。當你看到，感覺到，並且聽到你的手部輕敲桌面時，大腦將這三種感官刺激解釋為單一的觸碰事件。

當其中一個信號（如聲音）稍微出現延遲時，大腦對其他刺激的感知將隨之變化，因為聲音會「捉住」其他刺激。這使得我們有種觸覺發生的時間晚於實際接觸時的感覺。

下面是奇異和有趣的地方。這種感知變化是自動的和非自願的。即便你知道音頻存在延遲，大腦都不會考慮延遲並進行糾正。無論人們如何專註於指尖觸覺，延遲的音頻仍然會導致你認為觸覺的響應性有所降低。

6. 心理物理學

現在我們面前出現了各種有趣的問題。多少延遲屬於太多呢？刺激需要同步嗎？降低延遲和增加同步，哪個更重要呢？

為了開始回答上述問題，我們進行了一次心理物理實驗。

我們的第一項研究十分簡單。我們希望評估視覺和觸覺刺激之間所能允許的延遲時間。這項測試在虛擬現實中進行，並且完整地追蹤和解釋雙手。被試執行了操作虛擬立方體的任務。

為了模擬不同的延遲，我們通過寫代碼的方式來注入額外的延遲。為了允許我們儘早觸發觸覺刺激（甚至在手指觸及表面之前），我們同時編寫了一些簡單的預測代碼。這是一種模擬比我們系統所能允許的更低延遲的方法。我們的預測代碼不適用於消費產品，但它在受控環境中運行良好，你能夠告訴被試確切的行為方式。

如果在視覺響應後的不到50毫秒內播放觸覺響應，大多數被試都會認為視覺和觸覺刺激是同時發生。在我們的手套演示中，觸覺響應僅在視覺響應後20毫秒內播放。

有趣的是，如果觸覺響應比視覺響應早20毫秒以上播放，這種同時刺激感就不會出現。這是一個70毫秒的寬鬆窗口，但它不是以t = 0為中心。

7. 三模態同時性

我們的初步研究側重於簡單的雙刺激測試。接下來，我們進行了一項更複雜的三模態同時性研究，包括視覺，觸覺和聲音。

這是一個非常難以建模和可視化的問題。我們已經有了數據，但分析仍在進行中。以下是初步結果：

這張圖非常密集。我們下面將分解說明。

原點代表所有三種刺激都在同一時間發生的情況。對於圖中的其他位置，其表示相對於視覺刺激的時間的不同步進行。X軸表示音頻刺激相對於視覺刺激的延遲。正X值表示聲音是在視覺出現後播放。負X值表示聲音是在視覺出現前播放。Y軸類似，但這是相對於觸覺刺激。顏色編碼是被試將三種刺激評定為同時發生的百分比。

好了，這意味著什麼呢？我發現了兩件有趣的事情。

首先，「熱點區域」不是以原點為中心。被試對在視覺刺激之前發生的觸覺或音頻刺激非常敏感。

然後，其形狀更接近於橢圓。被試對觸覺延遲的敏感度高於音頻延遲。這種模態的非同步性更加明顯。相反，音頻延遲往往更容易接受。這與先前的描述一致，即音頻「捉住」觸覺，甚至可能使其感覺上像是出現了延遲。

但是，目前要得出任何有力的結論還為時過早。我們的樣本量非常小，我們的初步實驗非常簡單。我們發現，改變交互類型會對可接受的非同步感影響很大。結果可能會隨著不同的任務或不同類型的刺激而發生顯著變化。我們向被試提出的調查問卷可能沒有捕捉到積木塊塔演示中遇到的微妙「延遲」梯度。

最後，我們希望提供「創建引人入勝的觸覺用戶體驗」的指南。我們還沒有走到那一步。我們對三態同時性的研究尚不完整。有人可能會說我們的旅程只完成了1％。不過，我們有一個不錯的開局。

8. 最後的想法

這就是我今天的故事。我有幸能夠研究一個有趣的問題。我們同時發現了意想不到的事情，而且我們對人類感知的原理有了更多的了解。非常感謝看到最後的讀者。我非常喜歡這個項目的工作。很榮幸有機會與你分享。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！