5G與VR/AR到底有沒有一毛錢關係？我們認真的做了這些研究

雷鋒網按：本文作者馬傑思（微信：jiesima），小米VR/AR高級總監

5G來了，VR/AR概念似乎回暖了。投資、諮詢、市場分析等領域裡關注5G+VR/AR的人又多了起來。然而也有不少從業者認為5G+VR/AR純屬概念炒作，認為兩者之間並沒有一毛線關係，甚至大有談5G就踢群的架勢。

所以5G+VR/AR到底有沒有真實的價值？在做了相關的研究後，我們認為：

1、5G的大帶寬特性對於VR的價值是在線觀看5K以上解析度的全景視頻，對於AR在現階段價值不大。

2、5G低時延特性的價值是通過雲遊戲技術提升畫質，同時幫助雲遊戲技術降低其「網路時延」，使得採用雲遊戲技術方案的VR/AR產品的「運動到成像時延」能夠達到20毫秒的及格線以內（「網路時延」是「運動到成像時延」的組成部分）。

3、5G的低時延特性並無法直接幫助現在的VR/AR產品降低「運動到成像時延」。

下文我們將詳細拆解5G與VR/AR的關係。

要讓5G發揮作用，先得讓VR/AR連上5G網路。

我們先說VR。VR領域中最為主流的品類是VR一體機，即無需連接手機或PC，內置處理器，可以獨立使用的VR產品。VR一體機使用的晶元組往往是手機3年前的配置，目前主流產品依然在使用高通驍龍821和835。這些晶元組不具備直接接入5G網路的能力。

其實不僅僅是VR，現存的各類其他硬體產品也都不支持5G，僅支持Wi-Fi或4G。

為了應對這一問題，出現了5G CPE這樣的設備。它可以將5G信號轉化為Wi-Fi信號，現存產品就可以通過Wi-Fi連到5G CPE，再連上5G網路了。

聽起來這和千兆家庭寬頻也沒有什麼區別嘛？從家庭的使用場景來看，確實如此，無論使用5G CPE還是千兆家庭寬頻，VR一體機均為通過Wi-Fi進行連接，兩者達到的下載速率也是相似的（千兆bps）。

同時，由於VR是全沉浸式的體驗，絕大部分用戶是在家裡使用，對於移動性的需求較小，因此千兆家庭寬頻能很好發揮作用，對於5G網路的需求則相對較小。

數據來源：小米VR用戶調研

千兆家庭寬頻和5G，在面對複雜的城鄉基礎設施環境時，都存在鋪設網路的可行性、效率、成本等問題。所以，對於VR來說，關鍵是看5G CPE和千兆家庭寬頻誰能更快更廣的普及了。

對於AR來說，故事則有所不同。

目前國內做AR眼鏡的整體思路是，讓AR眼鏡通過有線方式連接到手機上（Displayport over Type-C），AR眼鏡僅僅作為顯示單元，運算和電池都是用的手機，以此來降低眼鏡的重量，提升佩戴舒適性（雖然現在的技術距離全天舒適佩戴還有很遠的距離）。

因此AR眼鏡是否能連上5G網路，主要得看它連接的手機是否支持5G。目前已經能看到，多家手機廠商放出了5G實測視頻，相信5G手機的面世也將很快發生。相比VR，AR眼鏡能夠相對輕鬆的搭上5G手機這趟順風車。

好，現在連上5G了，Now what?

5G有三大特性：大帶寬、超低時延與高可靠性、大規模連接。其中前兩者是與VR/AR息息相關的，我們接下來分別進行討論。

來源：OFweek物聯網

二、5G大帶寬對於VR/AR的作用

5G大帶寬對於VR的作用在於提升全景視頻的解析度和碼率，從而達到更好的觀看體驗。

雖然目前的VR設備都可以觀看全景視頻，但是解析度和碼率往往達不到及格線，看起來感覺糊成一鍋粥，這是一個普遍的問題。

我們來看看及格線的要求是什麼。

在看視頻的時候，我們希望視頻的解析度與屏幕的解析度保持一致，以達到最好的效果。比如用1080p的電腦屏幕看1080p的視頻，是最佳體驗。

VR頭顯的視場角一般是110°左右，全景視頻是一個360°的球體，相當於VR頭顯視場角的3倍多。VR頭顯屏幕解析度一般為2K或4K，因此全景視頻的最佳解析度也是其3倍多，即8K或12K。

只有達到這樣的解析度才能有優秀的觀影體驗，然而這樣的解析度對於寬頻速率要求是極高的。

現在主流視頻平台的1080p視頻，碼率大約在1~2Mbps。比如愛奇藝的《海王》全長2.17小時，1080p視頻文件大小為1.58GB，碼率約為1.6Mbps。我國平均的網速速率遠高於這一碼率，所以一般情況下，你看1080p視頻沒有任何問題。

而VR全景視頻的碼率則要高了一個數量級。以行業標杆的Oculus Studios出品的《Henry》為例，其片長為8分42秒，解析度為5K，文件大小為1.3GB，碼率約為20.8Mbps。這已經接近我國平均網速速率，大量用戶會無法流暢地在線觀看，必須要下載下來看才行。

來源：中國寬頻發展聯盟公布的2018年第四季度《中國寬頻速率狀況報告》

這就有點像15年前，大家看視頻都得先通過BT或電驢下載下來一樣。現在你要看一個超高清的、高碼率的優質VR全景視頻，也需要先下載下來，才能保證最好的觀影體驗。

5G和千兆家庭寬頻，使得網路速率提升到1000Mbps左右，讓在線觀看20Mbps的全景視頻成為可能，大家觀看VR全景視頻就和現在愛奇藝1080p視頻的體驗一樣了。

除了視頻之外，VR雲遊戲同樣需要大帶寬。VR雲遊戲其實也是一個全景視頻流，也是360°的，因此也需要上述相同的解析度和碼率，才能達到最佳的體驗效果。

對於AR來說，5G的大帶寬有什麼作用？

當前行業所暢想的AR眼鏡應用場景主要分為兩類：

第一類是手機的大屏化：將手機操作系統變成一個大屏的、多窗口的體驗。

來源：Rokid Vision AR眼鏡概念視頻

手機的大屏化場景所需的網路帶寬與現有手機和PC無差異，5G無法提供額外的附加價值。

第二類是原生AR體驗：即利用計算機視覺識別現實中的場景，將虛擬信息有機的疊加到現實的場景中。

原生AR體驗往往是基於3D圖形的，5G大帶寬的作用主要是提升3D模型的實時載入速度，讓3D模型無需提前下載到本地，只有需要用到的時候再從雲端進行載入，減少包體大小（注意，這並不是雲遊戲的技術方案）。

然而3D圖形載入速度這個改善的價值十分微小。受限於移動設備的算力，3D模型文件體積並不大，而且大部分應用場景對於實時載入的需求也並不強烈。

只有等到對3D模型的精度需求極高、對3D模型實時載入的需求很強的情況下，5G才有其發揮的價值。目前能看到這樣的場景就是VR/AR Telepresence（又稱VR/AR Holoportation），即將人體進行3D重建或體量捕捉（Volumetric Capture）後，遠程進行近似於面對面一般的VR/AR通信。不過這樣的技術還處於實驗室階段，距離消費市場還很遙遠。

另外，由於AR眼鏡並不適合觀看全景視頻，因此5G的大帶寬也無用武之地。

一提到5G低時延對於VR/AR的作用，你能在各種媒體上看到類似「5G降低VR/AR時延，解決VR/AR眩暈感」這樣的說法。

這是一個巨大的誤區。

5G對於降低VR/AR時延沒有任何的作用。

要講清楚這個問題，我們先來看什麼是VR/AR時延。VR/AR時延又稱為運動到成像時延（Motion-to-Photon Latency），是指從IMU或視覺感測器檢測頭部/手部的運動，到圖像引擎渲染出對應的新畫面並顯示到屏幕上，這樣一個鏈路的時延。

主流的VR頭顯均已在本地做到了20毫秒以內的運動到成像時延，整個鏈路都是在本地設備上完成的，並不需要連網。20毫秒是一個人類感知的黃金分割線，時延低於20毫秒，我們就感覺不到了。我們測試過一些2018年的產品，時延已經達到了10毫秒左右。

有人可能要說了，那既然已經做到20毫秒以內了，為什麼我玩VR還會眩暈？

那是因為導致VR眩暈的因素不止是時延，而是共有三個：時延、光學參數、內容舒適度。目前的技術已經解決了時延和光學參數的問題，但是在內容設計上帶來的眩暈感是無解的，VR遊戲和體驗中的劇烈運動和快速移動依然可能會讓你眩暈。這完全取決於你對暈動症的耐受程度，每個人都有所不同。

這也是為什麼全球最好的VR品牌Oculus在2014年解決了時延和光學參數的問題之後，還對其內容進行了舒適度評級，讓用戶根據自己的耐受度選擇適合自己的VR體驗。

我們說回5G。再重複一遍，5G對於降低現有VR/AR產品的運動到成像時延沒有任何作用。

假設非要在這個鏈路上加入5G，反而只會增加整個鏈路的時延。比如，如果將圖像引擎渲染這一步放在雲端來做，也就是雲遊戲的做法，那麼就會引入5G上下行帶來額外的時延。5G的理論時延是1毫秒，那麼整體鏈路時延就會變成20毫秒 + 1毫秒 = 21毫秒。如果5G實際時延相比理論的1毫秒高出許多，比如10毫秒，那麼整個鏈路的時延就是20毫秒 + 10毫秒 = 30毫秒。這就會超出了20毫秒的基準線，反而會給用戶帶來眩暈感。（註：本文中網路時延是指端到端的上行加下行時延。）

5G低時延的特徵對於VR/AR的作用並不是降低時延，而是通過雲遊戲的技術方案提高畫質，並降低雲遊戲技術中的網路時延。

無論是VR一體機，還是連接手機的AR眼鏡，都是運行在移動端上，主要是高通驍龍系列。相比PC的CPU和GPU而言，移動端的3D圖形性能還是有數量級上的差異。VR/AR強調的是沉浸感，對於畫質的要求很高，最極致的VR體驗需要強勁的高端PC來承載。

下面是VR遊戲《Robo Recall》在Oculus Quest（移動晶元）和Oculus Rift（PC端）上運行的畫面對比。我個人做了對比測試，感官上的差異會比大家看圖片來得還要顯著。

5G可以將3D圖形運算放到雲端，也就是雲遊戲的技術路線。這樣就可以利用雲端強勁的PC級CPU和GPU來進行3D圖形運算，再以視頻流的形式傳回本地的VR/AR設備上，讓移動晶元的VR/AR設備也能顯示出最頂級的畫質。

然而，雲遊戲的技術方案對於VR/AR來說，最大的挑戰在於網路時延。如果採用了雲遊戲的技術方案，那麼網路時延就變成了運動到成像時延的一部分，網路時延會增加整體的運動到成像時延。從目前的數據來看，網路時延是整個鏈路中最長的部分，也是尚未解決的部分。

目前基於家庭寬頻的情況，雲遊戲的時延約在150毫秒左右。比如，Google的雲遊戲服務Stadia，經Digital Foundry初步測試，時延在166毫秒。

如果把這樣的技術方案搬到VR/AR上來，那一定會讓用戶暈到天昏地暗。

這個時候5G低時延的價值就來了，如果5G真的能夠達到標準中的1毫秒時延，那麼基於5G的VR/AR雲遊戲方案就能夠達到合格的用戶體驗。如果真能做到，這會是VR/AR成為消費市場主流產品的重要基礎設施。

那麼問題來了，5G實際上到底能做到多低的時延，什麼時候能做到這樣低的時延。這才是關鍵。

連接5G網路的方式，VR主要將會通過5G CPE，AR主要將會通過5G手機。

5G的大帶寬特性對於VR的價值是在線觀看5K以上解析度的大碼率全景視頻，對於AR在現階段價值不大。

5G的低時延特性並無法幫助現在的VR/AR產品降低「運動到成像時延」，它的價值是通過雲遊戲技術提升畫質，同時幫助雲遊戲技術降低其「網路時延」（「網路時延」是「運動到成像時延」的組成部分），使得採用雲遊戲技術方案的VR/AR產品的「運動到成像時延」能夠達到20毫秒的及格線以內。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！