詳解谷歌最新光場視頻，體驗VR頭顯里的光場世界

影像技術的發展給我們帶來越來越逼真的視頻體驗。3D視頻能讓我們看到立體的影像，VR能帶來360度的沉浸感。目前高端3D VR視頻都說能讓人身臨其境，但是我們的視覺是穿越過去了，卻並不是真正的「走進」虛擬世界，只是站在一個攝像機機位的旁觀者。目前，很多公司都在嘗試以光場拍攝來實現視頻里六個自由度的運動。

3月15日，谷歌在Steam上線新應用《Welcome to Light Field》,發布多個光場視頻，支持HTC Vive、Oculus Rift以及Windows MR系列頭顯。帶上這些支持六個自由度運動追蹤的頭顯，我們就可以真的在光場視頻里走一走、看一看了！

我們目前已經熟悉了3D視頻，VR視頻，但是要理解光場視頻、光場相機的拍攝原理可能還得花費一些功夫。

六個自由度的光場視頻

（《Welcome to Light Field》VR體驗錄屏，來自Youtube）

在《Welcome to Light Field》中，用戶首先會看到一些教程，谷歌花費了不少心力來解釋2D、3D、光場視頻的不同。例如，拍攝一個室內環境，2D只能提供平面效果，就像你在翻閱雜誌。3D視頻利用多個攝像頭拍攝後期處理成雙目視差效果，可以讓你感覺到立體感，就像在看立體的模型。

而光場相機則是將光線以場的方式記錄下來，使得最終能夠還原場景任意位置的任意光線信息。除了雙目視差以外，光場相機還能夠提供運動視差（運動視差是一種深度線索，當我們運動時，會發現離我們近的物體運動得快，離我們遠一點的物體運動得慢）。在谷歌光場視頻中，你會感覺到視頻中的虛擬物體就在你身邊，你稍微移動一下位置，近處的虛擬物體的角度會有較大變化，而遠處的虛擬物體變化較小，近處和遠處的物體光線變化也不一樣，這樣你會感覺你置身於一個真實的3D場景中。

這些體驗需要有支持6Dof運動追蹤的頭顯，這樣你在真實空間的運動會帶來虛擬場景的實時變化，真實的運動和虛擬的運動會保持一致。

例如前面兩個圖片顯示，觀看者與桌子上的茶具的距離發生了明顯的變化，說明用戶改變了在光場視頻里的位置和視角。而隱約可見的一條白色環線顯示出可移動的範圍。

《Welcome to light Field》令雷鋒網編輯印象最深的例子是，谷歌用光場相機拍攝了St. Stephen Lutheran大教堂著名的彩色琉璃窗戶。這扇窗戶由1400塊彩色玻璃組成，由知名設計師Roger Darricarrere設計。當光線穿過彩色玻璃，會在白色的教堂牆上投影出色彩斑斕的光斑，光線和色彩的變化都讓人驚嘆。

谷歌的光場視頻還包括其他場景：美國藝術和工藝風格建築的典範——Gamble House、馬賽克藝術 Mosaic Tile House、航空航天博物館等。在Gamble House中，谷歌拍攝了一對年長的夫妻擁吻的畫面，他們靜止不動，而光線在他們周圍不斷變化。

雷鋒網發現，這些光場視頻都是靜態的場景。也就是說，如果要拍人物，需要人物保持長時間不動。谷歌是如何實現靜態光場視頻拍攝，這個技術對行業有什麼意義呢？

新一代光場相機

上圖是谷歌展示的光場相機，可以看到，這是一個帶有不少鏡頭，能旋轉的大傢伙。谷歌在博文中解釋了核心技術，他們改裝了一套GoPro Odyssey Jump相機平台，利用16個GoPro組成了一套弧形拍攝系統，安裝在一個旋轉平台上，相機旋轉拍攝一周大概需要一分鐘。攝像機記錄下光線，然後光場渲染技術可以通過採樣和插值，在球面體積內的任何地方合成場景的視圖。

目前我們看到的360度全景相機、光場相機大多是一圈相機，視覺能覆蓋整個360度的空間。

（Lytro Immerge 2.0光場相機）

北京電影學院未來影像高精尖創新中心研究員宋維濤告訴雷鋒網，谷歌這種旋轉攝像頭的設計，在學術界可以稱為用時間換取空間。因為要旋轉一周，花費1分鐘的時間，因此只能拍攝靜態的視頻。這種旋轉攝像頭的方案的好處在於，其需要處理的數據量變小，同一時間內只需處理16個相機的數據量。而像Lytro的光場相機有上百個攝像頭，同一時間處理的數據量極大。

Lytro的光場相機可以拍攝出畫面很好的靜態光場視頻，也能拍攝動態視頻。但是Lytro目前定位在影視製作，它是拍攝下來後，後期編輯時選擇角度來進行編輯，並不是像谷歌可以是實時的6Dof視頻，支持用戶在VR頭顯里體驗。

西顧視頻CTO李文松認為：「靜態6Dof場景其實之前類似Lytro、Mattetport、adobe之類的方案都可以做到。從技術上講並不比Lytro的相機更強，但是更便宜。但目前最便宜的靜態場景重建是Matterport。」

雷鋒網了解到，谷歌、Lytro、Matterport的光學相機其實都是由里到外的拍攝，從相機出發去記錄外部空間，即使是拍攝動態的視頻，其可以記錄的範圍也是會限制在相機的周圍。

谷歌的這款光學相機可以支持70*70cm的移動範圍，相當於人邁出兩步的距離。也就是說，光場視頻支持用戶走出大約兩步路，超出這個範圍，視頻將會失真或者無法呈現光場效果。

而英特爾、微軟目前都在嘗試從外到里的拍攝方式，搭建光學攝影棚來進行拍攝。英特爾也曾以光場拍攝記錄正常足球比賽，實現在觀看時可以選擇不同球員的位置觀看比較，也可以360度重新觀察一個球員的全部動作。從外到里的方式能夠獲得更大的可移動範圍，但是其也有場地的局限性。

除了拍攝以外，光學視頻的顯示也值得注意。我們都知道，光場視頻需要全新的視頻格式。谷歌實現了光場視頻拍攝、後期處理、呈現，使得我們可以用VR頭顯觀看。谷歌稱，光場視頻在一個自定義數據集文件中壓縮處理，Unity引擎中的插件實現的特殊渲染軟體可以讀取該自定義數據集。而由於目前光場視頻顯示格式不一直，其他大多數光場視頻還處於無法直接展示的階段。

宋維濤認為，谷歌新一代光場相機目前最大的意義就是可以付諸應用。谷歌讓光場視頻變得可以被廣泛的用戶體驗，這對教育市場，尋找更多的應用場景有很大的意義。

谷歌一直致力於影像技術的發展，此前其推出了Jump全景VR視頻平台，與Go Pro、小蟻合作開發360度3DVR 全景相機，此後與聯想、小蟻推出更為簡易的VR 180相機。光學相機使谷歌在這方面更進一步，但是未來的路顯然還很長。

宋維濤也聊到光場相機、光場視頻的未來發展。他認為："未來光學視頻應該在支持光學顯示的頭顯里播放。例如，Magic Leap主打光場顯示，我們的眼鏡可以聚焦在不同的虛擬物體上，而不是一塊顯示屏上。其次，光學視頻的編碼、壓縮、傳輸格式和方式還有待統一。最後，在交互方式方面，未來光學顯示的虛擬物體與真實物體將會有更好地融合、交互。"

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！