如何利用深度圖來創作6 DoF 360度視頻

文章相關引用及參考：映維網

本文來自 JOSH GLADSTONE

（映維網 2018年03月27日）VR電影與攝影在2017年迎來了一輪爆發，一系列的專業和消費者360度相機陸續登陸市場。這種新技術為所有人帶來了全新的沉浸式圖像捕捉。在數年前受到沉浸式劇場的啟發，我的朋友和我開始涉足VR影視，製作了一部互動式恐怖影片。當時《The Presence》這個項目是用消費者級別的相機進行拍攝，一種單視場360度視頻.

我們的第二個項目是一部互動式MV，可以根據用戶視線進行無縫改變。對於《The Cooties-VR》這個項目，我們能夠升級到立體360度拍攝，這樣觀眾在佩戴VR頭顯時就能獲取真正的深度感。立體360度圖像給我留下了深刻的印象，而我認為這是視頻所能做到的努力。近來我一直在嘗試使用一種名為6自由度的新興技術。6自由度能夠為VR影像捕捉帶來全新的維度。

1. 什麼是6自由度

6自由度（DoF）是指在VR中的運動追蹤量。諸如三星Gear VR和谷歌Carboard都是3自由度設備，因為它們只能追蹤通過X，Y和Z軸的旋轉運動。它們無法追蹤位置。

環顧四周

360度圖片和視頻本質上是圍繞球體的圖像，而在VR中，你則是置身於球體的中間。想像一下，你身處在一個巨大的球形房間里，其中包含著一個照片級真實感的自然場景。當你站在房間中央環顧四周時，這一切看起來將十分具有說服力。但當你開始走近牆壁時，你會發現平坦的球形牆缺乏深度。

在其中移動

即便是在立體360度之中，你仍然無法移動任何的3D形狀，只是兩幅影像附加在球形之上，每隻眼睛看到的視圖稍微有點不同。但通過深度圖，這一切都將發生改變。

2. 深度圖（Depth Maps）

深度圖是通過灰度陰影來表示離相機距離的圖像。黑色區域代表最遠點，白色區域最接近點。

上為顏色圖，下為深度圖

諸如Google Jump和Nokia Ozo這樣的高端VR相機系統已經可以直接導出深度圖。我們通過Google Jump拍攝了我們的第二個項目。當我看到它可以導出的深度圖時，我便開始對它們的應用感到十分好奇。我非常熟悉Unity遊戲引擎，並且將它用於我們以前的兩個項目，因此我開始探索在Unity中深度圖的可能性。經過大量的實驗後，我編寫了一個能夠替換球體每個頂點的自定義著色器。

這個著色器起了作用。程序能夠將視頻信息實時轉化為一個紋理化的三維網格，你可以自由行走並環顧四周。當然，這並不完美。所有的距離都取決於深度圖的精度，而深度圖則是通過使用複雜計算機視覺演算法來比較所有原始捕獲的視頻圖像所得出。這種演算法在反射和重複模式方面存在問題，因此深度並不總是正確。但現在是早期階段，相信技術會隨著時間而改善。

先四周移動，然後通過深度圖進行球形位移

一些6自由度技術不需要360度視頻/圖片捕捉和深度圖，它們是通過多台相機對準一個對象來實現6自由度（外向內）。這種方法通過所有的角度來捕捉對象，並利用攝影製圖法來將其轉化成3D對象。對於該技術，優勢是用戶可以環繞對象行走，並從所有方向瀏覽對象。但由於這沒有捕捉環境，所以對於複雜或多個對象的場景而言存在問題，並且需要大型設置和大量的處理。

與之對比，深度圖6自由度是是從單個點進行捕捉（內向外）。深度圖的優勢在於，你可以通過單個360度相機設置來捕捉整個空間。但因為是這種設置，你無法捕捉對象「背後」的信息。例如，一輛車從場景中通過，相機將無法捕捉車輛背後的一切。這將在3D網格中導致一些嚴重的畸變，當你遠離原始點時這將變得十分明顯。

所以Adobe的Project Sidewinder和Facebook的Surround360 6DoF演示會限制用戶移動，因為離開原點越遠，圖片將變得越扭曲。通過不同的捕獲或處理技術，這種畸變可能會在未來得到改善甚至是解決，但現在問題依然存在。

3. 點雲城市

點雲是指3D空間中的大量點。每個點都有一個位置和一種顏色，處理數十萬甚至數百萬個點的情況並不少見。

那麼我們如何從照片或視頻轉向點雲呢？如果你拍攝了一張解析度為2880×1440的等矩形360度圖片，你擁有的是超過400萬個像素或顏色，因為每個像素代表一種顏色（2880×1440=4147200）。 如果你接下來採用相同解析度的等矩陣360度深度圖，則你擁有空間中單個點的400萬個距離。稍後進行一定的數學計算，你將獲得400萬種顏色和400萬個對應的空間位置，這對於表現為點雲來說非常合適。

點雲不存在與頂點位移技術相同的畸變問題，但它是用空白間隙來替換畸變。點雲十分有趣，但現在它們並沒有提供比頂點位移技術更多的優點。但在未來，點雲有可能成為通往更為有趣的6自由度技術的途徑。

4. 6自由度的優勢

你可能想知道，對於所有這些畸變和空白，為什麼說6自由度比3自由度好呢？在3自由度中觀看立體360度視頻時，你必須保持直立，不能向前傾斜或靠邊傾斜。因為如果你這樣做，整個虛擬世界將與你一起傾斜，這會導致噁心。即使你只是將頭部向一側傾斜一點點，這也可能會破壞立體效果，並導致你感到眼花繚亂。但在6自由度中，你可以自由傾斜和移動。你可以自然地坐下和移動，並且保持完全沉浸感，同時可以實現最小的畸變（在有限的範圍內）。

原文鏈接：https://yivian.com/news/43216.html

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！