Facebook新VR相機：深度信息如何產生6DOF如何實現

上周Facebook開發者大會F8上，除了小扎對於AR的預測外，公司發布的兩款能夠記錄深度信息的360°相機x24和x6也是獨領風騷。Facebook工程部門主管Brian Cabral在一段長達半小時的視頻中，講述了Surround 360相機的工作原理，製作生態以及應用，透露了不少關鍵信息。至少對於Facebook如何利用相機創建6自由度VR視頻，IN2（www.okglasses.cn）就十分感興趣，下面是筆者從視頻中獲得的一些關鍵信息，推薦有興趣的同學可以看一下。

Facebook 360 Surround x24和x6的特點：

1. 6自由度

2. 無限的輸出可能

3. 和後期製作無縫融合

4. 方便攜帶

5. 畫質提升

為什麼要做x6，因為想要證明6自由度的360相機解決方案對於不同設定的硬體都是可行的。不同的相機有不同的直徑、鏡頭解析度、FOV以及感應器位置等等。這些配置不同的相機能夠給Facebook Surround 360相機的結構給出例證。

球面對極幾何深度測算 Spherical Epipolar Depth Estimation

原理和多年以來地理上的三角測量法類似。使用球面相機是因為這樣可以製作一個平面的sampling，在空間中的任意一點，都可以被多個相機觀測到，可以進行三角測量。根據Epipolar的知識，假設我們想測量的X點的深度信息，由於我們已經知道X點在相機1圖像平面上的坐標，同時也知道其在相機2圖像平面上的坐標，根據原理，我們就能推算出X點的坐標信息。當然前提條件是你要知道兩台相機之間的距離。

Facebook x24和x6設置了多個重合區域，有了這些重合區域就能最大化的記錄圖像信息，就有更多的信息來處理和測算被攝物體的深度信息。

和Lytro的光場相機原理類似，Facebook的x24和x6的關鍵在於收集被攝畫面的RGB信息和深度信息。從視頻可以看出，離相機越近的物體，相機能夠捕捉到的信息越多，反之則越少，這是為什麼相機的深度信息圖是離得越近的物體呈現黑色，而離得遠的物體呈現白色，因為後者能夠提供的可用信息很少。

關於Epipolar Geometry的基礎知識請看文章下方的補充。

Facebook VR相機拍攝製作流程

使用Facebook surround 360的拍攝和製作流程：

1. 使用x24和x6相機進行拍攝

2. 將內容上傳至雲端伺服器進行拼接和深度信息處理

3. 導出的具有深度信息的360°視頻可以導入到Adobe、Nuke、Mettle等工具進行製作

4. 輸出的6DOF的3D 360°視頻到Facebook和Oculus平台

Facebook不是硬體或者軟體公司，他們的目的是構建完整的生態，這就是為什麼他們會和OTOY、Adobe、Foundry、Mettle等公司合作，將帶有深度信息的360°視頻拍攝融入到傳統影視後期工具的Pipeline中，因為後者能夠更好的利用深度信息帶來的優勢。

用途：讓特效製作更容易

記錄畫面的深度信息，第一個好處自然就是能夠讓3D 360°視頻呈現6自由度的體驗感，這也是所有VR影視行業想要達到的一個目的。

另一個好處就是可以讓製作人員更方便的加入逼真的後期特效。傳統的2D 360°視頻由於本質上還是一個平面，所以即使加入CG效果也不好，因為不夠真實。而在有了深度信息之後，製作人員就可以根據深度信息，更精準的為每個層級加入不同的逼真的特效。

如視頻所示，你可以在海洋館的畫面中加入類似「哈利·波特魔法結界」一樣的電流特效，更有用的是，可以將大場景畫面的背景整個抽離，換成需要的背景，這點在好萊塢大片中常用，不過之前需要用綠幕來摳圖，使用能夠記錄深度信息的相機，則免去了搭建綠幕。

由於有了深度信息，製作人員可以在視頻中加入真實的3D物品，而看起來又不像平面圖像一樣違和。還有光照效果，製作人員可以像遊戲一樣，將整個場景的光照調低，給觀眾一個手持火把的效果，讓他們能夠拿著VR控制器去探索一個真人實拍的3D 360°視頻，就像在玩一個CG製作的探險類遊戲，例如《古墓麗影》。

總結

仍在如火如荼舉行的NAB Show上，谷歌推出了自家的Jump系統的升級版Halo。這款和小蟻聯手推出的17000美元的相機依然是一個單純的相機陣列產品，相比於Facebook的x24和x6似乎矮了一頭。不過谷歌的工作人員也表示，自家的產品本來就主打中端，臉書的相機走的是和Lytro一樣的高端製作者路線。對於谷歌的這個說法，IN2略表不同意，作為VR製作的關鍵因素，深度信息的紀錄絕對是拍攝設備和運處理端的趨勢，谷歌也在研究，只不過目前還沒有成型的產品出來而已。

同樣是在NAB上，來自Adobe研究部門人員曝光了根據運動的普通2D 360度視頻推算出深度信息的演算法，從純軟體層面讓6自由度真人視頻體驗成為可能。據IN2所知，國內也有團隊在嘗試類似的解決方案，IN2也將在之後進行詳細報道。

關於Epipolar Geometry的知識補充

對於雙目視覺系統，即有兩個攝像機，定義兩個攝像機的光學中心點為C、C『，在三維空間中存在一個場景點X，這個點與兩個攝像機光學中心點共同構成的平面就是極平面π（epipolar plane），每個攝像機都有一個圖像平面，分別為Image1和Image2，CX交Image1於x點，C』X交Image2於x』點，而CC』連線分別交兩個圖像平面於e和e』，這兩個點稱為極點（epipoles），CC』稱為基線（baseline）。極平面與圖像平面相交於兩條極線（epipolar line）l和l』，這兩條極線的關係是對應的（correspondence），而x、e、x』、e』分別位於l和l』上。

隨著三維場景點的移動，極平面將繞著基線轉動，這些極平面共同構成一個極平面束（an epipolar pencil），這些極平面與圖像平面所交匯成的極線族分別都交於兩個極點e和e』。

假如我們只知道X投射在圖像平面Image1上的投射點x，我們如何去獲知在另一個圖像平面上（也就是Image2）x的相應點x』呢，這個相應點x』符合什麼樣一種幾何規則呢？

我們知道，極平面是由基線和xX共同構成的，從上面的介紹我們知道了這個相應點（現在還是未知點）也一定位於極平面π上，因此可以得出x』點位於極平面π與另一個圖像平面Image2的交線l』上，也即l』是投射點x的反向投影在第二個視角（第二個圖像平面）上的圖像。這種關係在立體對應算（stereo correspondence algorithm）中有很大的好處，那就是不需要在整幅圖像上尋找x的對應點（correspondence points），而只需要把範圍限定在極線l』上即可。（圖片文字來自百度百科）

相關閱讀

詳解Facebook聯手OTOY推光場相機 6DOF VR視頻不是夢

谷歌聯手小蟻推二代全景相機Halo 更小更輕更先進

Adobe出奇招 將2D全景視頻轉制6自由度VR視頻

[IN2原創資訊轉載請註明來源及鏈接 圖片|視頻來自Facebook]