西顧視頻推出可拍6DoF視頻的光流相機，我們與CTO聊了聊

最近光場相機領域動態頻頻，在前幾天谷歌發布多個光場視頻後，國內一家公司也拿出了他們的光流相機和支持6DoF的光場視頻。

這家公司是杭州西顧視頻科技有限公司（FXG-Video），成立於2017年5月，從事深度沉浸式內容與技術研發製作，有軟硬體技術和解決方案，提供產品拍攝到內容後期製作與播放一體化流程服務。目前其已有3D VR和2D VR攝影機產品。

為了解其支持6DoF的3DVR攝影機，雷鋒網特意與其CTO李文松進行了深入訪談。

上圖這台設備是其產品ET-2 3DVR攝影機，被稱為"光流VR攝影機"。據介紹，這個相機的功能有：

· 支持超近距離（≤30CM）拍攝和完美拼接

· 可以捕獲360度視頻深度信息並提供六自由度（6DoF）追蹤能力

· 八目間隔式攝像頭陣列，單目 240度千萬級像素鏡頭

· 光流技術，可以在重播時實現，改變位置、景深、子彈時間等特效

· 16K 3DVR電影級畫質

· 全電子同步，一鍵開關機，一鍵拍攝

· 實時監看（VIVE/CV1）和直播

· 無線遙控

這個相機是一個圓柱型，上面是鏡頭，下面是主機。

由於現場條件不允許，雷鋒網編輯沒有直接體驗到西顧的6DoF視頻，從頭顯內錄屏的視頻看來，用戶可以在其用相機拍攝的視頻內移動，這個移動的範圍有7-10cm。

（西顧6Dof視頻體驗Demo）

雖然沒有體驗到6DoF視頻，但是雷鋒網編輯體驗了西顧高清3DVR視頻。在數十個3DVR視頻中，雷鋒網體驗了其中的大部分內容：遠程生日宴會、舞者、China Joy現場等。從體驗來看，這些視頻很清晰，色彩飽和，3D效果好，沉浸感不錯。據稱，西顧採用了自己研發播放器以及八面體投影格式來提高解析度。

超近距離拍攝，縮短安全距離

令人印象深刻的是這些視頻里，體驗者與內容之間的距離可以靠的很近，不會發生內容的畸變和拼接錯誤，也就是他們強調的超近距離拍攝效果（≤30CM）。在遠程生日宴會這個視頻中，雷鋒網編輯體驗到了這種拍攝距離帶來的好處。

在戴上頭顯後，我出現在了美國的一個住宅中，環顧四周，有食物還有交談的人群，這顯然是一個小型私人派對現場。然後一個男人拿著雞尾酒向我走近，對我說生日快樂，然後他旁邊的人也開始靠過來，他一一介紹這些人給我認識，這些人也七嘴八舌對我說著生日祝福。我腦子裡知道這是虛擬場景，但是可以真切地感受到現場氛圍。我低下頭，能看到桌子上的事物，每個人在我身邊摩肩接踵。這些人最近的時候離我似乎只有一步路的距離，也就是平時親密朋友交流時最短的距離，近處只有幾十厘米甚至十幾厘米。

超近的安全距離是西顧ET-2 3DVR攝影機的一大特色，從技術實現來說，這有什麼價值呢？

我們都知道，全景相機採用多鏡頭（大於等於2）採集，再將採集到的畫面通過演算法進行拼接。而相機鏡頭之間光學節點不是重合的，這個距離被稱為相機「節點距離」，距離越大，拍攝到的畫面越容易產生畸變和拼接錯誤：遠處物體會出現"重影"、近處的畫面會產生缺失。

2D全景相機的節點問題解決比較簡單，就是讓鏡頭結構盡量緊湊，比如理光的雙目折返式稜鏡專利，李文松在幾年前也研發了交錯式背靠背鏡頭，用來解決2D相機距離的問題。

但3DVR和6DoF相機的節點問題比2D要複雜許多，目前市面上的全景相機、光學相機都採用了不同的相機陣列。有Lytro Immerge這樣像一堵牆的超大相機陣列方案、也有像谷歌展示的放在旋轉檯上的16個相機陣列。不同的相機陣列會產生截然不同的拍攝效果。

(Lytro Immerge)

李文松介紹到，要理解西顧的八目間隔式攝像頭陣列，需要理解一個概念，他稱之為：視節比。也就是相機的立體視差距離和鏡頭節點距離的比例。因為全景相機是要模擬人的雙眼成像，所以都會採用多個相機的模式，兩個相機的距離被稱為視點差。人的雙眼是有瞳距的，視點差的最好距離是6-8cm，不能過小也不能過大。整體來說，相機的視差要接近人眼瞳距，同時鏡頭節點距離要儘可能小。

(西顧ET-2 3DVR攝影機）

他談到幾代3D VR相機在"視節比"上的發展，"第一代的3DVR相機把多組產生雙目視差的左右鏡頭成對放置，然後將左右鏡頭各自拼接起來，這個時候相機的節點距離很大，且一定大於視差，所以視節比小於1。第二代的3D全景相機的一個鏡頭可以同時當作左右眼，然後再將不同相機的左右眼區域拼接起來，這時視點和節點是一樣大的，例如谷歌JUMP、FB的Surround 360。李文松將西顧的光流VR相機採用的方法稱之為第三代，他採用了間隔式的鏡頭拼接方法，可以選取間隔1-3個相機拍攝出的圖像進行拼接，這樣相機之間的節距可以非常緊湊，視差距離變大很多。視節比遠遠大於1，目前市面上僅有三星的Beyond相機視節比大於1約為1.2，而這台ET-2相機的視節比為 2.4。"

採用八個相機陣列和間隔式拼接法後，李文松解釋到，他可以拼接出4-5個完整的全景畫面，每個畫面解析度都達8K，而目前其他3DVR相機只能拼接出2個完整的全景畫面，也就是說光流相機獲得了更多的信息。為了解釋這種間隔式拼接演算法，李文松向雷鋒網編輯演示了一個圖形化小工具，在輸入相機數量、鏡頭度數後可以計算出能得到多少個全景畫面。

除此之外，拍攝過程中還用到了光流演算法。李文松解釋到，在相機拍攝之後，基於上述4-5個完整物理全景視圖，可以用軟體虛擬插值出上百個鏡頭視角（依賴計算速度），還原空間內全部光線。他們然後採用專門的MVS和Parallex插值演算法獲得比普通雙目立體演算法更為完整精確的多層6DoF深度信息。這樣實現的6DoF視頻可以完成傳統光流相機所有功能（6DoF運動、重新對焦、自定義光圈）， 但在存儲格式遠遠小於Lytro和谷歌等那種基於物理多鏡頭矩陣的數據格式，只比普通3DVR視頻增加2倍不到的數據帶寬。西顧視頻現在已經基於這種6DoF視頻數據格式研發出了專用6DoF視頻播放器，並在不遠的未來可以實現6DoF VR視頻直播。

（西顧VR8視頻格式介紹）

自2015年來，全景視頻就是影視技術發展的一個重要趨勢，其可以為VR提供沉浸式內容。全景視頻的發展經歷了三個階段：2D全景、3D VR全景、6DoF全景。西顧視頻目前主要專註於後兩個階段。

李文松談到， 2017年多個支持6DoF的VR一體機發布並將在2018年上市，包括HTC Vive Focus、Pico Neo一體機等，而目前，6DoF的視頻內容十分缺乏。電腦CG的方式相對昂貴，視頻拍攝的方式可以讓6DoF內容生產更快更便宜。目前6DoF視頻技術現狀，大致有由內向外（Lytro、谷歌、FB的方案）和由外向內（Intel的方案）這兩類方案，西顧方案屬於前者即由內向外，這種6DoF技術方案部署和拍攝容易，未來可以產生普通消費者生產內容（UGC）模式，而有外向內技術的6DoF技術必須搭建專用影棚，只能由專業團隊製作（PGC），但移動自由度和精度更好，尤其適合拍攝人物角色。

當然，6Dof視頻剛剛起步，未來也還有很多挑戰。例如6Dof視頻內可移動範圍需要進一步擴大，用像谷歌、西顧這樣的從裡到外的拍攝方法產生的6Dof視頻，目前可移動範圍都有限。如果可移動範圍足夠大，視頻內的運動不僅可以提升沉浸感，還可以在實際拍攝的場景里設計交互，發展為虛擬與真實融合的遊戲。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！