量子視覺張聰：如何用4k的解碼晶元達到10k的效果？

5月8日，量子視覺舉辦了分享會，與大家一同探討VR內容的商業化之路到底如何走下去。在演講中，張聰解釋了相機採用20鏡頭、10K的意義，同時詳細介紹了目前關於內容拼接存在一些問題和評定質量方法。

張聰表示，目前有兩種方法可以用4k的解碼晶元達到10k的效果：動態碼流和動態區域，後者也是目前量子視覺採用的解決方案。

拼接質量的優劣主要看以下四個方面：是否存在縫隙；光線的過渡是否自然；3d不暈並且給人很強的沉浸感；清晰度。而拼接存在的主要問題包括內容的缺失、變形和重影。

以下是演講實錄，VRZINC整理有刪減：

張聰：我們認為，VR市場最終會被幾個大的公司統治。但是內容是一個會百花齊放百家爭鳴的環節。目前無論是影視、遊戲、旅遊業等統一的特點就是缺少優質的內容。量子視覺助力優質內容的cp，幫助他們生產高質量的內容。我們舉辦這次大會就是為了幫助這些團隊，讓他們在製作內容的時候不會因為硬體、解決方案而制約他們的想法。這樣是我覺得對VR行業最深層次的推動。

創業，最關鍵是解決別人的剛需。極大的降低成本、提高製作效率、提高用戶的體驗，這是量子視覺做解決方案時貫穿的三個主旨。

我們希望用戶使用我們設備的時候可以降低足夠多的成本，包括在設備、人工、後期剪輯等。當前很多設備包括gopro、索尼等，他們方案的把控程度、後期處理的時間都是非常大的消耗。

VR是一個顛覆性的產業，它能給人一個嶄新的體驗。但是目前因為拍攝的畫面質量和內容都偏低，所以要把VR的剛需做好需要提高用戶的體驗。

AURA只有20厘米直徑，為什麼我們能把20個攝像頭裝進排球大小的機器里？我們是從演算法出發，而不是先把這個硬體做起來在設置演算法的。對於拼接的演算法，學術界至今還沒有能完全解決。所以基於現有的演算法，必須有的硬體去配套，才能做到最好的效果。

為什麼要做20個鏡頭的相機？

廣角的視頻和魚眼視頻的區別。目前大家使用的VR相機大多是魚眼相機拍攝的，它的優勢是可以拍攝很大的fv、方便拼接、減少相機數量。這帶來的缺陷就是視頻邊緣的解析度比較低。而廣角的就能保證整個視頻的質量。

目前市面上較好的全景相機像gopro、jaunt等水平方向的鏡頭數量都不會低於12個。我們水平方向16個鏡頭是目前能拍攝出最好的效果。

我們在鏡頭上也做了改進，市面上有的鏡頭是塑料的，在散熱和穩定性上很差，我們現在用的是玻璃的，這樣能保證高壓工作的穩定性。

「10K」一詞，最近被太多人提及，硬體廠商也習慣了堆參數，究竟拍10K的視頻是否有必要呢？實際上是有必要的。人眼可視注意的區域不到70°，大部分VR屏幕的主要用途都是鎖在70°範圍內，現在如果是一個2.5K或者3K屏，有一半的解析度是1440p，只集中在在70°範圍里，只有乘以5才能達到屏幕的極限。「現在左右眼8K的視頻，可以達到現在2.5K或者3K的屏幕極限。AMOLED屏幕，只有達到10K的畫質才能把這個屏幕用滿。」張聰向筆者解釋道。

拼接質量的四個方面

目前最常用的是gopro的kolor、facebook的surround360，而我們採用DKV。kolor很難把所有內容都拼接到；Facebook的演算法可能會造成圖形的拉伸惡化形變，相較之下我們在這方面的演算法還不錯。

不同的拍攝會導致亮度差別大，過渡也比較不自然，導致模糊。Facebook並沒有在這方面進行優化，我們對每個像素都會計算大約的參數。

好萊塢的3d做了很長時間，他越做越好，越做越舒服。我們目前只是想做到頭不暈，這就需要沒有垂直方向的視差，並且同深度水平方向視差做到一致。kolor只是把左右眼的畫面做了一個簡單的平移。Facebook必須依賴硬體，但是不同硬體算出來是不準的。

什麼樣的設備能支持10K？

pc一般電腦很難帶的動，可能需要價格15000左右的電腦配置可以直接進行播放。

而目前驍龍835隻能支持4k的解碼，我們如何用4k的解碼晶元達到10k的效果呢？

第一種通用的是動態碼流。看的地方清晰，不看的地方模糊。我們人眼看到的是不到2k的區域，所以以4k的解碼晶元是足夠的。這樣的缺陷在於換畫面的時候會有不到一秒的延時。

第二種是動態區域。就是渲染圖像裡面動的區域渲染，不動的區域不進行實時渲染。這意味著10k的視頻不一定要在手機上全部渲染出來，只要渲染部分的區域就能達到10k的畫面質量，這也是我們的解決方案。

最後打個小廣告。我們開放拼接平台，也可以幫助用戶提供專業的拼接服務，價格其實很便宜。

針對不同的客戶需求，我們將推出新的VR攝影機：AURA MINI。設備為8目190度魚眼鏡頭，電池可更換續航更佳，體積上將是市面上體積最小的專業級VR攝像機能達到360°3D 8K的畫質效果及360°音頻採集，可做直播，配合AURA WORK和AURA Studio能夠實時監看，無縫拼接。就像之前說的，魚眼鏡頭畫面質量沒有大的高，但是適合小的studio使用。