AR VR中的光照一致性

在增強現實中，為了使虛擬物體看上去更逼真，需要考慮這個虛擬的事物和周圍環境的協調性。

首先，要讓這個物體的大小，角度，位置和環境相融合，這叫做幾何一致性。

還有一點需要注意。

如左邊的圖所示，一個虛擬的頭部圖像，在添加了符合環境的明暗之前顯得與背景之間有些突兀。而右邊的圖則好很多。

根據真實場景中的光照分布情況對虛擬物體做明暗處理，從而可以消除虛擬物體的漂浮感，這就是光照一致性，它是確保虛擬物體和真實場景完美融合的關鍵。

Image Based Lighting

Image Based Lighting，意為基於圖像的光照，我們在後面用IBL簡稱。

光照一致性也是電影特效CG的製作的關鍵。

CG 的核心是光照和渲染。在 CG 特效裡面，最難，最有挑戰的也是光照，因為只有光照是最難和真實畫面匹配的。很多時候並不是模型不夠細膩，動畫不夠逼真，透視不太對，主要還是光照不匹配。

所以現在在電影的拍攝現場特效公司會有專人收集現場光線，IBL就是一種採集現場光線並計算用於後期打光的技術。

如環太平洋中，其中特效場景的光照就是依靠採集真實場景的光照，特效團隊很少額外的打光。

在曾經的計算機圖像學中，只能計算點光源的照明模型，但是現實場景中的光照情況要複雜得多。在一個真實場景中，光源也許是一個霓虹燈管，或是陰天的陽光，那麼對光線分析起來就不那麼容易了。

並且一個物體不會只接受來自光源的光照，它附近的物體會反射光，照射到物體上，而這個物體也會繼續反射，照射到臨近的物體上，是一個相當複雜的過程。

在電影CG製作時，光照的採集和後期光影製作是分開的，也就是說光照的生成並不是實施完成的，但是在AR中我們會有更高的要求，物體的明暗、反光都要實時的反映出來。

幾種反射原理

先介紹幾種常見的光照模型：

朗伯漫反射模型。自然界的大部分物體都是漫反射體，有一些光澤度很好的金屬或者玻璃才會完全地反射光線。

漫反射光均勻地在180°角之間，向四周個方向反射光。

其中，P點的法線方向光照是最強的，越靠近切線方向的光線強度則會變弱。通過這個漫反射模型得到了一個和餘弦值相關的關係式。假如能對環境中每一個紋理點進行採樣和計算，某一點的光照則來自附近各光照點的一個關於餘弦的加權值。

但是很多紋理是無法查找的，各種材料表面的情況也不相同，並且這個計算量將會非常地驚人。

所以關於漫反射，還有另外一種辦法。

現將環境模糊化，通過使用高斯模糊濾波器，環境紋理中的每個點從其周圍的像素接收信息。這樣一來計算量就減少了不少，可以更快得到結果。

Bllin-Phong鏡面反射模型

除了漫反射，一些光澤度較好的物體還會產生鏡面反射。

和漫反射不同的是，並不是在所有位置都能看到反射光的。理想模型中，只有在出射角觀察才能看到出射光。

但是並不是所有的鏡面反射物體表面都很光滑，所以在考慮有些模糊的反射時，採樣點在一個角度範圍內取。

也是通過對採樣點一系列的計算，該處的鏡面光量。

同樣的，為了簡化計算提高速度，也可以進行預先的模糊處理。

場景光照的獲取辦法

測光球法，用一個反光度很好的鏡面小球放置在場景中，攝像機對測光球進行拍攝（可以是多角度的），獲取場景的光照信息。

圖像拼接法，用魚眼相機在不同角度拍攝多張圖片，最後再拼接起來。

全景相機，使用的較少。

測光球法應用的比較多。

測光球上方可以防止一台魚眼相機，作為對左邊場景相機的輔助。

不過也可以去掉魚眼相機，只用場景相機，但是這時候就要做一些額外的運算。

首先檢測鏡面球的位置，然後繪製球形圖像。

在鏡面球的輔助下，通過一系列計算獲取環境的光照信息。

渲染效果

提取光源。

添加陰影和高光，渲染畫面。

為了改善效果，可以有如下解決辦法：

增加攝像頭，可以考慮使用雙攝像頭，一個用來拍攝場景，另一個則是用來獲取光照信息。

增加鏡面小球

渲染的效果如下所示

未經處理的虛擬圖像

鏡面處理

最終圖像

移動端AR的光照一致性

剛剛舉的例子是有採光鏡面球這樣的輔助工具存在的情況，而且即便是對計算進行簡化，目前的手機、頭顯的硬體也很難實現環境的光渲染。

假如沒有鏡面球，AR本身也沒有真實光照採樣器，即使性能足夠真實光源也難以抽象成邏輯光源在虛擬環境中使用。

在這種難為無米之炊的情況下，可以進一步簡化IBL過程

GIF/837K

漫反射

GIF/751K

鏡面反射

（學會爬梯子才看得到的demo視頻鏈接https://www.youtube.com/watch?v=YxxCjV-2y_E）

可以看到效果還是不錯的，原理大致是首先將相機拍攝的圖像進一步模糊，然後對相機拍攝到的該幀圖像光照分析。這並不完美，比如這個鏡面反射就顯得有些假，但是這個方向是對的。

不過該demo是用筆記本電腦實現的，應用於手機和平板則還需要做優化。

AR醬原創，轉載務必註明

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！