在VR里照鏡子，Facebook實驗室研發鏡片捕捉技術

對於開發者們來說，在VR/AR世界中重建鏡子和玻璃並非一件易事。在本月舉行的SIGGRAPH 2018大會上，Facebook Reality Labs (FRL)提出了一種能夠提升3D場景和可信度和逼真感的鏡面建模方案。

在Oculus的介紹下，FRL的部分成員向我們詳細解釋了他們是如何尋求能夠提升計算機視覺和圖形的方法，從而實現更加身臨其境的世界模型。目前，管道重建技術最明顯的缺陷是3D掃描系統會產生真實場景之外的偽影。

研究科學家托馬斯·偉倫(Thomas Whelan)建議：「想要識別目標足夠精準，那就需要進一步簡化識別標示，易於檢測的目標將提升反射性表面的真是反饋，目前通過識別鏡像表面，團隊可使用正確的幾何和反射重新渲染場景」。

為此，FRL團隊需要解決的問題是鏡子類型和形狀的多樣性問題。他準備設計一個能夠處理大部分或所有鏡子形狀和大小的系統。採用分類步驟實現不同鏡像之間的相互關聯。

研究科學家史提芬·洛夫格羅夫(Steven Lovegrove)表示：「為了創建可以支持各種真實空間中的3D重建，我們面臨的挑戰是採集一個有代表性的鏡像樣本，並創建一個可以在每個鏡像上運行的強大演算法。」

另一個方面，是鏡面便捷的分割。如何將虛擬世界的鏡像關係不多不少正好「裝」在鏡子中?專註於任意形狀鏡像邊界的分割工作的研究院斯特勞勃解釋道：「洛夫格羅夫構建了一個系統來校準和估算鏡面與虛擬現實節之間的變數關係，並未其在指定環境中進行定位。這套裝置需要紅外深度攝像頭，RGB彩色攝像頭、用於估計運動的廣角相機和用於顯示標準AprilTag鏡像的背光圖形。

將上述的系統進行整合封裝，最終我悶悶所看到的就是一個完整的虛擬鏡面成像系統，這一系統具備高精度的邊界定位，也可以將虛擬對象添加到場景中，同時也能夠與現實世界的幾何和反射器正確交互——這是一個從原生數據到最終重建的端到端系統。

研究員洛夫格羅夫說道：「在以往的虛擬世界建設工作中，鏡子總會被忽視，我們目前能玩到的幾乎所有遊戲中的鏡面只能按照開發者的意願折射出有需要的成像，這是不真實的。所以在某種程度上，我們正面解決了3D重建中最古老的問題之一。」

FBL團隊的許多成員都參與過全球研究實驗室的3D重建，圖形，機器人和本地化工作。他們正在用一套系統的解決方案來構建幾近真實的鏡面成像系統，在VR世界中，我們看到的鏡面將不再是空無一物，這對於提升VR體驗的真實感極為重要。

【87870原創文章，轉載須註明來源及鏈接，否則將追究其法律責任！】

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！