用AR和電影中的人物面對面
五年前的周杰倫台北演唱會上，在11000名觀眾的矚目中，小巨蛋舞台上「紅塵客棧」的雕花門庭前，一襲白色旗袍的鄧麗君款款走來，兩位樂壇的標誌性人物跨越時空，同台對唱三曲。
運用虛擬影像重建技術和paper』s Ghost投影，一個難辨真假的虛擬鄧麗君形象得以登上舞台。這個栩栩如生的鄧麗君虛擬形象帶來的震撼是錄像錄音無法比擬的，親眼目睹這個3D人物，好似逝者復生，經典復現。
在幕後製作中，多次獲得奧斯卡的Digital Domain3.0特效團隊經歷了複雜的工序，繪製了7000幅圖像，製作時間長達兩個多月。為了復現這一經典，演唱會方面可謂是投下巨資。
每個人心中或許都會有一些想要親眼一見的經典人物或者場景，不過即便是擁有AR設備，對於普通人而言3D重建似乎也太難了些。最近，一款基於AI的名為Volume的增強現實工具或許很快就能讓我們做到這一點。
開發商Or Fleisher和Shirin Anlen發布了一個簡短的演示，展示了將經典電影《低俗小說》中的場景轉換為AR的過程。應用獲取電影中的2D圖像，並且將他們抓取出來，放置於現實場景中。
目前該應用還處於測試階段，當前的效果較為粗糙，不過這個概念是非常棒的。從2D視頻材料中獲取人物的3D形象，並將他們放置於用戶身處的現實環境，這對於作品的死忠粉來說實在是太令人激動了。
而Fleisher和Shirin Anlen的靈感來源於一個名為「 Tzina」的互動式虛擬現實紀錄片。
Tzina Dizengoff是一個即將被拆除的城市廣場，曾經常常來此久坐的人感受到了一種寂寞和邊緣化。導演想要捕捉和保存這個場景和人們的感覺，於是就有了Tzina。Tzina包含了超過45分鐘的錄像，10個被採訪的角色，帶上VR頭盔便可以走入這個虛擬廣場，傾聽人們的訴說。
受該紀錄片的靈感，Fleisher想到是否可以把人類已有的一兩百年的影像資料3D數字化，Volume被創造了出來。
Volume利用了深度學習的卷積神經網路，簡單的來說就是通過成千上萬次的訓練，讓機器可以通過圖像分析出圖片的深度信息。
關於如何利用單張2D圖像生成3D模型的辦法，在十幾年前就已經開始研究。早期提出的都是數學辦法，比如通過分析點線面的結構，來確定每一個像素點應該處在哪一個深度平面。
效果就很勉強了。
深度學習則大幅度推進了這一研究領域。通過大數據的支撐，機器可以估測一個物體完整的結構。
不過僅從一面觀看恢復物體的原貌，難免會有錯誤。而基於電影圖像不同，角色和場景會隨著拍攝角度而變換呈現出的部分，這樣基於多面的3D復原在準確性上就會強上不少。
不過目前Volume還沒能實現很好的效果，他們的目標是創建一個每個人都能使用的Web應用程序，輸入2D圖像，輸出3D化的結果。
最終可以讓用戶利用手中的Apple設備，使用ARKit框架，重現電影中的經典場景。給Volume一點學習的時間，等它吃下足夠大的數據量之後，相信它會變得非常強。
TAG:AR醬 |