迪士尼最新混合現實技術：無需頭盔手控直接與CG電影角色互動

你走到一個大屏幕前，在一張長凳上坐下來，看見自己的形象出現在屏幕上，就像在照鏡子一樣。然後一隻迪士尼的小飛象坐在了你的身邊，遞給你一隻金色的球，你可以直接伸手接過來……

這凳子需要配電腦買嗎？

這是迪士尼在演示自己最新的混合現實技術Magic Bench——真的就像一隻「魔法凳子」——任何人只要坐上去，就能與自己熟悉的卡通角色直接交流。

這個技術與概念中的AR或者VR最大的不同之處，是我們不需要頭顯或者任何手控設備。

位於匹茲堡的迪士尼研發團隊在描述這項技術時，首先強調了上面那句話，然後用一句婦孺皆知的通俗方式解釋：

這是（對所謂人機交互）最簡單的說明，一個人進入一台電腦，電腦把這個人跟一個（電腦製作出的）角色擺在了一起。

不僅這個解釋非常巧妙和簡潔。從演示視頻看到的效果也非常驚艷。其實背後的原理也一點不複雜就能說清楚：

迪士尼R&D團隊開發的Magic Bench技術，就是在一台大的電腦顯示器上讓觀眾看到自己的鏡像，然後使用深度感測器重建一個與現實人物周圍一樣的數字場景，在這個跟自己環境一模一樣的數字場景中，現實中的觀眾就能以第三人稱視角，看著自己的鏡像與電腦CG出的動畫形象互動了。

Magic Bench真正與目前概念中的混合現實不同之處，就是它把現實中觀眾的鏡像與CG形象放在了一個與現實場景一樣的數字環境中。而不是把一些視頻影像疊加在另一些上面。事實上，觀眾看到的是實時生成的自己的「影子」在與虛擬的目標互動。

迪士尼這項技術的研發人員旨在創建一種「動態遊戲」的體驗。那隻魔法凳是帶有觸覺感應功能的設備，可以提供震動等多種觸覺感知。使坐在上面的人能真切地感覺到CG交互對象「真切地」存在。此外，魔法凳還能識別坐在上面的人的具體位置和數量，以此推斷出需要實時創建的鏡像及其位置。而且，坐姿不同也會有不同的體驗。

然而，魔法也不是萬能的。這裡存在一個很顯著的問題是，在深度感測器和相機鏡頭無法完全對應的區域內，會出現「深度陰影」。解決方法是，Magic Bench系統使用修改後的演算法來創建2D背景。 等重建後的3D形象和2D背景被定位在虛擬空間中之後，再用這些3D形象置換原來背景中的目標。簡單而言，這樣得到的實時渲染出的場景就是一個能把現實背景與虛擬物體，光和陰影交互融合後形成的影像。給觀眾的感覺更加真實。

這套Magic Bench的3D重建系統，使用的是既有的Microsoft Kinect運動檢測裝置，結合了深度感知系統和顏色感測器的功能。具體的解釋就是：研發人員以點雲中的各個點作為目標多邊形物體的每個頂點，先給目標創建一個固定不變的網格狀外觀，然後將來自相同Kinect的RGB攝像機給到的色彩與網格一一吻合。（RGB攝像機可以在三根不同的電線上傳送紅藍綠三種基本顏色。這種類型的相機經常使用三個獨立的CCD感測器來獲取三色信號。用於非常精確的彩色圖像採集——譯者注）。用這種方式給網格「著色」，同時完成3D重建的視頻。

看看青蛙怎麼變王子？

這項技術目前看似是一個「小遊戲」，細思之後會發現在未來的「沉浸式娛樂」上，有廣闊的發展空間。迪士尼研究機構的首席數字藝術家Moshe Mahler在關於Magic Bench的演示視頻中說：「我們這個項目的「魔法」是：（觀眾）聽到一個角色過來，看到它們進入了自己的空間，然後發現到它們在自己身邊坐了下來。」

就未來的沉浸式娛樂而言，我們只需要在客廳里擺這麼個「魔法觀眾席」，打開家庭影院的大屏幕。就可以看見我們與自己熟悉的虛擬角色共處一個故事中，你可以觸摸它們，接過它們遞過來的任何東西，甚至可以對話……而這一切最關鍵的所在是，除了正坐著的魔法椅子，你不需要任何外設了，而且全家都可以同時進入一個虛擬世界。

迪士尼的研發團隊將會帶著Magic Bench，參加下周在洛杉磯舉行的Siggraph 2017計算機圖形和互動技術會議。這時候只想再問一次：迪士尼究竟是一家什麼公司呢？能同時在奧斯卡和Siggraph都佔盡風頭才是這個時代的贏家啊。

相關閱讀：

迪士尼推出第四個孵化器 VR遊戲和線下體驗店等11家技術公司入駐「米老鼠基地」

迪士尼阿凡達主題公園開張：如何打造沉浸娛樂新地標

迪士尼曝光星戰主題樂園「銀河之刃」 ：1000美元駕馭千年隼進入全沉浸虛擬世界

[ IN2原創資訊轉載請註明來源及鏈接視頻｜圖片來自迪士尼]

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！