「Science」深度殘差網路SurfNet將2D圖像轉變為現實物體

20萬，這是新智元今天達到的用戶總數。在飛向智能宇宙的旅程中，感謝每一位和新智元同行的朋友。您的關注和支持是「新智元號」星艦永不枯竭的燃料。

看著一張照片，想像照片裡面物體（人、汽車和狗等等）的 3D 形狀，對人來說並不是難事。但是，缺乏現實世界經驗的計算機卻顯然還沒有那麼聰明。

現在，科學家們創造了一個新的「轉化」的方法，讓計算機離具備這種能力又更進了一步。他們從教一個演算法將3D物體看成2D平面開始。例如，想像一下，一個多山的地球，把它變平成矩形地圖，表面上的每個點都顯示緯度，經度和高度。

經過這樣的訓練，新的機器學習演算法能學會如何將包含了3D物體的照片「翻譯」成2D平面，最終又將這些2D平面組合成3D的形式。（圖中的飛機）

研究人員訓練這一演算法，讓它幾乎可以重構任何汽車，飛機和手勢。雖然早期的方法把轎車變成了兩廂車，並把飛機變成了鳥（見上面的第二排飛機），但是這種新方法可以更準確地推斷出照片中的3D形狀。

研究人員在2017年的CVPR上報告了這一最新的研究成果，稱為SurfNet新項目。

這一演算法也可以為汽車，飛機和手發明全新的，逼真的3D形狀。未來的應用可能包括為虛擬和增強現實設計對象，創建房間的3D地圖用於機器人導航，以及設計通過手勢控制的計算機介面。

CVPR論文：使用深度殘差網路生成3D物體表明

3D形狀模型使用頂點和面來進行自然參數化，即由形成表面的多邊形組成。然而，當前使用卷積神經網路來完成預測和生成任務的 3D學習範式只聚焦於對象的體素化表示。

傳統的2D到3D的轉化需要的卷積計算導致很高的計算開銷，而且幾乎沒有幾何信息被包含在表面邊界上。在這裡，我們研究使用深卷積神經網路直接生成剛性和非剛性形狀的3D形狀表面。

我們開發了一個程序來創建一致的「幾何圖像」，它領域表示3D物體類別的表面形狀。然後，我們通過開發用於幾何圖像生成任務的深度殘留網路的新擴展，從參數表示或圖像中對特定類別的物體形狀表面生成使用這種一致性的表示。

我們的實驗表明，我們的網路學習了形狀表面的有意義的表示，允許它在形狀取向和姿勢之間進行插值，發明新的形狀表面，並從先前看不見的圖像重建3D形狀表面。

論文地址：https://arxiv.org/pdf/1703.04079.pdf

點擊閱讀原文可查看職位詳情，期待你的加入~

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！