基於對抗式約束的若監督3D重構

每天一分鐘，帶你讀遍機器人頂級會議文章

標題：Weakly Supervised 3D Reconstruction with Adversarial Constraint

作者：JunYoung Gwak? , Christopher B. Choy?, Manmohan Chandraker, Animesh Garg, Silvio Savarese

來源：3dv 2017 ( International Conference on 3D Vision）

播音員：AMY

編譯：林旭濱 (84)

歡迎個人轉發朋友圈；其他機構或自媒體如需轉載，後台留言申請授權

摘要

監督式3D重構利用深度神經網路已經取得了顯著的進展。然而，這種進展的背後是對大規模2D/3D標註數據集的大量需求。本文，我們用一種低成本的2D監督用以取代成本高昂的3D CAD標註。

具體而言，我們是在光線追蹤池化層（raytrace pooling layer）中利用前景遮罩（foreground mask）作為弱監督以實現透視投影及向後傳播，如圖1所示。

圖1. McRecon網路結構示意圖，其中池化層將3D圖形渲染成2D佔據圖實現監督

此外由於通過遮罩實現3D重構是一個不適定性問題，我們將3D重構限制在一流形上，此流形由與遮罩匹配的無標籤的真實3D形狀構成，如圖2所示。

圖2. 利用流形約束正則化由前景遮罩重構導致的不適應性問題。

我們證明了解此約束優化問題所涉及的對數障礙函數的學習可類比於生成式對抗網路（GAN）的目標，這使得我們能利用現有的訓練GAN的工具。

我們在不同的數據集下測試、分析我們所提出的流形約束下的重構方法，這些數據集涵蓋了用於單視圖重構及多視圖重構的各種人工合成及真實場景下的圖片。

Abstract

Supervised 3D reconstruction has witnessed a significant progress through the use of deep neural networks. However, this increase in performance requires large scale annotations of 2D/3D data. In this paper, we explore inexpensive 2D supervision as an alternative for expensive 3D CAD annotation. Specifically, we use foreground masks as weak supervision through a raytrace pooling layer that enables perspective projection and backpropagation. Additionally, since the 3D reconstruction from masks is an ill posed problem, we propose to constrain the 3D reconstruction to the manifold of unlabeled realistic 3D shapes that match mask observations. We demonstrate that learning a log-barrier solution to this constrained optimization problem resembles the GAN objective, enabling the use of existing tools for training GANs. We evaluate and analyze the manifold constrained reconstruction on various datasets for single and multi-view reconstruction of both synthetic and real images.

如果你對本文感興趣，想要下載完整文章進行閱讀，可以關注【泡泡機器人SLAM】公眾號（paopaorobot_slam）。

鏈接: https://pan.baidu.com/s/1jJkagC2 密碼: eha3

泡泡機器人SLAM的原創內容均由泡泡機器人的成員花費大量心血製作而成，希望大家珍惜我們的勞動成果，轉載請務必註明出自【泡泡機器人SLAM】微信公眾號，否則侵權必究！同時，我們也歡迎各位轉載到自己的朋友圈，讓更多的人能進入到SLAM這個領域中，讓我們共同為推進中國的SLAM事業而努力！

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！