Magic Leap最新論文：邁向幾何型深度 SLAM

選自arXiv

機器之心編譯

參與：Smith

本篇文章把兩個 SLAM（同步定位與地圖構建）子任務作為機器學習問題，研發出了兩個簡單的數據生成器，用幾百行代碼就可以實現，設計了兩個可以實時運行的簡單的卷積神經網路，並且在人工合成數據和真實數據上都對它們進行了評估。

論文鏈接：https://arxiv.org/abs/1707.07410

摘要：我們提出了一種由兩個卷積神經網路驅動的點追蹤系統（point tracking system）。第一個網路，MagicPoint，對單一圖像進行操作，並且提取最重要的二維點。被提取的點是「SLAM-ready」的 ，因為它們是被分離設計，而且在圖像中是均勻分布的。我們把此種神經網路與經典的點探測器（point detectors）進行了比較，並且通過圖像噪點發現了它們之間顯著的性能表現差距。由於當被檢測點具有幾何穩定性時，轉化估計（transformation estimation ）是很簡單的，因此我們設計了第二個網路，MagicWarp，它作用幾幅點態圖像（MagicPoint的輸出）上，而且會對與輸入相關的單應矩陣（homography）進行估計。這一轉換引擎與傳統方法不同，因為它並沒有使用局部點描述器（local point descriptors），只使用了點定位（point locations）。兩個網路都是用簡單的人工數據進行訓練的，減少了對昂貴的外置攝像實況和高級圖形渲染渠道的需求。這一系統是快速且精益的，可以很輕鬆的在單一 CPU 上以 30+ FPS 的狀態運行。

深度點基礎追蹤（Deep Point-Based Tracking）概況：

深度點基礎追蹤系統如圖1 所示。在此追蹤系統中，兩個卷積神經網路是計算過程中的主力軍：MagicPoint 和 MagicWarp 。

圖 1：深度點基礎追蹤概況。幾幅圖像會被 MagicPoint 卷積神經網路進行處理，此網路會在圖像中檢測最重要的轉角（corner）。隨後生成的點態圖像會被 MagicWarp （另一個卷積神經網路）一起進行處理，以計算出一個與點態輸入圖像中的點相關的單應矩陣（homography）H 。

MagicPoint 概況：

圖 2 ：MagicPoint 架構。MagicPoint 網路作用於灰度圖像，並且對沒一個像素輸出一個「點」（point-ness）概率。我們使用了一個 VGG 樣式的編碼器和一個顯式解碼器。每一個在最後得到的 15x20x65 張量上的空間位置都代表了一個本地 8x8 區域的概率分布，和一個單一的「垃圾」通道（表示沒有檢測到點）。此網路是使用一個標準交叉熵損失（cross entropy loss）來進行訓練的，也使用了二維圖形渲染器的點態監督（見圖 3）。

圖 3：人工圖形數據集。人工圖形數據集包括渲染後的三角形，四邊形，線，立方體，棋盤格，還有星星，每一個都帶有實況轉角定位（ground truth corner locations）。它也包括一些沒有真實轉角的負像（negative images），比如橢圓和隨機雜訊圖像。

MagicWarp 概況：

圖 4：MagicWarp 架構。幾幅二進位點圖像連接在一起，然後輸入進一個標準化 VGG 類型的編碼器。3x3 單應矩陣 H 通過一個全連層進行輸出。隨後，H 被標準化（normalized），以保證其右下角元素是 1。已知從一張圖像到另一張圖像的對應關係，用彎曲點（warping points）對損失進行計算，並且測量它們和相應真實值之間的距離。

圖 5：MagicWarp 數據生成。為了生成二維點集對（2D point set pairs），我們為三維幾何體創建了三維點雲圖，並且在簡易三維軌跡的限制下把它們渲染進了虛擬攝像機。

MagicPoint 網路的部分評測結果：

表 1：人工圖形的相關結果。人工圖形數據集中10 種類別圖像的平均準確率（mAP，越高越好）和平均定位誤差（MLE，越低越好）。注意 MagicPointL 和 MagicPointS 在一定程度上不會受到圖像噪點的影響。

圖 6：噪點類型對合成圖形的影響。探測器性能會被噪點破壞。對傳統探測器來說，斑點雜訊（Speckle noise）尤其難以處理。

圖 7: 30個靜態轉角的數據集。我們在30個靜態轉角的數據集中的真實轉角位置的邊沿，對每一序列的樣幀進行了展示。這些序列來自四個不同的種類：棋盤格，分離的轉角，立方體，以及正方形。

表 2：靜態轉角結果。30個真實數據序列的平均準確率（mAP，越高越好），平均定位誤差（MLE，越低越好）和重複率（R，越高越好）。

MagicWarp 網路的部分評測結果：

表 3：匹配演算法的 90% 擊穿點實驗。這張表格比較了 MagicWarp 和最近鄰（Nearest Neighbor）匹配方法的匹配能力。

圖 8：工作中的 MagicWarp。四種轉換類型的 MagicWarp 實例在表 3 中有所總結。最左邊的一列展示了覆蓋在一個單一圖像上的點態圖像輸入對（point image input pair）。最右邊的一列展示了應用在灰色點集上的 MagicWarp 原始預測單應矩陣。中間的一行展示的是 原始預測單應矩陣應用最近鄰方法所得到的 MagicWarp 結果，對正確的點的箭頭進行捕捉。

圖 9：工作中的 MagicPoint。這張圖展示了MagicPointS 與傳統轉角檢測基準的 15個實例結果。我們對每一張圖都展示了 MagicPointS 輸出，輸出概率熱圖，覆蓋對數（概率）熱圖（使低概率提高），還有 FAST，Harris，和 Shi 的相應情況。最頂行的一些實例是來自沒有雜訊的30個靜態轉角。中間的實例也來自沒有雜訊的30個靜態轉角。最底層的實例來自沒有雜訊的合成圖形。注意，我們的方法能夠處理大量的雜訊，並且能生成富有意義的熱圖，可以用一種特定應用的方式來開啟。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！