尚洋：三維目標位姿跟蹤與模型修正

《測繪學報》

構建與學術的橋樑 拉近與權威的距離

三維目標位姿跟蹤與模型修正

尚洋, 孫曉亮 , 張躍強 , 李由 , 於起峰

國防科技大學空天科學學院圖像測量與視覺導航湖南省重點實驗室, 湖南 長沙 410072

收稿日期：2017-12-01；修回日期：2018-04-12

摘要：本文是機器視覺參量下的三維數字攝影測量智能構像基礎工作之一：成像系統位置姿態自動跟蹤與精密修正，屬於攝影測量與機器視覺、數字圖像處理等學科交叉的攝像測量領域。針對基於目標3D模型的位姿跟蹤問題開展研究，對相關研究的現狀進行梳理，並提出系列位姿跟蹤與模型修正方法。在完全已知目標3D精確模型的情況下，對於包含豐富直線特徵的特殊目標，提出基於直線模型的目標位姿跟蹤方法，實現了目標位姿參數的精確跟蹤；為處理更為一般目標，利用目標的3D邊緣模型，提出法向距離迭代加權最小二乘位姿估計方法及距離圖迭代最小二乘位姿跟蹤方法。當目標3D直線模型參數不準確時，結合光束法平差思想，提出一種針對序列圖像的基於3D直線模型同時位姿跟蹤與模型修正方法，聯合優化求解目標位姿參數及3D直線模型參數，在模擬空間衛星目標位姿測量的模擬試驗中，模型直線朝向、位置誤差及目標位姿平均角度、平均位置誤差分別為0.3°、3.5 mm及0.12°、20.1 mm。針對包含豐富直線特徵的目標，在其3D直線模型完全未知的情況下，提出基於序列圖像直線對應的目標結構重建與位姿跟蹤方法，利用序列圖像信息，在SFM框架下同時優化求解目標直線模型參數及位姿參數，模擬試驗條件下，重建模型直線朝向、位置誤差及位姿參數平均角度、平均位置誤差分別約為0.4°、7.5 mm及0.16°、23.5 mm。

關鍵詞：攝像測量3D模型位姿跟蹤光束法平差三維重建

Research on 3D Target Pose Tracking and Modeling

SHANG Yang, SUN Xiaoliang , ZHANG Yueqiang , LI You , YU Qifeng

Abstract: This paper tackles imaging system pose tracking and model refinement, one of the fundamental work for 3D photogrammetry.The researches belong to the videometrics, an interdiscipline which combines computer vision, digital image processing, photogrammetry and optical measurement.Related works are summarized briefly in this paper.We study the problems of pose tracking for target with 3D model.For the target with accurate 3D model, line model based pose tracking methods are proposed for target with rich line features.Experimental results indicate that the proposed methods track the target pose accurately.Normal distance iterative reweighted least squares and distance image iterative least squares methods are proposed to process more general targets.This paper adopts bound adjustment to tackle pose tracking in image sequence for target with inaccurate 3D line model.The proposed method optimizes model line parameters and pose parameters simultaneously.The model line orientation, position and mean angle error, mean position error of pose are 0.3°, 3.5 mm and 0.12°, 20.1 mm in simulation experiments of satellite pose tracking.Line features are used to track target pose with unknown 3D model through image sequence.The model line parameters and pose parameters are optimized under the framework of SFM.In simulation experiments, the reconstructed line orientation, position error and mean angle error, mean position error of pose are 0.4°, 7.5 mm and 0.16°, 23.5 mm.

Key words:videometrics3D modelpose trackingbound adjustmentreconstruction

高效、穩定的目標位姿跟蹤技術對於諸多應用領域具有重要意義，如空間應用(交會對接、在軌服務等)、無人機應用(自主降落等)、機器人應用(抓取、裝配等)等。基於視覺的位姿跟蹤方法具有精度高、自主性強等優勢，已成為上述應用中近距離階段的主要位姿測量手段。基於圖像的精密位姿跟蹤方法涵蓋目標特徵提取、參數優化求解等，屬於攝影測量與計算機視覺、數字圖像處理交叉的攝像測量或圖像測量範疇[1]。

研究人員將目標固有的紋理、幾何特徵用於對位姿參數的精密測量，基本思路是通過建立目標圖像2D特徵與3D模型之間的對應關係，解算目標位姿參數。雙目視覺方法[2]利用雙目交會成像理論對目標位姿參數進行測量，相關技術已經較為成熟，且已得到廣泛應用。本文關注更為通用、更富挑戰的利用單目圖像基於目標3D模型的目標精密位姿跟蹤方法。

本文開展基於目標3D模型的精密位姿跟蹤相關研究，具體內容如下：①已知目標3D精確模型，對於包含豐富直線特徵的特殊目標，提出基於直線模型的目標位姿跟蹤方法；為處理更為一般目標，提出法向距離迭代加權最小二乘位姿估計方法及距離圖迭代最小二乘位姿跟蹤方法。②針對目標3D直線模型參數不準確的情況，結合光束法平差思想，提出一種聯合優化求解目標位姿及直線參數的方法。③對於包含豐富直線特徵的目標，在其3D直線模型完全未知的情況下，利用序列圖像信息，在SFM框架下同時實現目標直線模型重建與位姿參數的求解。

1 基於目標3D模型位姿跟蹤相關研究現狀

針對基於目標3D模型的位姿跟蹤問題，本文依據目標3D模型已知與否對相關工作進行梳理。

1.1 目標3D精確模型已知

在已知精確目標3D模型的情況下，基於圖像特徵，建立2D-3D對應關係即可求解目標位姿參數。廣泛採用的方法包含點、直線、邊緣輪廓幾何結構特徵、2D特徵描述及深度學習等。

基於點特徵的位姿解算即為熟知的「PnP(perspective-n-point)」問題，通過建立n個3D空間點與2D圖像點之間的對應關係，求解目標位姿參數。常用的點特徵有SIFT[3]、ORB[4]等。對於後續求解，Fischler等[5]對P3P問題進行了研究，並給出了閉式解。對於n≥6的情況，PnP問題存在線性最小二乘解，因此後續研究工作主要集中在n≤5的情況。為提高求解的穩定性及精度，迭代優化求解的策略被引入到PnP問題中，如POSIT[6]演算法及正交迭代演算法[7]等。點特徵較為依賴於目標的紋理信息，易受紋理分布、光照、雜訊等因素的影響，演算法穩健性不高。

相比於點特徵，直線特徵包含了更多信息，更有利於實現穩定、精確、可靠的匹配。基於直線對應的位姿測量方法即為被廣泛研究的「PnL(Perspective-n-Line)」問題，已有演算法可歸為以下兩類：

(1) 線性求解方法。文獻[8]給出了3條直線對應情況下的封閉式解法。文獻[9]同樣對P3L問題進行了研究，並指出最多存在8個解。文獻[10]依據旋轉主軸構建局部坐標系，將直線分為3條一組，求解局部坐標系與相機坐標系之間的變換關係，以確定目標位姿參數。文獻[11]提出一種直接最小二乘位姿求解方法，通過最小化一個關於姿態矩陣的二次目標函數，得到旋轉矩陣的全局最優解。

(2) 非線性優化求解方法。為得到更為精確的位姿參數，一般採用迭代求解方法對線性求解結果進行優化，通常選擇像方誤差或物方誤差構建目標函數。文獻[12]提出先迭代求解旋轉參數，再線性求解平移參數的方法。文獻[13]針對仿射相機模型下的位姿迭代估計方法進行了研究。文獻[14]中針對未知模型圖像直線對應的情況進行探討，綜合考慮匹配與位姿迭代解算，同時求解直線對應關係和位姿參數。文獻[15]通過引入同名點及高程平面約束，實現可靠的航空影像中直線特徵匹配。文獻[16]將直線特徵約束引入到衛星影像區域網平差優化中。

在目標位姿測量中，對目標邊緣輪廓進行離散採樣是廣泛採用的處理思路。文獻[17]提出的RAPiD(real-time attitude position determination)是最為研究人員熟知的基於邊緣輪廓特徵的位姿跟蹤演算法，其通過對輪廓進行離散採樣，沿採樣點法向方向搜索匹配點，求解位姿參數。視覺伺服相關方法[18]在視覺伺服的框架下完成位姿跟蹤，其在本質上等價於RAPiD演算法[19]。為克服RAPiD類方法欠穩健性的缺陷，已有改進可分為以下三類[20]：

(1) 多特徵融合：此類方法將其他圖像特徵同邊緣輪廓特徵融合，以提高方法的穩健性。關鍵點特徵[21]、紋理特徵[22]等被引入提升位姿跟蹤的穩健性。

(2) 穩健估計：此類方法在匹配階段引入穩健估計方法，以剔除誤匹配對位姿跟蹤演算法性能的影響。Drummond等[23]將在最小二乘框架下引入M-估計，通過求解加權最小二乘問題實現位姿跟蹤。RANSAC方法被Armstrong等[24]應用於邊緣擬合中。

(3) 貝葉斯估計：此類方法主要包含卡爾曼濾波相關方法[25]及粒子濾波相關方法[26]。卡爾曼濾波適用於雜訊滿足高斯分布假設的情況，粒子濾波更為適用於目標作非線性運動且為非高斯隨機過程的情況。

基於邊緣輪廓特徵的位姿測量方法通過搜索或迭代優化，無須顯式提取點、直線，更為穩健、通用。文獻[27]對相關工作進行了系統總結，指出最主要的問題集中在幾何結構特徵的提取與匹配上，易受複雜背景、光照變化、雜訊等因素干擾。

2D圖像中目標檢測與識別領域取得了突出的研究成果，其中涉及的2D特徵描述被推廣到目標位姿參數的估計中，基本思路是基於虛擬離散位姿參數[28-29]、目標不同側面[30]等，將針對3D目標的位姿求解問題轉換為若干2D圖像之間的匹配問題，進而採用2D特徵描述建立對應。

基於HOG(histogram of oriented gradient)特徵的DPM(deformable parts model)被推廣用於目標位姿估計中[30]。文獻[28]綜合HOG特徵、目標結構顯著性特徵、區域特徵及紋理特徵等信息，進一步改善匹配結果。基於離散採樣視點或目標不同側面的方法，僅能得到粗略的目標位姿參數。對此，文獻[29]將離散採樣視點條件下得到的位姿參數估計作為初值，採用MCMC(Markov chain monte carlo)採樣方法對位姿參數進一步求精。

2D圖像特徵描述在定位精度上尚不及點、直線等幾何特徵，因此，位姿求解精度不高。另外，位姿求解的精度同樣受位姿參數離散的粗細粒度的影響。

深度學習已經成為機器視覺、圖像處理等領域的熱點。相關研究成果也被推廣到目標位姿跟蹤中，已有應用主要集中在兩個方面：①類似於2D特徵描述，將學習得到的2D深度特徵描述應用於離散位姿參數後的2D圖像之間的匹配中[31-32]；②構建卷積神經網路，直接通過2D圖像信息預測控制點圖像坐標，進而建立2D-3D控制點對應，實現位姿參數的求解[33]。

類似於2D圖像特徵，深度特徵同樣存在定位精度不高的缺陷，且位姿參數估計的精度依賴於離散的粒度。另外，深度學習是一項數據驅動的技術，樣本數據是決定演算法性能的關鍵因素。

1.2 目標3D模型未知

針對目標3D模型未知的情況，需完全利用圖像信息實現目標模型參數與位姿參數的求解。已有相關方法可歸為兩類：

(1) 利用序列圖像(或立體視覺)對目標進行重建，依據重建目標模型，採用絕對定向方法求解目標位姿參數，並利用光束平差方法對結果進行優化。

(2) 將目標模型參數與位姿參數的估計轉化為機器人領域中經典的視覺SLAM(simultaneous localization and mapping)問題[34]進行考慮。已有求解方法主要有基於貝葉斯濾波器的方法[35]及基於非線性優化的方法[36]兩類。文獻[37]基於特徵點，在FastSLAM[36]框架下同時求解目標模型參數及位姿參數。

針對模型未知情況下的目標位姿估計問題，當前已公開發表的研究工作相對較少，且已有工作大多基於特徵點的思路，對紋理分布、光照變化及雜訊等干擾因素的魯棒性較差。

2 基於目標3D模型的同時位姿跟蹤與模型修正方法

開展基於目標3D模型的位姿跟蹤研究，分別針對目標3D模型精確已知、不準確及未知的情況提出位姿跟蹤與模型修正方法。

2.1 基於目標3D直線模型的位姿跟蹤演算法

在目標3D直線模型已知的情況下，提出基於目標3D直線模型的位姿跟蹤方法，包含基於直線間積分距離度量的位姿跟蹤方法及基於多假設直線對應的位姿跟蹤方法。

2.1.1 基於直線間積分距離度量的位姿跟蹤方法

端點距離導出的直線間相似性度量對直線間斷、誤差及觀測距離等干擾的穩健性較差，影響位姿參數的估計精度。對此，本節提出基於積分距離的直線相似性度量[18]

(1)

式中，s1及s2分別為l1兩端點到l2的距離。記為L模型直線段，其在圖像平面上的投影為l，定義圖像直線端點到模型直線投影的距離d(,L)(=dn(,l))。

記得到的圖像模型直線對序列為，選用d度量直線間距離，則基於模型圖像直線對應的目標位姿估計問題可描述為

(2)

式中，s為圖像直線段中點p到投影直線的距離，旋轉矩陣及位置參數分別採用指數坐標及平移向量ξ，圖像直線段端點到模型直線投影的距離sji(ω,ξ)具有如下形式

(3)

式中，Rt+1為t+1時刻的旋轉矩陣；P1i及P2i為第i條模型直線端點；TW為相機坐標系原點在目標坐標系中坐標；pji為圖像直線段端點歸一化像點坐標。通過最小化E可求得位姿參數，為消除可能存在的誤匹配帶來的影響，可引入穩健估計。

模擬試驗模擬衛星位姿跟蹤，虛擬相機參數(fx=fy=1 814.8，解析度640×640，cx=320，cy=320，無像差)。衛星目標模型參數(主立方體尺寸為1000×1000×1000 mm3，太陽能帆板2860×0×557 mm3)。設定目標旋轉靠近，沿光軸方向的運動距離為50 m到20 m，採樣間隔0.1 s，共得到450幀圖像數據，本節方法實現全程穩定跟蹤，垂直於光軸方向上位置誤差約0.4 mm，沿光軸方向誤差約為10 mm，x、y方向上的角度誤差約為0.04°，z方向上的角度誤差約為0.01°。採用實驗室真實場景獲取的圖像數據對演算法進行測試，圖 1給出部分實物位姿跟蹤試驗輪廓投影疊加結果，可見本節演算法實現了有效跟蹤。

相比於基於端點距離的方法，基於積分距離的直線相似性度量對直線段間斷、觀測距離等穩健性更好，對位姿參數跟蹤的精度更高。

2.1.2 基於多假設直線對應的位姿跟蹤方法

基於模型圖像直線對應的位姿跟蹤方法需先在圖像中檢測直線，進而建立模型圖像直線對應。在雜亂背景干擾或特殊觀測條件等不易建立直線對應的情況下，位姿估計的性能將受到影響。對此，本節提出基於多假設直線對應的位姿跟蹤方法[20]，為每條模型直線保留多條圖像直線對應，在加權最小二乘框架下，通過最小化法向距離實現位姿參數的優化。

對於模型直線Ll(l∈[1,NL]，NL為可見模型直線數目)，記其採樣點投影為{pl,i}(i∈[1,Nl]，Nl為採樣點個數)，對於pl,i，沿其法向搜索得到候選點集，Nl,i為候選匹配點個數)。採用隨機霍夫變換(RHT)，基於擬合出ml條直線，作為模型直線的多條圖像直線對應，圖像直線對應的共線點集合為。對於多條直線對應，採用遍歷的方法計算每種對應組合下的位姿參數，選擇重投影誤差最小的作為最終結果。下面給出一種對應組合的求解過程。

為適應邊緣檢測中野值點、圖像畸變、雜訊等因素的影響，採用加權最小二乘方法優化位姿參數，權值由兩部分組成：直線約束權值wl(包含擬合誤差、直線間距離與夾角)及採樣點約束權值wp(包含法向距離、梯度模值與法向)。基於此，採用迭代加權最小二乘方法，通過優化模型直線採樣點到圖像點的距離，求解目標位姿參數μ，如下式所示

(4)

式中，N為採樣點數目，wi=wliwpi，ni為採樣點pi法向，目標位姿參數採用李群形式表示，求取距離誤差項對位姿參數的雅克比矩陣J，式(4)的最小二乘解為

(5)

W為權值矩陣。

模擬試驗同基於模型圖像直線對應的位姿跟蹤方法中設置。本節方法實現全程穩定跟蹤，垂直於光軸方向上誤差約8 mm，沿光軸方向誤差約為70 mm，x、y、z方向上的角度誤差分別約為0.5°、0.7°及0.1°。相比於基於模型圖像直線對應的位姿跟蹤方法，本節演算法精度稍差，主要原因是沿法向搜索得到的候選點集為單像素精度。圖 2給出部分實物位姿跟蹤試驗輪廓重投影疊加結果，可見本節演算法在複雜光照、雜亂背景等情況下都給出了可靠的位姿跟蹤結果。

基於多假設直線對應的位姿跟蹤方法能夠有效適應複雜光照、雜亂背景、特殊視圖條件下直線對應錯誤等情況，表現出了較強的魯棒性。

2.2 基於目標3D邊緣輪廓模型的位姿跟蹤方法

為處理更為一般的目標，本節利用目標的輪廓特徵，提出法向距離迭代加權最小二乘位姿跟蹤方法及距離圖迭代最小二乘位姿跟蹤方法。

2.2.1 法向距離迭代加權最小二乘位姿跟蹤方法

法向距離迭代加權最小二乘位姿跟蹤方法[36]通過沿採樣點法向一維搜索確定匹配點，採用最小二乘方法迭代尋找一個位姿參數修正量，使得位姿修正後邊緣輪廓與圖像中輪廓重合。

針對模型在當前位姿參數下的投影輪廓進行離散採樣，得到採樣點集{pi}N，採樣點個數為N，沿採樣點法向進行一維搜索，尋找一階差分極大值點，得到對應點集及法向距離集合{d(pi)}N，通過最小化法向距離差建立最小二乘問題

(6)

式中，μ′為位姿參數修正量；Je為描述圖像運動與空間運動之間的雅克比矩陣。

為提升方法對雜亂背景、複雜紋理、雜訊等因素的穩健性，引入穩健估計ρ(·)及加權策略，針對每一採樣點綜合考慮法向距離加權w1、候選點數目加權w2、邊緣強度加權w3及圖像位姿加權w4，最終權值w=w1w2w3w4，則式(6)可改寫為

(7)

通過迭代求解上述加權最小二乘問題得到位姿參數的優化結果。

模擬試驗模擬衛星位姿跟蹤，虛擬相機參數(fx=fy=4 434.33，解析度764×574，cx=382，cy=287，無像差)。衛星目標模型參數(主立方體尺寸為1000×1000×1000 mm3，太陽能帆板2000×0.5×400 mm3)。設定目標運動從(0，0，30 000，10，30，40)(Tx(mm)，Ty，Tz，Ax(°)，Ay，Az)以速率(0，0，-300, 0, 0，-1)勻速運動到(0，0，12 900，10，30，-17)，共採集58幀圖像，本節方法實現全程穩定跟蹤，垂直於光軸方向上誤差約6 mm，沿光軸方向誤差約為340 mm，x、y、z方向上的角度誤差約為1°。圖 3給出部分實物位姿跟蹤試驗輪廓重投影疊加結果，可見本節演算法給出了正確的位姿跟蹤結果。

2.2.2 距離圖迭代最小二乘位姿跟蹤方法

基於Chamfer匹配思想，本節提出距離圖迭代最小二乘位姿跟蹤方法[38]，通過最小二乘方法迭代修正位姿參數，使得模型投影輪廓在距離圖中的取值達到最小。

採用Sobel演算法對圖像進行邊緣檢測得到邊緣圖I，距離圖DI定義如(8)，每個像素點x的灰度值為其到最近邊緣點的歐氏距離，

(8)

對於模型投影輪廓採樣點集{pi}N，記其經過位姿修正後的點集為{p′i}N，通過最小化

，實現位姿參數的優化，將DI(p′i)在pi展開

(9)

DIx(pi)及DIy(pi)分別為DI在pi處x及y方向上的差分，綜合式(8)及式(9)，並引入穩健估計，可得如下最小二乘問題

(10)

迭代求解上述最小二乘問題得到位姿參數的優化結果。

模擬試驗中以月球著陸器為對象，模擬著陸過程。著陸器主體結構尺寸約為2×3×3 m3，虛擬相機參數(fx=fy=10 000，解析度1024×1024，cx=512，cy=512，無像差)，著陸器下落的過程，目標由位姿初始位姿(0，0，53.9，0，0，1)(Tx(m)，Ty，Tz，Ax(°)，Ay，Az)，以(0，0，-0.1，0，0，1)的速度運動到(0，0，48.9，0，0，51)，採集到51幀圖像，本節方法實現全程穩定跟蹤，垂直於光軸方向上誤差約為0.8 m，沿光軸方向上誤差約為1 m，x、y方向上的角度誤差約為0.7°，z方向上的角度誤差約為0.3°。採用蘭利發布的多段實物試驗視頻對演算法進行測試，圖 4給出兩段視頻中的部分輪廓投影疊加結果，本節方法對著陸器實現了穩定跟蹤。

本節描述的兩種位姿估計方法基於目標邊緣輪廓特徵，使得對於一般目標的位姿估計成為可能，並在處理過程中引入加權、穩健估計等策略，使得演算法對光照變化、複雜背景、紋理等干擾具有較高穩健性。與2.1節中描述的基於直線特徵的方法相比，本節方法僅基於單像素精度的匹配點對實現位姿解算，因此演算法精度稍差。

2.3 基於目標3D直線模型的同時位姿跟蹤與模型修正方法

本節針對目標3D直線模型參數不準確的情況，結合光束法平差的思想，同時優化求解位姿參數及直線模型參數，提出針對序列圖像的基於目標3D直線模型的位姿跟蹤與模型修正方法。

由於檢測的圖像直線存在不完整的情況，無法對直線端點坐標進行優化，因此，這裡採用空間直線的四參數表示[18](rl,m)，m= [m0 0]T為1自由度向量，r為羅德里格斯旋轉向量，針對過坐標原點的空間直線，可通過建立局部坐標系保證此種表示形式的完備性。

針對長度為N的序列圖像，模型直線{Li}i=1M，建立如下目標函數，同時優化求解目標位姿參數及模型直線參數。

(11)

式中,uij標識模型直線的可見性，1為可見，反之亦然，μ= (r,T)為位姿參數。直線間相似性度量採用d，基於空間直線的四參數表示形式，類似於式(3)，圖像直線段端點到模型直線投影的距離為

(12)

式中，n= [0 0 1]T。以不準確的模型直線參數及初始位姿跟蹤結果為初值，求解式(11)，實現目標位姿的跟蹤與模型參數的修正。

式(11)中待優化參數共有4M+6N個，每條圖像直線提供2個約束，N幀圖像中共可提供2MN個約束，為完成優化求解，M及N需滿足2MN≥4M+6N。

採用衛星模擬圖像序列對演算法進行測試，模擬參數設置同2.1節，衛星模型包含24條直線，試驗中，在模型直線參數中加入隨機誤差，其中位置誤差水平為30 mm，方向誤差水平為1°，圖像序列長度為36幀，重複100次試驗。統計試驗結果，模型直線朝向誤差約為0.3°，位置誤差約為3.5 mm；目標位姿平均角度誤差[20]為0.12°，平均位置誤差[18]為20.1 mm。另外，模型直線參數修正精度及位姿參數求解精度隨著參與優化視圖數的增加而提升。

2.4 基於序列圖像直線對應的目標結構重建與位姿跟蹤方法

針對目標3D直線模型完全未知的情況，本節利用序列圖像信息，在SFM框架下實現目標直線模型的重建與位姿參數的求解[20]。

對於給定長度為N的圖像序列，目標模型包含M條直線，序列圖像中直線對應，基於直線對應的SFM問題可表述為與式(11)相同的形式，因此，可採用與2.3節中相同的直線參數化形式及求解過程，這裡僅對不同的部分進行闡述，包含序列圖像中直線對應生成及待優化參數初值的確定。

本節採用文獻[20]中提出的基於局部外觀和全局幾何特徵的直線匹配演算法實現序列圖像中直線的跟蹤，生成直線對應序列。

式(11)描述的優化問題具有較多參數，直接進行優化求解，若初值設置不當會造成演算法不收斂。對此，本節對式(11)求解前先對部分變數進行優化求解：

首先，假設每幀圖像對應的目標坐標繫到相機坐標系的旋轉矩陣{Rj}j=1N已知，優化求解{rl,i}i=1M，如下式所示

(13)

式中，Nij投影平面單位法向量，可得空間直線方向參數的估計。接著同時優化{Rj}j=1N和{rl,i}i=1M

(14)

依據{Rj}j=1N和{rl,i}i=1M優化結果，求解{Tj}j=1N及{mi}i=1M。

(15)

至此，得到{Rj}j=1N、、{Tj}j=1N和{mi}i=1M的優化結果，將其作為初值，求解式(11)描述的優化問題，得到目標3D直線模型參數及位姿跟蹤結果。

採用模擬圖像序列測試演算法性能，同2.1節中模擬試驗設置，模型直線參數完全未知，本節演算法僅基於圖像序列完成目標直線模型重建與位姿跟蹤。採用LSD[39]演算法完成直線特徵的提取，相關參數採用文獻[37]推薦的設置(scale=0.8，sigma_scale=0.6，quant=2，ang_th=22.5，n_bins=1024，density_th=0.7)。完成在序列長度為36幀情況下，對多次試驗結果統計得模型直線朝向及位置誤差約為0.4°及7.5 mm；目標位姿平均角度及平均位置誤差約為0.16°及23.5 mm。另外，選取一段真實場景拍攝的圖像序列，對其中未知模型參數的紙盒目標進行結構重建與位姿跟蹤，相機內參數已事先標定。圖 5(a)給出同名直線匹配結果示例，圖 5(b)給出目標結構重建與位姿跟蹤結果的可視化顯示。本節方法準確重建了目標結構，並給出了準確、穩定的位姿跟蹤結果。

3 結論

本文引入機器視覺領域的研究成果，對三維數字攝影測量智能構象基礎工作之一——基於目標3D模型的位姿跟蹤及模型修正問題進行研究。文中對已有相關工作進行了較為系統地總結，分別針對目標3D模型精確已知、不準確及完全未知的情況下目標位姿跟蹤及模型修正問題，依據目標直線、邊緣輪廓特徵，提出系列處理方法，形成了較為系統、完整的解決方案。

在目標3D模型精確已知的情況下，基於直線特徵的方法在精度方面優於基於一般輪廓特徵的方法，其中基於直線間積分距離度量的位姿估計方法在模擬試驗條件下，在垂直與沿光軸方向上位置誤差分別約為0.4 mm及10 mm，x、y及z方向上的角度誤差分別約為0.4°、0.4°及0.1°；但是，基於多假設直線對應的方法對複雜光照、雜亂背景等干擾表現出更強的穩健性，基於一般輪廓特徵的方法能夠處理結構更為一般的目標；大量實際場景數據試驗驗證了相關方法能夠實現穩定、可靠的位姿跟蹤。針對目標3D直線模型不準確的情況，提出同時優化求解模型參數及位姿參數方法，統計多次模擬試驗結果，模型直線朝向及位置誤差分別約為0.3°及3.5 mm，目標位姿參數平均角度誤差及平均位置誤差分別約為0.12°及20.1 mm，本文方法實現了可靠跟蹤並有效修正了模型參數。對於目標3D模型完全未知的情況，本文提出基於序列圖像直線對應的目標重建與位姿跟蹤方法，模擬及實際場景數據試驗驗證了方法能夠準確重建目標直線模型並實現可靠位姿跟蹤，在多次模擬試驗中，重建模型直線朝向及位置誤差分別約為0.4°及7.5 mm，位姿參數平均角度及平均位置誤差約為0.16°及23.5 mm。

針對進一步的研究工作，可在以下方面進行著重考慮：多特徵融合，在同一的框架下合理、綜合利用可獲取的多種特徵，形成互補，提升演算法性能。深度學習，可充分挖掘深度學習特徵的強大表徵能力，用於2D-3D對應的建立；或直接建立端到端的機制，直接由2D圖像得到3D位姿參數估計結果；深度學習是數據驅動的技術，為克服訓練數據製備的難題，可探索利用目標3D模型模擬構建訓練樣本。

【引文格式】尚洋, 孫曉亮, 張躍強, 等. 三維目標位姿跟蹤與模型修正[J]. 測繪學報，2018，47(6)：799-808. DOI: 10.11947/j.AGCS.2018.20170626

權威 | 專業 | 學術 | 前沿

微信公眾號中搜索「測繪學報」，關注我們，長按上圖二維碼，關注學術前沿動態。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！