謝東海：球面全景影像相對定向與精度驗證

《測繪學報》

構建與學術的橋樑 拉近與權威的距離

球面全景影像相對定向與精度驗證

謝東海1,2, 鍾若飛1,2, 吳俁3, 符晗1,2, 黃小川1,2, 孫振興1,2

1. 首都師範大學地球空間信息科學與技術國際化示範學院, 北京 100048;

2. 北京成像技術高精尖創新中心, 北京 100048;

3. 中國科學院遙感與數字地球研究所, 北京 100094

收稿日期：2016-12-22；修回日期：2017-08-14

摘要：對傳統的5點法相對定向演算法的共面誤差計算方法進行改進，提出了一種適合球面全景成像特點的相對定向計算流程。與傳統方法相同，該演算法首先計算本質矩陣，然後對本質矩陣進行奇異值分解得到旋轉矩陣和平移矢量的候選解，最後利用重建的物方三維點坐標排除錯誤解。本文的貢獻在於推導了球面全景共麵條件公式，並使用點到核線平面的球面距離作為球面全景共麵條件的誤差項。模擬數據試驗顯示：當圖像特徵點的隨機雜訊在像素範圍內時，3個姿態角的中誤差約為0.1°，由相對定向恢復的相對平移量與模擬值的夾角中誤差約為1.5°。使用車載全景相機配合POS獲取的數據進行試驗的結果顯示：橫滾角和俯仰角的中誤差可以達到0.2°以內，航向角的中誤差可以達到0.4°以內，由相對定向恢復的相對平移量與POS平移量的夾角中誤差可以達到2°以內。採用本文相對定向演算法的結果生成球面全景核線影像，提取影像之間同名點坐標並計算其列方向誤差，結果顯示核線影像同名點列坐標差的中誤差在1個像素以內。

關鍵詞：球面全景影像相對定向核線本質矩陣奇異值分解

Relative Pose Estimation and Accuracy Verification of Spherical Panoramic Image

XIE Donghai1,2, ZHONG Ruofei1,2, WU Yu3, FU Han1,2, HUANG Xiaochuan1,2, SUN Zhenxing1,2

Abstract: This paper improves the method of the traditional 5-point relative pose estimation algorithm, and proposes a relative pose estimation algorithm which is suitable for spherical panoramic images. The algorithm firstly computes the essential matrix, then decomposes the essential matrix to obtain the rotation matrix and the translation vector using SVD, and finally the reconstructed three-dimensional points are used to eliminate the error solution. The innovation of the algorithm lies the derivation of panorama epipolar formula and the use of the spherical distance from the point to the epipolar plane as the error term for the spherical panorama co-planarity function. The simulation experiment shows that when the random noise of the image feature points is within the range of pixel, the error of the three Euler angles is about 0.1°, and the error between the relative translational displacement and the simulated value is about 1.5°. The result of the experiment using the data obtained by the vehicle panorama camera and the POS shows that:the error of the roll angle and pitch angle can be within 0.2°, the error of the heading angle can be within 0.4°, and the error between the relative translational displacement and the POS can be within 2°. The result of our relative pose estimation algorithm is used to generate the spherical panoramic epipolar images, then we extract the key points between the spherical panoramic images and calculate the errors in the column direction. The result shows that the errors is less than 1 pixel.

Key words:spherical panoramic imagesrelative pose estimationepipolar lineessential matrixSVD

車載球面全景影像能夠採集來自每個方向的光線信息，並且以二維圖像的方式保存起來，獲得360°×180°全視場的視覺信息。配合高精度的GPS(Global Positioning System)和IMU(inertial measurement unit)，能夠獲取帶有精確位置和姿態信息的高解析度全景影像，目前已經廣泛應用於地理信息採集、街景地圖製作、安防監控、交通等領域。比如著名的Google街景在不同地點採集球面全景影像，並放置在地圖對應的位置，用戶可以很方便地從一個全景場景過渡到另外一個全景場景進行室外瀏覽。根據採集相機和處理方式的不同，球面全景影像的獲取方法也不同。一種方法是利用魚眼鏡頭來獲取大視場圖像，然後利用商業拼接軟體(如PTGui)來得到球面全景影像，這種方式將採集與處理分開，處理效率較低。在要求連續、高精度和快速拼接全景的場合，往往採用集成化的商業全景視覺系統，如加拿大PointGrey公司生產的Ladybug。該系統包含6個相機(5個相機水平放置，1個垂直向上拍攝)，可以獲得水平方向360°，豎直方向接近180°視場的影像信息。Ladybug能夠實時完成影像採集、處理、拼接和校正等工作。針對全景影像的研究目前大部分集中於全景構象方程[1-2]、全景相機標定[3]與拼接以及全景匹配[4-6]等。在目前的應用中，全景圖像大部分都是用於360°場景的瀏覽，一般不具備量測的功能。隨著全景圖像採集設備以及拼接演算法的普及，越來越多的研究嘗試用全景影像來恢復場景的三維結構[7-10]，並應用於文物保護與重建[11-12]、建築測量[13]、SLAM(simultaneous localization and mapping)技術[14]，以及增強現實領域[15]。相比傳統的基於面陣影像的三維重建，全景影像獨特的投影方式與小孔平面成像模型不同，因此需要對現有的模型進行改造才能運用到全景影像[16]。

相對定向是利用影像進行重建和量測的關鍵技術，也是進行全自動序列影像三維重建的前提。相對定向利用同名點來恢復立體像對之間的位置和姿態，能夠實現初始點雲數據的重建，為序列影像的光束法空三[17]提供初始的位置、姿態和三維點坐標信息。與傳統攝影測量[18]的相對定向採用迭代求解的方法不同，計算機視覺領域對本質矩陣[19]進行分解來直接獲得旋轉矩陣與平移量，8點法[19-21]和5點法[22]常用來計算本質矩陣。8點法的優點在於可以直接解算線性方程組來獲得唯一解，但是需要的點數較多。5點法的計算相對複雜，但是在內方位元素已知且焦距誤差小於10%的情況下精度最高[22]。在本質矩陣的計算中，結合RANSAC(random sample consensus)演算法[23]可以提高演算法的抗差性，共面誤差則用來對RANSAC的每次採樣計算進行評價。基於歸一化三維坐標的切面距離[7]常用作球面全景共麵條件的誤差計算方法，該方法直接利用角度信息而且計算簡單，但不能反映不同解析度的全景圖像的共面誤差變化程度。相對定向結合全景PnP(perspective-n-point)位姿演算法[24]的結果可以用於全景影像序列的空三解算[5,17]，實現球面全景的全自動三維點雲重建[7]。

本文以三維重建中的核心相對定向為研究對象，對目前廣泛使用的5點法相對定向演算法[22]進行改進使其適用於球面全景影像，並提出了球面全景的相對定向誤差計算方法。模擬數據和實際試驗結果表明，本文的相對定向解算的姿態和平移參數能夠達到較高的精度，利用相對定向結果生成的全景核線影像的偏移誤差達到1個像素以內。

1 球面全景影像成像方程

球面全景影像的處理過程涉及3個坐標：影像坐標系、經緯度球面坐標系和三維空間坐標系。3個坐標系的關係如圖 1。

圖 1中，(x,y)為球面全景影像的像素坐標，(θ,φ)為經緯度，(X,Y,Z)為局部三維坐標系。為了方便計算，經度起始方向是Y軸正方向，緯度起始方向為Z軸正方向，因此經度的取值範圍為[0, 360°]，緯度的取值範圍為[0, 180°]。球面全景影像的寬高比為2:1。設球體的半徑為r，那麼影像的寬度為2πr。全景圖像的像素坐標和經緯度之間的關係為

(1)

式中，a為球面全景影像的寬度。三維坐標系以Y軸的正方向作為經度的起始位置，經緯度與三維坐標的轉換關係為

(2)

2 平面透視投影5點法相對定向

根據不同位置拍攝的圖像來恢復相機位置和三維場景是一個研究了近兩個世紀的問題，最早是在攝影測量領域[18]，現在主要是在計算機視覺領域[19,25]。當相機的內方位元素(即相機的焦距、主點位置、畸變參數)已知時，5對匹配點就可以解算出相機的位置與姿態[19]，其中位置只能恢復為相對位置，與真實的位置存在一個比例關係。文獻[22]提出了一種有效的數值計算方法。相對定向的理論基礎是共麵條件，其數學模型為本質矩陣(essential matrix)。當內方位元素已知時，圖像坐標與本質矩陣的聯繫可以用式(3)來描述[19]

(3)

(4)

式中，E就是本質矩陣，代表了著名的核線約束；[T]×為反對稱矩陣(skew symmetric matrix)；R為旋轉矩陣。式(3)中，q、q′為第1張和第2張相片的影像齊次坐標，第1張相片的投影中心為坐標系的原點。K1、K2為內方位元素矩陣。

圖 2為5點法相對定向演算法的流程，演算法假設內方位元素已知。基於匹配結果，並結合RANSAC方法可以得到誤差最小的本質矩陣。然後對本質矩陣進行奇異值分解來得到相對定向的結果，即R與T的值。最後利用重建的三維點坐標，根據實際成像時目標位於相機前方的事實來排除錯誤的相對定向結果。

3 球面全景相對定向

球面全景的成像方式雖然與傳統的透視投影成像不同，但是共麵條件依然成立，還是可以用本質矩陣來表達。與傳統的平面透視投影相比，由於全景成像已經利用相機標定的內方位元素實現了平面投影到球面坐標之間的投影，因此球面全景的球面坐標可以直接用來進行相對定向。球面全景的相對定向流程與平面透視投影5點法是一致的，區別在於共麵條件誤差的計算和錯誤組合的剔除與平面透視投影不同。

如圖 3所示，在球面投影下，矢量P、P1和T是共面的。O-XYZ為第1張相片的局部三維坐標系，也是相對定向中的基準坐標系。O1-X1Y1Z1是第2張相片的局部三維坐標系，R為O-XYZ到O1-X1Y1Z1的旋轉矩陣，T為旋轉後兩個坐標系之間的平移量。共麵條件可以寫為

(5)

(6)

式(5)中，P、P1可以根據公式(2)來計算；式(6)中的本質矩陣E的形式與傳統面陣成像投影是一致的，只是輸入的坐標是直接根據球面全景計算得到的三維坐標。

3.1 共麵條件的誤差計算

5點法相對定向中結合RANSAC來選擇最優本質矩陣時，需要計算共麵條件的誤差並用來判斷本質矩陣是否正確。根據小孔成像的核線原理，同名點位於同名核線上，在平面透視投影中，核線為直線，因此可以採用點到直線的距離作為共麵條件的誤差項。但是在球面投影中，核線為經過球心的圓，在投影到平面後核線變成不規則的曲線。針對這個問題，本文直接利用球面距離作為共麵條件的誤差。

如圖 4所示，P,P1為球面上的兩個點的齊次坐標，對應了圖像平面的一對同名點。設P為P對應的物方空間三維坐標，OPO1為核面，核面與球體相交得到通過球心的兩個藍色圓面。如果P對應的圖像點是正確的同名點，那麼這兩個點都應該位於藍色的圓面上。本文用球面點到藍色圓面的弧面距離Lc作為共麵條件的誤差。設N為核面OPO1的法線向量，p1O1和N之間的夾角為?，那麼有

(7)

根據本質矩陣E的性質，可以利用P來計算N

(8)

半徑r根據圖像的寬度來計算，因此距離Lc能自動適應不同大小的球面全景影像。

3.2 錯誤組合的剔除

得到本質矩陣E，採用矩陣奇異值分解(singular value decomposition，SVD)方法[22]對E進行分解得到4組候選的R和T值。在傳統的5點法相對定向中[22]，從4組候選中找到正確的結果的依據是重建的三維點位於相機的前方。但對於球面投影來說，相機可以從360°進行拍攝，因此不能使用這個約束條件。因此對傳統的方法進行改進：首先根據正確的圖像同名點對來重建物方空間三維點P，然後計算重建後的三維點與投影中心連線矢量和基準圖像中的球面三維點矢量P之間的夾角。如果相對定向的結果正確，那麼兩個矢量幾乎位於同一個方向上，因此兩個矢量之間的夾角很小。對每對同名點進行上述操作，將夾角小於一定閾值(本文為1°)的點對記錄下來，4個候選中符合上述條件最多的就是正確的相對定向結果。

4 試驗結果與分析4.1 基於模擬數據的球面全景相對定向精度分析

模擬全景圖像的特徵點數據，設定全景圖像的寬高為：1024×512。參考的基準大地坐標系的中心設定在左片的投影中心，並假設左片的圖像空間坐標系的3個軸與大地坐標系平行，因此左片的3個旋轉角度為0°，模擬試驗中只需要隨機構造右片的外方位元素即可。試驗隨機模擬100組姿態和位置參數，姿態角的變化範圍為：[-10°, 10°]，平移量的變化範圍為：[-1, 1]。模擬數據假設有15個空間坐標已知的三維點，然後根據模擬數據將三維點投影到二維的球面全景圖像。為了模擬實際中的圖像特徵點定位效果，對投影后的圖像坐標加入隨機噪音，範圍為：[-0.5, 0.5]像素。基於模擬數據，利用本文的相對定向解算出位置和姿態數據，並統計每個姿態角的最小、最大值以及中誤差，結果見表 1。

表 1模擬數據精度統計Tab. 1The statistics of simulation data accuracy

表選項

由於相對定向無法解算出絕對的平移量，而只能獲得一個比例上的相對解，為了評價相對定向演算法解算的平移量的精度，通過計算模擬數據的平移量與解算得到的平移量之間的夾角作為誤差項進行驗證。設模擬的平移量為TS，設解算後的平移量為Tr，那麼平移量的夾角為

(9)

夾角越小意味著解算的精度越高。對每組模擬數據進行相對定向得到的夾角值進行統計，結果顯示在表 2中。

表 2模擬的平移量與解算的平移量之間的夾角Tab. 2The angle between simulated translation and the calculated translation

表選項

表 2的結果表明，相對定向演算法解算得到的平移量與模擬值之間的夾角小於2°，基本上位於同一個方向上。

4.2 基於實測數據的球面全景相對定向精度分析

試驗數據為裝載在汽車上的Ladybug3相機在杭州市採集得到的41張全景圖像。在進行全景數據採集的同時利用POS系統(GPS和IMU)記錄了位置信息和姿態信息。試驗採用的POS系統為OxTS公司的Inertial+，在雙GPS工作狀態下的精度如表 3所示。

表 3Inertial+系統的參數測量精度Tab. 3The parameter accuracy of Inertial+ system

表選項

全景相機與POS系統進行集成後安裝在汽車上，從東往西行駛。軌跡和姿態數據顯示在圖 5中。

POS系統能夠獲取拍攝時刻的位置和姿態信息。位置數據用經度、緯度和高程來表示，在地圖上顯示如圖 5(a)，每條垂直的線段代表了一次拍攝的位置，線段的高度為GPS裝置到地面的距離。姿態數據包括俯仰角、橫滾角和航向角。由圖 5(b)可以看出，橫滾角和俯仰角都接近於0，說明拍攝時汽車在馬路上水平行駛，POS系統受到的抖動較小。航向角的均值為4.7弧度(即269.3°)，說明汽車幾乎是朝著正西方向運動。由於GPS和IMU都是以地面坐標係為基準，如果要和相對定向的結果進行對比，需要進行坐標轉換。設相鄰全景影像的POS旋轉矩陣為R1和R2，相對定向的姿態角可以利用矩陣R2R1-1來計算。試驗中，利用SIFT(scale-invariant feature transform)[26]演算法從相鄰的兩張全景圖像中自動提取特徵點，然後進行匹配，最後根據匹配的結果來進行全景相對定向。41張全景圖像可以計算出40組相對定向的外方位元素，統計3個姿態角與轉換後的POS姿態角之間的差值，並計算最大、最小值和中誤差。其統計數據見表 4。

表 4姿態角精度驗證Tab. 4Verification of POS angle accuracy

表選項

與模擬數據類似，根據相對計算獲得的平移量和POS數據的位置信息來計算夾角β，其結果見表 5。

表 5POS平移量與解算的平移量之間的夾角Tab. 5The angle between the translations from POS and the calculated translations

表選項

表 5為本文相對定向與POS系統提供的姿態角之間的誤差的統計結果。可以看出俯仰角和橫滾角的精度要高於航向角，這與POS系統的量測精度也是吻合的。真實數據的解算精度要低於模擬數據，原因在於Ladybug的全景影像是由6個相機拍攝的數據拼接生成，因此存在拼接誤差，同時特徵點的提取誤差以及POS系統本身的測量誤差，都會導致採用全景數據進行相對定向獲得參數的精度降低。

4.3 基於核線的球面全景相對定向精度分析

如果相對定向的結果準確，其核線影像的特徵點就落在同一條直線上，可以利用這個規律來驗證相對定向的精度。41張連續拍攝的全景影像的相鄰影像可以組合為40個像對，生成40對核線影像。

圖 6為圖像序列中一個相鄰像可進行相對定向後生成核線影像(圖 6(b))，並在核線影像上進行同名點匹配的效果(圖 6(c))。在核線影像之間進行特徵點提取和匹配，統計每對核線影像上的同名點在核線方向(本文中為x軸)上的像素差值並計算平均值(用eP來表示)，可以得到40個eP值

(10)

式中，ePi第i個核線影像對的坐標誤差；Ni為第i個核線影像對提取的同名點的個數；XLKi、XRKi代表第i個核線影像對的第k個同名點的左片和右片的x坐標。

將40個eP進行統計，計算其最大值、最小值和中誤差，結果見表 6。可以看出採用相對定向的結果來生成核線影像，同名核線在x方向上的差值的中誤差能達到1個像素以內，證明了本文演算法的準確與有效性。

表 6每對核線影像上計算的eP統計結果Tab. 6TheePstatistics calculated on each pair of epipolar images

表選項

5 結論

本文對傳統的5點法相對定向演算法進行改進，使之可以處理球面全景影像之間的位置與姿態估算。本文的貢獻和創新在於：①根據球面全景的成像模型推導了球面全景的共麵條件公式；②採用球面點到核面的球面距離作為全景相對定向的共麵條件誤差，相比採用角度以及歸一化坐標的誤差計算方式，球面距離更接近球面全景影像成像方式下的點到核線絕對距離，並且能夠適用於不同解析度的球面全景影像；③採用模擬數據和實地採集的全景影像和POS數據對本文演算法的精度進行驗證。本文的球面全景影像的相對定向演算法能夠為全景影像序列的整體空三優化提供初始的位置與姿態信息，實現全景影像的全自動化攝影測量。後續的研究中要針對不同精度的POS系統來進行影像採集和相對定向試驗，進一步驗證本文演算法的有效性以及在不同感測器和場景下的精度變化問題。同時研究如何在空三中結合POS數據實現全景影像的真實三維重建，並應用於測繪領域。試驗中也發現，由於球面全景接收的光線來自360°全範圍場景，因此存在一些同名點位於基線方向附近。這些同名點對應的三維點與相機投影中心的連線夾角較小，其三維重建精度較低，因此會對相對定向的結果產生影響，如何來自動消除這些同名點對相對定向的影響也是後續要重點研究的問題。

【引文格式】謝東海，鍾若飛，吳俁，等。球面全景影像相對定向與精度驗證[J]. 測繪學報，2017，46(11)：1822-1829. DOI: 10.11947/j.AGCS.2017.20160645

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！