雙目視覺技術
文 | 感測器技術（WW_CGQJS）
雙目立體視覺是機器視覺的一種重要形式，它是基於視差原理並由多幅圖像獲取物體三維幾何信息的方法。雙目立體視覺系統一般由雙攝像機從不同角度同時獲得被測物的兩幅數字圖像，或由單攝像機在不同時刻從不同角度獲得被測物的兩幅數字圖像，並基於視差原理恢復出物體的三維幾何信息，重建物體三維輪廓及位置。雙目立體視覺系統在機器視覺領域有著廣泛的應用前景。
80年代麻省理工學院人工智慧實驗室的Marr提出了一種視覺計算理論並應用在雙眼匹配上!使兩張有視差的平面圖產生有深度的立體圖形!奠定了雙目立體視覺發展的理論基礎。相比其他類的體視方法!如透鏡板三維成像，三維顯示，全息照相術等!雙目體視直接模擬人類雙眼處理景物的方式可靠簡便!在許多領域均極具應用價值!如微操作系統的位姿檢測與控制機器人導航與航測，三維測量學及虛擬現實等。
雙目立體視覺原理與結構
雙目立體視覺三維測量是基於視差原理，圖1所示為簡單的平視雙目立體成像原理圖，兩攝像機的投影中心的連線的距離，即基線距為b。攝像機坐標系的原點在攝像機鏡頭的光心處，坐標系如圖1所示。事實上攝像機的成像平面在鏡頭的光心後，圖1中將左右成像平面繪製在鏡頭的光心前f處，這個虛擬的圖像平面坐標系O1uv的u軸和v軸與和攝像機坐標系的x軸和y軸方向一致，這樣可以簡化計算過程。左右圖像坐標系的原點在攝像機光軸與平面的交點O1和O2。空間中某點P在左圖像和右圖像中相應的坐標分別為P1(u1,v1)和P2(u2,v2)。假定兩攝像機的圖像在同一個平面上，則點P圖像坐標的Y坐標相同，即v1=v2。由三角幾何關係得到：
上式中（xc，yc，zc）為點P在左攝像機坐標系中的坐標，b為基線距，f為兩個攝像機的焦距，（u1，v1）和（u2，v2）分別為點P在左圖像和右圖像中的坐標。
視差定義為某一點在兩幅圖像中相應點的位置差：
由此可計算出空間中某點P在左攝像機坐標系中的坐標為：
因此，只要能夠找到空間中某點在左右兩個攝像機像面上的相應點，並且通過攝像機標定獲得攝像機的內外參數，就可以確定這個點的三維坐標。
雙目視覺測量探頭由2個攝像機和1個半導體激光器組成。
半導體激光器作為光源,它發射出一點光源射到一柱狀透鏡上後變成一條直線。該線激光投射到工件表面,作為測量標誌線。激光波長為650 nm,其掃描激光線寬約為1mm。2個普通CCD攝像機呈一定角度放置,構成深度測量的感測器。鏡頭焦距長短會影響鏡頭光軸與線激光的夾角、探頭與待測物體的距離以及測量景深。
視覺測量屬於一種非接觸式測量,它是基於激光三角法測量原理。激光器1發出的光線經柱狀透鏡單方向擴展後變成一光條,投射在被測物體表面,由於物體表面曲度或深度的變化,使光條變形,由攝像機攝取此變形光條的圖像,這樣就可以由激光束的發射角和激光束在攝像機內成像位置,通過三角幾何關係獲得被測點的距離或位置等數據。
與人類使用雙眼觀察物體的遠近類似,雙目視覺測量感測器是通過2個攝像機同時攝取一個光條的圖像,再通過兩幅圖像的匹配,得到光條上所有像素點分別在兩幅圖像中的位置,利用視差,即可計算該點的位置以及深度信息的。如果配合掃描機構得到的掃描線某一坐標值,可得到被掃描物體所有的輪廓信息(即三維坐標點)。
一般來說,雙目感測器的視差(x2-x1)越大,則其測量精度越高。通過實驗發現,增大基線長度可以提高視覺測量的精度。但對某一焦距的鏡頭,過大的基線長度會造成雙目軸線夾角增大,使圖像產生較大畸變,不利於CCD的標定及特徵匹配,反而使測量精度下降。選擇2個焦距為8mm的鏡頭,通過實驗,找到與之相匹配的基線長度,可保證在鏡頭的景深範圍內,雙目視覺感測器有較高的測量精度。
雙目視覺的技術特點
雙目立體視覺技術的實現可分為以下步驟：圖像獲取、攝像機標定、特徵提取、圖像匹配和三維重建，下面依次介紹各個步驟的實現方法和技術特點。
圖像獲取
雙目體視的圖像獲取是由不同位置的兩台或者一台攝像機（CCD）經過移動或旋轉拍攝同一幅場景，獲取立體圖像對。其針孔模型如圖1。假定攝像機C1與C2的角距和內部參數都相等，兩攝像機的光軸互相平行，二維成像平面X1O1Y1和X2O2Y2重合，P1與P2分別是空間點P在C1與C2上的成像點。但一般情況下，針孔模型兩個攝像機的內部參數不可能完成相同，攝像機安裝時無法看到光軸和成像平面，故實際中難以應用。
相關機構對會聚式雙目體視系統的測量精度與系統結構參數之間的關係作了詳盡分析，並通過試驗指出，對某一特定點進行三角測量。該點測量誤差與兩CCD光軸夾角是一複雜的函數關係；若兩攝像頭光軸夾角一定，則被測坐標與攝像頭坐標系之間距離越大，測量得到點距離的誤差就越大。在滿足測量範圍的前提下，應選擇兩CCD之間夾角在50℃～80℃之間。
攝像機的標定
對雙目體視而言，CCD攝像機、數碼相機是利用計算機技術對物理世界進行重建前的基本測量工具，對它們的標定是實現立體視覺基本而又關鍵的一步。通常先採用單攝像機的標定方法，分別得到兩個攝像機的內、外參數；再通過同一世界坐標中的一組定標點來建立兩個攝像機之間的位置關係。
目前常用的單攝像機標定方法主要有：
1、攝影測量學的傳統設備標定法。利用至少17個參數描述攝像機與三維物體空間的結束關係，計算量非常大。
2、直接線性變換性。涉及的參數少、便於計算。
3、透視變換短陣法。從透視變換的角度來建立攝像機的成像模型，無需初始值，可進行實時計算。
4、相機標定的兩步法。首先採用透視短陣變換的方法求解線性系統的攝像機參數，再以求得的參數為初始值，考慮畸變因素，利用最優化方法求得非線性解，標定精度較高。
5、雙平面標定法。在雙攝像機標定中，需要精確的外部參數。由於結構配置很難準確，兩個攝像機的距離和視角受到限制，一般都需要至少6個以上（建議取10個以上）的已知世界坐標點，才能得到比較滿意的參數矩陣，所以實際測量過程不但複雜，而且效果並不一定理想，大大地限制了其應用範圍。此外雙攝像機標定還需考慮鏡頭的非線性校正、測量範圍和精度的問題，目前戶外的應用還有少。
特徵點提取
立體像對中需要撮的特徵點應滿足以下要求：與感測器類型及抽取特徵所用技術等相適應；具有足夠的魯棒性和一致性。需要說明的是：在進行特徵點像的坐標提取前，需對獲取的圖像進行預處理。因為在圖像獲取過程中，存在一系列的雜訊源，通過此處理可顯著改進圖像質量，使圖像中特徵點更加突出。
立體匹配
立體匹配是雙目體視中最關係、困難的一步。與普通的圖像配准不同，立體像對之間的差異是由攝像時觀察點的不同引起的，而不是由其它如景物本身的變化、運動所引起的。根據匹配基元的不同，立體匹配可分為區域匹配、特徵匹配和相位匹配三大類。
區域匹配演算法的實質是利用局部窗口之間灰度信息的相關程度，它在變化平緩且細節豐富的地方可以達到較高的精度。但該演算法的匹配窗大小難以選擇，通常藉助於窗口形狀技術來改善視差不連續處的匹配；其次是計算量大、速度慢，採取由粗至精分級匹配策略能大大減少搜索空間的大小，與匹配窗大小無關的互相關運算能顯著提高運算速度。
特片匹配不直接依賴於灰度，具有較強的抗干擾性，計算量小，速度快。但也同樣存一些不足：特徵在圖像中的稀疏性決定特徵匹配只能得到稀疏的視差場；特徵的撮和定位過程直接影響匹配結果的精確度。改善辦法是將特徵匹配的魯棒性和區域匹配的緻密性充分結合，利用對高頻雜訊不敏感的模型來提取和定位特徵。
相位匹配是近二十年才發展起來的一類匹配演算法。相位作為匹配基元，本身反映信號的結構信息，對圖像的高頻雜訊有很好的抑制作用，適於並行處理，能獲得亞像素級精度的緻密視差。但存在相位奇點和相位卷繞的問題，需加入自適應濾波器解決。
三維重建
在得到空間任一點在兩個圖像中的對應坐標和兩攝像機參數矩陣的條件下，即可進行空間點的重建。通過建立以該點的世界坐標為未知數的4個線性方程，可以用最小二乘法求解得該點的世界坐標。實際重建通常採用外極線結束法。空間眯、兩攝像機的光心這三點組成的平面分別與兩個成像平面的交線稱為該空間點在這兩個成像平面中的極線。一旦兩攝像機的內外參數確定，就可通過兩個成像平面上的極線的約束關係建立對應點之間的關係，並由此聯立方程，求得圖像點的世界坐標值。對圖像的全像素的三維重建目前僅能針對某一具體目標，計算量大且效果不明顯。
雙目視覺技術現狀
國外現狀
雙目體視目前主要應用於四個領域：機器人導航、微操作系統的參數檢測、三維測量和虛擬現實。
日本大阪大學自適應機械系統研究院研製了一種自適應雙目視覺伺服系統，利用雙目體視的原理，如每幅圖像中相對靜止的三個標誌為參考，實時計算目標圖像的雅可比短陣，從而預測出目標下一步運動方向，實現了對動方式未知的目標的自適應跟蹤。該系統僅要求兩幅圖像中都有靜止的參考標誌，無需攝像機參數。而傳統的視覺跟蹤伺服系統需事先知道攝像機的運動、光學等參數和目標的運動方式。
日本奈良科技大學信息科學學院提出了一種基於雙目立體視覺的增強現實系統（AR）註冊方法，通過動態修正特徵點的位置提高註冊精度。該系統將單攝像機註冊（MR）與立體視覺註冊（SR）相結合，利用MR和三個標誌點算出特徵點在每個圖像上的二維坐標和誤差，利用SR和圖像對計算出特徵點的三維位置總誤差，反覆修正特徵點在圖像對上的二維坐標，直至三維總誤差小於某個閾值。該方法比僅使用MR或SR方法大大提高了AR系統註冊深度和精度。實驗結果如圖2，白板上三角開的三頂點被作為單攝像機標定的特徵點，三個三角形上的模型為虛擬場景，烏龜是真實場景，可見基本上難以區分出虛擬場景（恐龍）和現實場景（烏龜）。
日本東京大學將實時雙目立體視覺和機器人整體姿態信息集成，開發了模擬機器人動態行長導航系統。該系統實現分兩個步驟：首先，利用平面分割演算法分離所拍攝圖像對中的地面與障礙物，再結合機器人身體姿態的信息，將圖像從攝像機的二維平面坐標系轉換到描述軀體姿態的世界坐標系，建立機器人周圍區域的地圖；基次根據實時建立的地圖進行障礙物檢測，從而確定機器人的行走方向。
日本岡山大學使用立體顯微鏡、兩個CCD攝像頭、微操作器等研製了使用立體顯微鏡控制微操作器的視覺反饋系統，用於對細胞進行操作，對鍾子進行基因注射和微裝配等。
麻省理工學院計算機系統提出了一種新的用於智能交通工具的感測器融合方式，由雷達系統提供目標深度的大致範圍，利用雙目立體視覺提供粗略的目標深度信息，結合改進的圖像分割演算法，能夠在高速環境下對視頻圖像中的目標位置進行分割，而傳統的目標分割演算法難以在高速實時環境中得到令人滿意的結果。
華盛頓大學與微軟公司合作為火星衛星「探測者」號研製了寬基線立體視覺系統，使「探測者」號能夠在火星上對其即將跨越的幾千米內的地形進行精確的定位玫導航。系統使用同一個攝像機在「探測者」的不同位置上拍攝圖像對，拍攝間距越大，基線越寬，能觀測到越遠的地貌。系統採用非線性優化得到兩次拍攝圖像時攝像機的相對準確的位置，利用魯棒性強的最大似然概率法結合高效的立體搜索進行圖像匹配，得到亞像素精度的視差，並根據此視差計算圖像對中各點的三維坐標。相比傳統的體視系統，能夠更精確地繪製「探測者」號周圍的地貌和以更高的精度觀測到更遠的地形。
國內現狀
浙江大學機械系統完全利用透視成像原理，採用雙目體視方法實現了對多自由度機械裝置的動態、精確位姿檢測，僅需從兩幅對應圖像中抽取必要的特徵點的三維坐標，信息量少，處理速度快，尤其適於動態情況。與手眼系統相比，被測物的運動對攝像機沒有影響，且不需知道被測物的運動先驗知識和限制條件，有利於提高檢測精度。
東南大學電子工程系基於雙目立體視覺，提出了一種灰度相關多峰值視差絕對值極小化立體匹配新方法，可對三維不規則物體（偏轉線圈）的三維空間坐標進行非接觸精密測量。
哈工大採用異構雙目活動視覺系統實現了全自主足球機器人導航。將一個固定攝像機和一個可以水平旋轉的攝像機，分別安裝在機器人的頂部和中下部，可以同時監視不同方位視點，體現出比人類視覺優越的一面。通過合理的資源分配及協調機制，使機器人在視野範圍、測跟精度及處理速度方面達到最佳匹配。雙目協調技術可使機器人同時捕捉多個有效目標，觀測相遇目標時通過數據融合，也可提高測量精度。在實際比賽中其他感測器失效的情況下，僅僅依靠雙目協調仍然可以實現全自主足球機器人導航。
雙目視覺技術的發展方向
就雙目立體視覺技術的發展現狀而言，要構造出類似於人眼的通用雙目立體視覺系統，還有很長的路要走，進一步的研究方向可歸納如下：
1、如何建立更有效的雙目立體視覺模型，能更充分地反映立體視覺不去確定性的本質屬性，為匹配提供更多的約束信息，降低立體匹配的難度。
2、探索新的適用於全面立體視覺的計算理論和匹配擇有效的匹配準則和演算法結構，以解決存在灰度失真，幾何畸變（透視，旋轉，縮放等），雜訊干擾，特殊結構（平坦區域，重複相似結構等），及遮掩景物的匹配問題；
3、演算法向並行化發展，提高速度，減少運算量，增強系統的實用性；
4、強調場景與任務的約束，針對不同的應用目的，建立有目的的面向任務的雙目立體視覺系統。
雙目立體視覺這一有著廣闊應用前景的學科，隨著光學，電子學以及計算機技術的發展，將不斷進步，逐漸實用化，不僅將成為工業檢測，生物醫學，虛擬現實等領域。目前在國外，雙目立體視覺技術已廣泛應用於生產，生活中，而我國正處於初始階段，尚需要廣大科技工作者共同努力，為其發展做出貢獻。在機器視覺賴以普及發展的諸多因素中，有技術層面的，也有商業層面的，但製造業的需求是決定性的。製造業的發展，帶來了對機器視覺需求的提升；也決定了機器視覺將由過去單純的採集、分析、傳遞數據，判斷動作，逐漸朝著開放性的方向發展，這一趨勢也預示著機器視覺將與自動化更進一步的融合。需求決定產品，只有滿足需求的產品才有生存的空間，這是不變的規律,機器視覺也是如此。
本篇文章為感測器技術平台原創文章，轉載需聯繫我們授權！未經允許轉載我們將進行投訴！
TAG:感測器技術 |