機器視覺的輔助駕駛系統
要提升·到焉知
焉知焉知·焉能不知
1、機器視覺發展
國外機器視覺發展的起點難以準確考證，其大致的發展歷程是：20世紀50年代提出機器視覺概念，20世紀70年代真正開始發展，20世紀80年代進入發展正軌，20世紀90年代發展趨於成熟，20世紀90年代後高速發展。在機器視覺發展的歷程中，有3個明顯的標誌點，一是機器視覺最先的應用來自「機器人」的研製，也就是說，機器視覺首先是在機器人的研究中發展起來的；二是20世紀70年代CCD圖像感測器的出現，CCD攝像機替代硅靶攝像是機器視覺發展歷程中的一個重要轉折點；三是20世紀80年代CPU、DSP等圖像處理硬體技術的飛速進步，為機器視覺飛速發展提供了基礎條件。
國內機器視覺發展的大致歷程：真正開始起步是20世紀80年代，20世紀90年代進入發展期，加速發展則是近幾年的事情。中國正在成為世界機器視覺發展最活躍的地區之一，其中最主要的原因是中國已經成為全球的加工中心，許許多多先進生產線己經或正在遷移至中國，伴隨這些先進生產線的遷移，許多具有國際先進水平的機器視覺系統也進入中國。對這些機器視覺系統的維護和提升而產生的市場需求也將國際機器視覺企業吸引而至，國內的機器視覺企業在與國際機器視覺企業的學習與競爭中不斷成長。
未來機器視覺的發展將呈現下列趨勢:
（1）技術方面的趨勢是數字化、實時化、智能化
圖像採集與傳輸的數字化是機器視覺在技術方面發展的必然趨勢。更多的數字攝像機，更寬的圖像數據傳輸帶寬，更高的圖像處理速度，以及更先進的圖像處理演算法將會推出，將會得到更廣泛的應用。這樣的技術發展趨勢將使機器視覺系統向著實時性更好和智能程度更高的方向不斷發展。
（2）產品方面：智能攝像機將會佔據市場主要地位
智能攝像機具有體積小、價格低、使用安裝方便、用戶二次開發周期短的優點，非常適合生產線安裝使用，越來越受到用戶的青睞，智能攝像機所採用的許多部件與技術都來自IT行業，其價格會不斷降低，逐漸會為最終用戶所接受。因此在眾多的機器視覺產品中，預計智能攝像機在未來會佔據主要地位。
另外，機器視覺感測器會逐漸發展成為光電感測器中的重要產品。目前許多國際著名的光電感測器生產企業，如KEYENCE，OMRON，BANNER等都將機器視覺感測器作為光電感測器中新型的感測器來發展與推廣。
（3）市場份額迅速擴大
一方面已經採用機器視覺產品的應用領域，對機器視覺產品的的依賴性將更強；另一方面機器視覺產品將應用到其他更廣的領域。機器視覺市場將不斷增大。
（4）行業方面發展更加迅速
機器視覺行業專業性公司增多，投資和從業人員增加，競爭加劇是機器視覺行業未來幾年的發展趨勢，機器視覺行業作為一個新興的行業將逐步發展成熟，將越來越越受到人們的重視。
更多功能的實現主要是來自於計算能力的增強,更高解析度的感測器(10Mpixels),更快的掃描率(500次/s)和軟體功能的提高。PC處理器的速度在得到穩步提升的同時,其價格也在下降,這推動了更快的匯流排的出現,而匯流排又反過來允許具有更多數據的更大圖像以更快的速度進行傳輸和處理。
產品的小型化趨勢讓這個行業能夠在更小的空間內包裝更多的部件,這意味著機器視覺產品變得更小,這樣他們就能夠在廠區所提供的有限空間內應用.例如在工業配件上LED已經成為主導光源,它的小尺寸使成像參數的測定變得容易,他們的耐用性和穩定性非常適用於工廠設備。智能相機的發展預示了集成產品增多的趨勢。智能相機是在一個單獨的盒內集成了處理器、鏡頭、光源、輸入/輸出裝置及乙太網。電話和PDA推動了更快、更便宜的精簡指令集計算機(RISC)的發展,這使智能相機和嵌入式處理器的出現成為可能。同樣,現場可編程門列陣(FPGA)技術的進步為智能相機增添了計算功能,並為PC機嵌入了處理器和高性能楨採集器.智能相機結合處理大多數計算任務的FPGA,DSP和微處理器則會更具有智能性。小型化與集成產品正在一起為實現「晶元上的視覺系統」的最終目標而努力。尺寸更小、更密集的存儲卡及成像器解析度的提高有助於智能相機的開發和擴展。
智能車輛(intelligentvehicles,IV)是智能交通系統(in2telligenttransportationsystems,ITS)的重要構成部分,其研究的主要目的在於降低日趨嚴重的交通事故發生率,提高現有道路交通的效率,在某種程度上緩解能源消耗和環境污染等問題。
2、研究背景及意義
隨著我國機械工業的迅猛發展,汽車行業也實現了新的跨越。汽車的普及帶來了許多危害,諸如:「汽車尾氣」對環境的污染、消耗汽油造成能源的緊缺、交通擁擠、交通事故等等。
目前,我國的交通安全形勢日益嚴峻,交通事故頻繁發生,財產損失和人員傷亡慘重。雖然我國僅擁有全世界約2.5%的汽車,但是引發的道路交通死亡事故佔世界的15%,己是交通事故多發的國家。交通事故是全球性關注的一個熱點,其對人類的危害已超出了洪水、地震、火災等自然災害,是導致行人死亡的一個主要因素。在道路交通事故中,自行車騎車人和行人往往處於弱勢地位,一旦與機動車發生碰撞,是很容易受到傷害的。事故帶來的災難,使一個個家庭陷入了不幸的痛苦之中.人們對出行安全的渴盼,成為社會公共安全的重要話題.為了有效地保護行人,行人檢測和跟蹤技術得到了車企及消費者的重視。
隨著我國汽車保有量的迅速增加,道路交通事故頻發,特別是車輛與行人發生碰撞而引發交通事故是導致行人傷亡的主要原因。交通引發的各種問題尤其是行駛安全問題日益受到人們的關注,這就使得安全輔助駕駛系統的應用在我國具有更大的緊迫性和現實意義。對車輛前方行人進行檢測是汽車安全輔助駕駛系統所必需具備的功能之一,己經引起了世界各國政府部門和相關研究機構的高度重視及商家的濃厚興趣,它能有效地輔助在市區環境中駕駛車輛的駕駛員及時對外界環境做出反應,避免碰撞行人。行人檢測技術的研究開發將為我國汽車安全輔助駕駛技術的發展提供有力的理論和技術支持,並具有潛在的經濟價值和應用前景。
利用感測器技術來探測車輛前方的障礙物,包括行人車輛以及自行車等,及時警告駕駛員可能與潛在的障礙物發生碰撞,減少這類碰撞交通事故發生的損失和人員傷亡。如果駕駛員沒有及時採取有效的措施來避免與行人等障礙物發生碰撞,可以採取自動駕駛功能接替駕駛員避免這種緊急狀況的發生,如通過車上安裝的自動轉向和自動制動功能接替駕駛員實現自動轉向或制動，有效地提高城市交通的安全性。
行人檢測是城市交通環境下的智能車輛輔助導航技術中的一項關鍵技術,也是目前計算機應用領域的研究熱點之一。它處於智能車輛輔助導航技術的底層,是各種後續高級處理如目標分類,行為理解的基礎,對於保障現代城市道路交通安全具有重要的作用,同時具有十分廣闊和重要的應用領域。運動行人檢測在智能控制系統,虛擬現實,機器人應用等方面也將得到廣泛的應用。
行人檢測與跟蹤技術不僅在智能交通系統和視頻監控系統中有廣泛的應用,而且在虛擬現實、機器人應用等方面有著非常重要的研究價值。行人跟蹤是一個複雜的系統工程,它涉及了人體生理學、心理學、計算機視覺、模式識別、等多方面的問題。
3、研究內容
基於計算機視覺的行人檢測由於其在車輛輔助駕駛系統中的重要應用價值成為當前計算機視覺和智能車輛領域最為活躍的研究課題之一。其核心是利用安裝在運動車輛上的攝像機檢測行人，從而估計出潛在的危險以便採取策略保護行人。行人檢測除了具有一般人體檢測具有的服飾變化、姿態變化等難點外，由於其特定的應用領域還具有以下難點：攝像機是運動的，這樣廣泛應用於智能監控領域中檢測動態目標的方法便不能直接使用；行人檢測面臨的是一個開放的環境，要考慮不同的路況、天氣和光線變化，對演算法的魯棒性提出了很高的要求；實時性是系統必須滿足的要求，這就要求採用的圖像處理演算法不能太複雜。
基於視覺的行人檢測系統一般包括兩個模塊：感興趣區（ROIs）分割和目標識別。根據分割所用的信息，可將 ROIs 分割的方法分為基於運動、基於距離、基於圖像特徵和基於攝像機參數四種方法。基於運動的方法通過檢測場景中的運動區域來得到 ROIs。基於距離的方法通過測量目標到汽車的距離來得到ROIs 。可以用來測距的感測器主要包括雷達和立體視覺。基於圖像特徵的方法指通過檢測與行人相關的圖像特徵從而得到 ROIs 。對於可見光圖像來說，常用的特徵包括豎直邊緣、局部區域的熵和紋理等。對於紅外圖像來說，主要根據人體尤其是人臉的溫度比周圍環境溫度較高這一特徵，通過檢測一些「熱點」 (Hot spot) 來得到 ROIs。攝像機的安裝位置和攝像機參數也是一個很重要的考慮因素. 它對行人在圖像上出現的位置和每個位置上目標的大小給出了很多限制, 合理利用這些限制可以大大地縮小搜索空間。
如圖1所示，行人檢測分為以下幾個步驟：預處理階段，首先通過感測器獲得車輛前方的圖像信息，對這些信息做預處理（如降噪、增強等）；分類檢測階段，用圖像分割、模型提取等一些圖像處理技術在圖像中選取一些感興趣的區域（Regions of Interest，ROIs），即行人的候選區域，然後對ROIs進行進一步的驗證，用分類等技術方法判斷候選區域中是否包含行人；決策報警階段，對含有行人的區域進行跟蹤，得到行人的運動軌跡，提高檢測精度和速度的同時，也能對行人是否會和車輛發生碰撞進行判斷，對可能發生碰撞的情況，進行報警或者其他避免碰撞的操作。
在行人檢測系統中，分類檢測階段是最為重要的一個階段。由於行人檢測系統是一個實時系統，因此系統中的檢測演算法應具有很高的實時性，那些使用複雜圖像處理的演算法便不再適用；而開放的檢測場景，如道路狀況不斷變換、天氣以及光照也隨機變化，行人的服飾和姿態多變等，使得模板匹配的方法無法很好的應用於行人檢測問題中。場景3D建模的方法由於前提假設的限制，其性能和速度無法達到實用的要求。如今主要的研究方法還是在行人檢測中引入各種各樣的分類器，主要是因為分類演算法具有較好的魯棒性，而且合理的選擇訓練樣本和特徵，結合結構合理的分類演算法，可以較好地克服許多不利條件，如行人多樣性、場景多樣性、光照環境多樣性等的影響。因此，在當前情況下，分類檢測是行人檢測技術研究中的一種主流的方法。 常用於行人檢測的分類器有：支持向量機(SVM)、各種類型的神經網路（NN）以及其他基於統計的學習分類器（如Adaboost、串聯分類器）等，如表1所示。
很多類型的分類器都被用到了行人和非行人物體的區分當中。分類器的輸入是從圖像中提取的像素值或特徵值，輸出則是這個物體是否為待測物體的一個判斷。很多情況下，給出的是這個物體為待測物體的概率值。分類器通常由一系列正負樣本訓練得來。訓練之後，分類器對未知樣本進行處理，通過特徵向量位於決定邊界的哪一邊，確定該樣本中是否含有待測物體。分類器的好壞主要取決於三個方面：特徵、分類演算法和樣本，只有合理地結合這三者才能得到性能最優的分類器。
目前，這三方面都有一些進展，這為我們設計出高效的分類器提供了很好的基礎。分類器性能一般從三個方面來評價，檢測率高，誤報率低，檢測速度快。三方面相互限制，實際應用中需要找到一個平衡點。由於分類器的性能好壞是整個行人檢測系統性能好壞的決定因素，所以非常有必要結合行人檢測問題本身的特點來專門為其設計合理、高性能的分類器，而不是直接套用其它領域的一些現有演算法。
4、研究方法
行人檢測包括了行人目標的分類和行人的跟蹤等方面, 涉及到計算機視覺、模式識別和人工智慧領域的許多核心課題, 是一個具有挑戰性的困難問題。目前, 在許多文獻中提出了多種關於行人檢測的方法, 常用的方法有基於運動特性的方法、基於形狀信息的方法、基於行人模型的方法、立體視覺的方法、神經網路方法、小波和支持向量機的方法等。
4.1、基於形狀信息的方法
由於行人探測是在車輛運動的狀態下進行的, 這樣會帶來攝像機的運動, 從而背景圖像也會相應發生變化。基於形狀信息的行人檢測方法迴避了由於背景變化和攝像機運動帶來的問題, 主要是依靠行人形狀特徵來識別行人, 因此基於形狀的行人檢測方法能識別出運動和靜止的行人。
義大利帕爾瑪大學的Alberto B roggi 教授在AR 2GO項目中採用一種基於外形的行人檢測演算法。演算法首先根據行人相對於垂直軸有很強的垂直邊緣對稱性、尺寸和外貌比例等在圖像中找到感興趣區域, 然後提取垂直邊緣, 選擇具有高垂直對稱性的區域。通過計算邊緣的熵值去掉圖像中始終一致的區域。在剩下的具有對稱性的候選區域中, 尋找目標側向和底部邊界畫出矩形方框, 通過包含行人頭部模型匹配定位行人頭部。在市區試驗表明, 當視野中有完整的行人存在時能得到較好的效果, 在10~ 40m 的範圍內都可以正確地進行識別, 並且可以較好地適應複雜的外界環境。
德國DaimlerO Chrysler研究中心的Gavri la開發的行人檢測系統在城市交通助手UTA 中進行了試驗。蓋系統主要分為兩步, 首先是在等級模板匹配過程中應用行人輪廓特徵來有效鎖定候選目標。然後在模式分類中根據豐富的亮度信息運用徑向基函數來驗證候選目標。
基於形狀信息的行人檢測方法存在兩大難點: 一是行人是非剛性的,形狀信息具有多樣性, 演算法要考慮很多基本的信息, 導致計算量增大;二是行人在行走的過程中, 由於會產生遮擋現象,這就無形中增加了基於形狀信息行人檢測的難度。
4.2、基於運動特性的方法
運動是探測場景圖像中感興趣區域重要信息, 基於運動特性的行人檢測就是利用人體運動的周期性特性找到行人。德國DaimlerO Benz研究中心B 1Heisele的研究是基於行人與像平面平行的方向行走時腿部運動特徵,從彩色序列圖像中識別出行人。首先將每幅圖像分割成區域圖像並對象素按顏色P位置特徵空間進行聚類,通過在連續圖像中匹配相應的類, 並對各類進行跟蹤。然後利用快速多項式分類器估計基於類形狀特徵的時間變化來初步選擇可能屬於人腿的類。最後通過時空接受域延時神經網路將屬於行人腿的類進行分離。
Lipton通過計算運動區域的殘餘光流來分析運動實體的剛性和周期性, 非剛性的人的運動相比於剛性的車輛運動而言具有較高的平均殘餘光流, 同時它也呈現了周期性的運動特徵, 據此可以將人區分出來。
大多數基於運動方法運用行人獨有的運動節奏特徵或運動模式來探測行人, 而且能在運動攝像機情況下探測到運動目標,但是應用基於運動的行人檢測還有一定的局限性:(1)首先為了提取運動節奏特徵要求行人腳或腿是可見的; (2)識別時需要連續幾幀序列圖像, 這樣延誤了行人的識別, 增加了處理時間;(3)不能識別靜止行人。
4.3 、基於模型的方法
基於模型的行人檢測方法是通過定義行人形狀模型, 在圖像的各個部位匹配該模型以找到目標。行人模型主要有線性模型、輪廓模型以及立體模型等。線性模型是基於人運動的實質是骨骼的運動, 因此可以將身體的各個部分以直線來模擬。美國馬里蘭大學的V1Philomin 等首先應用背景減除法從靜止CCD獲得的圖像中自動分割出行人邊緣輪廓, 得到行人的統計形狀模型。然後建立線性點分布模型, 利用主分量分析簡化維數, 找到8維變形模型空間。基於輪廓模型的跟蹤是利用封閉的曲線輪廓來表達運動目標, 並且該輪廓能夠自動連續地更新。例如美國明尼蘇達大學的 O1Masoud利用靜止的單目CCD對序列灰度圖像進行行人跟蹤, 主要用於在交叉路口行人跟蹤控制。立體模型主要是利用廣義錐台、橢圓柱、球等三維模型來描述人體的結構細節, 這種模型要求更多的計算參數和匹配過程中更大的計算量。如 K1Rohr利用通用圓柱模型來描述行人, 目的是想利用該模型來產生人的行走的三維描述。
利用輪廓模型進行跟蹤有利於減少計算的複雜度, 如果開始能夠合理地分開每個運動目標並實現輪廓初始化的話, 既使在有部分遮擋存在的情況下也能連續地進行跟蹤, 然而初始化通常是很困難的。
4.4、小波變換和支持向量機
從20 世紀80 年代後期開始逐步發展起來的小波分析克服了傅立葉分析的不足, 具有良好的空間局部分析功能和多分辨分析功能, 並且具有良好的重構性和濾波特性。美國M1Oren介紹了可訓練的目標探測方法, 用來探測靜止圖像中的相關人。由於人體是一個非剛性的目標, 並在尺寸、形狀、顏色和紋理機構上有一定程度的可變性。
行人檢測主要是基於小波模板概念,按照圖像中小波相關係數子集定義目標形狀的小波模板。系統首先對圖像中每個特定大小的窗口以及該窗口進行一定範圍的比例縮放得到的窗口進行Harr小波變換, 然後利用支持向量機檢測變換的結果是否可以與小波模板匹配, 如果匹配成功則認為檢測到一個行人。最近他們又結合基於樣本的方法對系統做了改進, 對人體的每個組成部分進行相應的小波模板的匹配, 之後對這些分量的匹配結果進行總的匹配評價。首先將圖像進行水平方向、垂直方向以及對角線方向進行Haar 小波變換, 然後掃描與行人相關的模型, 最後用支持向量機統計推理進行識別。為了避免重疊現象, 系統按照一定等級利用多個分類器分別對手臂、頭部和腿進行分類。
基於小波變換和支持向量機的方法需要按不同尺度搜索整幅圖像來找到行人, 這樣計算量很大。為了實現對行人進行實時檢測與跟蹤, 需要減少小波特徵, 降低支持向量機的維數。
4.5、 立體視覺
立體視覺的基本原理是從兩個 (或多個) 視點觀察同一景物, 以獲取在不同視角下的感知圖像, 通過三角測量原理計算圖像像素間的視差來獲取景物的三維信息。由於單目視覺不能準確的獲得前方車輛的距離信息, 而且在複雜場景內由於噪音的干擾不能有效的識別行人, 而立體視覺由於能夠獲得圖像的深度信息, 因此在行人檢測領域中得到一定的應用。義大利帕爾瑪大學的A1Broggi 和美國坦克及機動車輛司令部M1Del Rose 等利用立體視覺技術進行預處理在一般非結構化環境下定位行人位置。系統首先將採集到的左、右圖像進行邊緣提取、二值化和形態水平膨脹, 然後將左幅圖像的每行與右幅圖像每行進行匹配, 計算左右特徵圖像中相應行的相關性用來計算他們之間的偏移量。最後找到兩幅圖像中相應成分的偏移量, 右幅圖像偏移相同偏移量與左幅圖像相應的行人區域進行特徵匹配, 根據垂直直方圖和水平直方圖確定行人區域的邊界。
也有一些行人檢測系統常用立體視覺來尋找感興趣區域, 以便後續模式分類或利用立體視覺根據對稱性用來驗證步驟探測到的定人區域。如美國梅隆大學的Liang Zhao和E1Thorpe首先對經過圖像進行拉普拉斯運算, 利用區域相關性計算視差映射圖; 然後視差值可以按照不同等級進行搜尋。通過距離閾值從視差圖像中排除背景目標, 然後採用形態相近運算元去除雜訊並平滑前景圖像區域。最後將所有探測到的可能含有行人目標的方框區域輸入到訓練神經網路進行行人識別。
4.6、神經網路
人工神經網路在行人識別技術中的應用主要是對利用視覺信息探測到的可能含有行人區域進行分類識別。如Liang Zhao和E1Thorpe首先利用立體視覺進行目標區域分割, 然後合併和分離子目標候選圖像成滿足行人尺寸和形狀約束的子圖像, 最後將所有探測到的可能含有行人目標的方框區域輸入到神經網路進行行人識別。B1Heisele將每幅圖像分割成區域圖像並對像素按顏色P位置特徵空間進行聚類, 利用快速多項式分類器估計基於類形狀特徵的時間變化來初步選擇可能屬於人腿的類。最後通過時空接受域延時神經網路將屬於行人腿的類進行分離。
5、預期目標
目的在於建立一個基於機器視覺的車載輔助駕駛系統的行人實時檢測識別系統，多變的自然背景下能夠準確實時的識別行人。
6、難點及存在問題
行人分類檢測問題具有以下的特點：
1)由於每幀圖像中的待檢測區域數量龐大，而行人檢測的應用對實時性要求很高，因此對分類器的檢測速度要求也很高；
2)在實際場景中，行人對象和非行人對象存在嚴重的不均衡性，行人對象所佔比例很小；
3)為了保證樣本的多樣性，分類器訓練時使用的正負樣本數量較大並且和實際情況中正負對象的比例大致相同，這樣就導致正負樣本在數量上的不平衡，需要針對這種不平衡數據設計高效的分類演算法；
4)行人檢測系統在使用過程中不能一直報虛警，因此要求分類器在檢測率在可接受的前提下，誤報率儘可能的低。
資料來源：網路
TAG:CST自動駕駛 |