機器視覺在智能製造中的應用
Application of Machine Vision in Intelligent Manufacturing
機器視覺在智能製造中的應用
摘要|智能製造結合了人工智慧、大數據、物聯網等新一代智能信息技術，貫穿產品全生命周期，實現從了工廠到市場的聯動。隨著機械裝備生產過程的進一步智能化，生產信息的採集和處理過程顯得尤為重要。本文介紹了機器視覺技術的工作原理和關鍵技術，以及機器視覺在智能製造中的應用，並對機器視覺的應用前景做出了分析和展望。
關鍵詞|機器視覺；數字圖像處理；智能製造
引言
隨著製造業的發展，智能製造技術日漸成為實現製造的知識化、自動化、柔性化以實現對市場的快速響應的關鍵技術。其主要應用包括基於神經網路的智能檢測、故障診斷、識別、設計、優化，基於遺傳演算法的優化設計，基於規則、基於框架的專家系統，基於類比推理、歸納學習與基於實例推理的知識系統，基於Agent技術的分散式智能製造系統等等[1]。智能製造主要關注於高端裝備製造，在製造過程中進行分析推理、判斷、思考、決策等活動。智能製造系統從原始的能量驅動轉變為信息驅動，這對於製造系統的靈活性和數字化提出了很高的要求。在智能製造系統中，原始信息的採集是最基礎的工作，原始信息推動著整個系統的決策和工作。機器視覺技術作為當前的熱門技術之一，具有高度的靈活性，能適應各種生產環境，擁有強大的理論支持，在智能製造領域得到了廣泛的應用。本文針對於智能製造，介紹了現有文獻中機器視覺的相關關鍵以及其在製造過程中的相關應用，並基於此探討機器視覺在未來先進位造、智能製造中的應用前景。
1
機器視覺中的關鍵技術
機器視覺在智能製造中主要用於視覺檢測，關鍵技術包括圖像獲取、圖像預處理、圖像分割、圖像識別、檢測[2]。
1.1 成像系統
視覺信息是機器視覺技術的基礎，一般而言，視覺信息採集系統主要包括了光源、成像、處理等數個環節。智能製造中典型的視覺信息採集系統如圖1所示：由光控電路控制的光學鏡頭在光源下獲取目標圖像，經感測器於信號存儲電路之中保存，之後通過信號放大電路以及計算機的圖像處理，最終獲得目標的視覺信息。
圖1 視覺信息採集系統
1.2 圖像預處理
由於獲取條件的不同和外界的各種干擾，經過成像系統採集到的原始圖像往往存在著大量的雜訊和失真，這種數據無法直接用於視覺系統。為了消除外界環境對圖像採集的干擾，需要對圖像進行預處理，例如通過圖像分析和識別等手段，消除使圖像質量惡化的因素，使採集到的圖像能夠更有效的用於有效信息的提取。圖像預處理的降噪手段主要有以下幾種：
（1）均值濾波：其是一種線性濾波演算法，用圖片中目標像素周圍8個像素的平均值來代替該像素自身，從而達到降噪效果。但是該演算法自身存在一定的缺陷，會破環圖像的細節部分，使其變得模糊，不能有效的去除噪點[3]。
（2）中值濾波：是一種基於統計排序理論的非線性濾波演算法，其將待處理的像素點用周圍的8個或者24個像素點中的中值進行替換，從而達到降噪的目的[3]。
（3）高斯濾波：其為一種線性平滑濾波演算法，用於處理高斯雜訊，將待處理的像素點用周圍其他像素點的加權平均值代替。高斯濾波處理對於服從正態分布的雜訊特別有效[4]。
1.3 圖像分割
圖像分割是圖像處理和計算機視覺領域的基本工作，按照圖像的灰度、顏色、紋理、形狀等特徵，將圖像分割成若干區域，區域內部具有高度的相似性，不同的區域呈現互異的特徵。圖像分割的演算法主要有全局能量最小化方法，例如模擬退火方法、動態規劃方法、圖論方法等，以及局部能量最小化方法，如變分方法、ICM方法等[5]。其中，模擬退火方法儘管要求高，但是能夠適用較多類型的能量函數；動態規劃方法主要的問題是無法有效求解高維的能量函數；圖論法則可以拓展到多種能量函數，實現最優解的逼近，求解效率很高，因此採用範圍更為廣泛。
1.4 圖像識別
圖像識別基於圖像特徵分析、運動分析、模式匹配等，主要的途徑包括：基於圖像分割，序列圖像識別方式，以及基於模式學習和和形狀匹配的識別方式等[6-8]。
2
機器視覺在智能製造中的應用
機器視覺的應用優勢在於無需與被測物體進行接觸，因此被測物體和測量裝置操作過程中都不會產生損壞，是一種相對於而言更安全可靠的檢測手段。此外，測量裝置的適用範圍和互換性都非常的廣泛，不僅僅局限於某一類物體。理論而言，機器視覺技術甚至可以用來探測人眼無法觀察到的部分，例如紅外線、微波、超聲波等，通過感測器可以將這些信息進行捕獲和處理，從而拓展了人類的視覺範圍。相對機器視覺而言，人類視覺容易受到個體狀態的影響，難以進行長時間的觀測，在惡劣下表現不理想，因此，機器視覺技術常常用於長時間檢測工作和在線處理，以及人類無法工作的極端環境下。
正是因為這些特性，機器視覺技術被廣泛應用於工業生產的各個步驟。在智能製造體系中，機器視覺的應用主要可以歸納為四個方向：尺寸測量、物體定位、零件檢測、圖像識別[9]。
2.1 尺寸測量
隨著製造工藝的不斷提高，工業產品尤其是大型構件的外形設計日趨複雜。同時，由於大型構件的體積和重量限制，不便於經常移動，給傳統的測量方式帶來了巨大的困擾。機器視覺測量技術是一種基於光學成像、數字圖像處理、計算機圖形學的無接觸的測量方式，擁有嚴密的理論基礎，測量範圍更廣，而且相對於傳統測量方式而言，擁有更高的測量精度和效率。
根據不同的光照方式和幾何關係，視覺檢測方法可以分為兩種：被動視覺探測和主動視覺檢查。被動視覺探測直接採用了原始圖像，這些在工業環境中獲取的原始圖像並沒有明顯的特徵信息；而主動檢測方式能夠主動的去產生所需的特徵信息，從而避免立體特徵匹配困難，所以在工業檢測中應用範圍更廣。
主動視覺檢測方式包括激光測距、雲紋干涉法、簡單三角形法，結構光法與時差法等方法。例如魏振忠[10]提出了一種基於結構光視覺感測器的物體測量方法，可用於提高大型工件的結構光三維視覺的檢測精度。在結構光方法的測量過程中，由於靶標上的基準坐標點很難準確落在結構光平面上，導致空間坐標的準確獲取難以實現。在此測量方法中，通過一種基於雙重交比不變的結構光視覺感測器的標定方法，並配合相應的標定靶標，從根本上解決了此問題。
2.2 物體定位
傳統製造業中的焊接、搬運、裝配等固定流程正在逐步被工業機器人取代，這些步驟對於工業機器人來說，只需要生成指定的程序，然後按照程序依次執行即可。在機器人的操作過程中，零件的初始狀態（如位置和姿態等）與機器人的相對位置並不是固定的。這導致工件的實際擺放位置和理想加工位置存在差距，機器人難以按照原定的程序進行加工[11]。隨著機器視覺技術以及更靈活的機器手臂的出現，這個問題得到了很好的解決，為智能製造的迅速發展提供了動力。
2.3零件檢測
零件檢測是機器視覺技術在工業生產中最重要的應用之一，在製造生產的過程中，幾乎所有的產品都面臨著質量檢測。傳統的手工檢測存在著許多不足：首先，人工檢測的準確性依賴於工人的狀態和熟練程度；其次，人工操作效率相對較低，不能很好的滿足大量生產檢測的要求；近年來人工成本也在逐步上升。所以，機器視覺技術被廣泛用於產品檢測中，主要的應用包括：存在性檢測和缺陷檢測。
2.3.1存在性檢測
存在性檢測的對象包括某個部件、某個圖案或者是整個物體的存在性。在製造環節中，某些步驟的缺失或者加工缺陷會導致零部件的丟失，影響產品的品質，需要在進行下一步工序或出廠前分揀出來待進一步處理。通過前期的圖像採集和處理後，需要依靠顯著目標檢測演算法來進行識別，從而得出顯著目標是否存在的結論。
例如李牧等[12]提出了一種顯著目標存在性檢測演算法，利用中心周邊直方圖計算出的顯著圖，提取目標區域與圖像中心點距離、目標區域位置分布方差、目標區域在圖像邊緣的分布、目標區 域分布熵、圖像顯著圖的直方圖等5種特徵進行分類，並利用投票的方式最終確定輸入圖片是否包含顯著目標。通過數據集驗證，能夠有效識別出指定目標的存在性。
2.3.2表面缺陷檢測
表面缺陷檢測的對象為二維平面上的元素，包括孔洞、污漬、劃痕、裂紋、亮點、暗點等常見的表面缺陷，這些缺陷特別是孔洞和裂紋等，可能嚴重影響產品質量和使用的安全性，準確識別缺陷產品非常重要。這方面的研究如岳文輝[13]提出了一種CCD (Charge Coupled Device)圖像獲取系統，利用使用最普遍的電荷耦合器件CCD，在熒光磁粉無損檢測技術的基礎上，使用CCD進行圖像採集，然後使用相關演算法進行圖像處理和模式識別，來檢測表面缺陷的類型和程度。
圖2 系統圖像處理和識別流程圖
零件檢測相關的工作流程一般大致如圖2所示。儘管系統針對於不同的對象和目的，但是其圖像處理和圖像識別內核差異不大。圖像處理和識別都是從採集的圖像出發，經過單色化處理、閾值處理，圖像膨脹處理，孤點濾波等預處理之後，對圖像的特徵進行提取並描述，最終輸出結果。
2.4 圖像識別
圖像識別利用機器視覺技術中的圖像處理、分析和理解功能，準確識別出一類預先設定的目標或者物體的模型。在工業領域中的主要應用有條形碼讀取、二維碼掃描識別等，以往多用NFC標籤等載體進行信息讀取，需要與產品進行近距離接觸。而隨著工業攝像機等硬體設備的更新換代，二維碼等標識可以被遠距離讀取和識別，而且攜帶的信息更豐富，可以將所有產品信息寫入二維碼，而無需聯網查詢信息[14]。
3
機器視覺的發展和問題
儘管機器視覺在智能製造中已經得到的長足的發展，但是就目前的應用現狀而言，還存在一些發展的瓶頸。
最為首先的就是精度問題。傳統製造測量尺寸都具有一個標準化的測量精度，而機器視覺中則主要採用基於像素的解析度來衡量。儘管目前就鏡頭和感光原件如CCD和CMOS的製造工藝已經獲得了很大的進展，解析度6000x4000pixel已經比較常見，甚至還有20000x14000pixel也已實現，但是測量精度仍未實現標準化。
另一個則可能是機器視覺輸出結果的可靠性問題。一般而言，產品位置，光照強度，外部環境等都會都最終基於機器視覺所輸出的結果產生影響，尤其是在精度要求比較高的時候。隨著測量條件、環境、被測物表面特性等改變，尤其是在一些強光或溫度的干擾下，機器視覺的應用會受到很大的限制。然而，這種測量環境的普適性很難通過一種標準化的的方法實現解決。
演算法上的可靠性也會對機器視覺的廣泛應用產生影響。目前，針對於不對場景下的機器視覺應用，各類演算法層出不窮，其精度和應用範圍也存在差異。不同演算法之間的差異，不僅會得到不同的測量結果，而且整合於一個系統之內的難度也會加大。
同時，機器視覺與生產系統一體化也是一個需要考慮的方面[15]。由於產品位置對於測量精度和可靠性都具有一定的影響，因此，在生產設備中嵌入機器視覺系統是最為適合的方法。然而，設備機器的再設計和製造會對這種應用產生一定的壁壘，其需要保證產量和應用價值的基礎上才能解決。目前中國的機器視覺市場相較成熟的自動化產品應用水平偏低,市場也遠未飽和，未來還需要更多的研究者和實踐者的關注和參與。
伴隨著製造業的進一步發展以及「中國製造2025」的提出，製造業迎來了新一輪的產業升級，智能製造技術、智能數字化工程成為了製造業發展的重點。作為智能製造領域採集和處理生產信息的關鍵技術，機器視覺表現出了巨大的優勢。一方面，用智能裝備替代人工操作，避免了一切依賴人工而存在的弊端；同時，這極大的拓展了生產環境和生產條件，無需近距離接觸危險的工作環境；最後，隨著機器視覺裝備和演算法的不斷革新和改進，機器視覺系統的準確性和效率會得到進一步的提升。
作者簡介 |
歐陽智(1987—)，男，博士，校聘副教授，研究方向：大數據治理，人工智慧。
肖旭(1994—)，男，碩士研究生，研究方向：機器學習，大數據。
參考文獻|
[1] 胡建軍,汪叔淳.現代智能製造中的關鍵智能技術研究綜述[J].中國機械工程,2000(07):116-123+8.
[2] 曾顥.工業環境下產品二維碼的智能檢測系統[D].蘇州大學,2016:10-12.
[3] 余文勇,石繪.機器視覺自動檢測技術[M].北京:化學工業出版社,2013:94-100.
[4] 王耀貴.圖像高斯平滑濾波分析[J].計算機與信息技術,2008(08):79-81+90.
[5] 劉松濤,殷福亮.基於圖割的圖像分割方法及其新進展[J].自動化學報,2012,38(06):911-922.
[6] Zhang Yao, Wang Yaonan, Zhou Bowen. Intelligent vision inspection robot for visible foreign matter in shaped bottle of liquid medicine[J]. Journal of Chinese and foreign, 2010, 31(5):1058-1063.
[7] Kim Tae Hoon, Lee Kyoung Mu, Lee Sang Uk. Learning Full Pairwise Affinities for Spectral Segmentation.[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012.
[8] Comaneci D, Peter Meer Mean, Shift. A robust approach toward feature space analysis. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002,24(5).
[9] 全燕鳴,黎淑梅,麥青群.基於雙目視覺的工件尺寸在機三維測量[J].光學精密工程, 2013, 21(04): 1054-1061.
[10] 魏振忠,張廣軍,徐園.一種線結構光視覺感測器標定方法[J].機械工程學報,2005(02):210-214.
[11] 吳振彪,王正家.工業機器人(第二版) [M].武漢:華中科技大學出版社,2006:28-32.
[12] 李牧,張曉暉,楊玉峰,焦玲玲,曹向海.顯著目標存在性檢測演算法研究[J].西安理工大學學報, 2015, 31(03): 360-365.
[13] 岳文輝,肖興明,唐果寧.圖像識別技術及其在機械零件無損檢測中的應用[J].中國安全科學學報, 2007(03): 156-161+3.
[14] 王耀南,陳鐵健,賀振東,吳成中.智能製造裝備視覺檢測控制方法綜述[J].控制理論與應用, 2015, 32(03): 273-286.
[15] 顧碩. 機器視覺需要一體化解決方案[J]. 自動化博覽, 2012(11):34-39.
選自 |《大數據時代》雜誌2018年03期
編輯 | 楊有韋
TAG:大數據時代雜誌社 |