智能圖像處理是指一類基于計算機的自適應(yīng)于各種應(yīng)用場合的圖像處理和分析技術(shù)析恢,本身是一個獨立的理論和技術(shù)領(lǐng)域,但同時又是機器視覺中的一項十分重要的技術(shù)支撐秧饮。
具有智能圖像處理功能的機器視覺映挂,相當(dāng)于人們在賦予機器智能的同時為機器按上了眼睛,使機器能夠“看得見”浦楣、“看得準(zhǔn)”袖肥,可替代甚至勝過人眼做測量和判斷,使得機器視覺系統(tǒng)可以實現(xiàn)高分辨率和高速度的控制振劳。而且,機器視覺系統(tǒng)與被檢測對象無接觸油狂,安全可靠历恐。
1.機器視覺技術(shù)
機器視覺的起源可追溯到20世紀(jì)60年代美國學(xué)者L.R.羅伯茲對多面體積木世界的圖像處理研究,70年代麻省理工學(xué)院(MIT)人工智能實驗室“機器視覺”課程的開設(shè)专筷。到80年代弱贼,全球性機器視覺研究熱潮開始興起,出現(xiàn)了一些基于機器視覺的應(yīng)用系統(tǒng)槐骂。90年代以后卓胶,隨著計算機和半導(dǎo)體技術(shù)的飛速發(fā)展,機器視覺的理論和應(yīng)用得到進一步發(fā)展肪躯。
進入21世紀(jì)后鄙划,機器視覺技術(shù)的發(fā)展速度更快,已經(jīng)大規(guī)模地應(yīng)用于多個領(lǐng)域掀舷,如智能制造药锯、智能交通、醫(yī)療衛(wèi)生幅猖、安防監(jiān)控等領(lǐng)域怒随。目前,隨著人工智能浪潮的興起梢翼,機器視覺技術(shù)正處于不斷突破彰你、走向成熟的新階段。
在中國,機器視覺的研究和應(yīng)用開始于20世紀(jì)90年代柿菩。從跟蹤國外品牌產(chǎn)品起步棍鳖,經(jīng)過二十多年的努力,國內(nèi)的機器視覺從無到有碗旅,從弱到強渡处,不僅理論研究進展迅速,而且已經(jīng)出現(xiàn)一些頗具競爭力的公司和產(chǎn)品祟辟。估計隨著國內(nèi)對機器視覺研究医瘫、開發(fā)和推廣的不斷深入,趕上和超越世界水平已不是遙不可及的事情了旧困。
常見機器視覺系統(tǒng)主要可分為兩類醇份,一類是基于計算機的,如工控機或PC吼具,另一類是更加緊湊的嵌入式設(shè)備僚纷。典型的基于工控機的機器視覺系統(tǒng)主要包括:光學(xué)系統(tǒng),攝像機和工控機(包含圖像采集拗盒、圖像處理和分析怖竭、控制/通信)等單元。機器視覺系統(tǒng)對核心的圖像處理要求算法準(zhǔn)確陡蝇、快捷和穩(wěn)定茁螺,同時還要求系統(tǒng)的實現(xiàn)成本低,升級換代方便面塌。
2.智能圖像處理技術(shù)
機器視覺的圖像處理系統(tǒng)對現(xiàn)場的數(shù)字圖像信號按照具體的應(yīng)用要求進行運算和分析烦猾,根據(jù)獲得的處理結(jié)果來控制現(xiàn)場設(shè)備的動作,其常見功能如下:
(1)圖像采集
圖像采集就是從工作現(xiàn)場獲取場景圖像的過程嘱疑,是機器視覺的第一步卤舆,采集工具大多為CCD或CMOS照相機或攝像機。照相機采集的是單幅的圖像仁灶,攝像機可以采集連續(xù)的現(xiàn)場圖像挥肤。就一幅圖像而言,它實際上是三維場景在二維圖像平面上的投影伐种,圖像中某一點的彩色(亮度和色度)是場景中對應(yīng)點彩色的反映些吨。這就是我們可以用采集圖像來替代真實場景的根本依據(jù)所在。
如果相機是模擬信號輸出啡罗,需要將模擬圖像信號數(shù)字化后送給計算機(包括嵌入式系統(tǒng))處理×衷幔現(xiàn)在大部分相機都可直接輸出數(shù)字圖像信號,可以免除模數(shù)轉(zhuǎn)換這一步驟骤视。不僅如此鞍爱,現(xiàn)在相機的數(shù)字輸出接口也是標(biāo)準(zhǔn)化的鹃觉,如USB、VGA睹逃、1394盗扇、HDMI、WiFi沉填、BlueTooth接口等疗隶,可以直接送入計算機進行處理,以免除在圖像輸出和計算機之間加接一塊圖像采集卡的麻煩翼闹。后續(xù)的圖像處理工作往往是由計算機或嵌入式系統(tǒng)以軟件的方式進行斑鼻。
(2)圖像預(yù)處理
對于采集到的數(shù)字化的現(xiàn)場圖像,由于受到設(shè)備和環(huán)境因素的影響猎荠,往往會受到不同程度的干擾坚弱,如噪聲、幾何形變关摇、彩色失調(diào)等荒叶,都會妨礙接下來的處理環(huán)節(jié)。為此何屏,必須對采集圖像進行預(yù)處理钻字。常見的預(yù)處理包括噪聲消除、幾何校正尔产、直方圖均衡等處理施俩。
通常使用時域或頻域濾波的方法來去除圖像中的噪聲;采用幾何變換的辦法來校正圖像的幾何失真;采用直方圖均衡、同態(tài)濾波等方法來減輕圖像的彩色偏離每此。總之截纹,通過這一系列的圖像預(yù)處理技術(shù)形维,對采集圖像進行“加工”,為體機器視覺應(yīng)用提供“更好”贬屹、“更有用”的圖像塞秤。
(3)圖像分割
圖像分割就是按照應(yīng)用要求,把圖像分成各具特征的區(qū)域月锅,從中提取出感興趣目標(biāo)癌炒。在圖像中常見的特征有灰度、彩色迹蛤、紋理民珍、邊緣、角點等盗飒。例如嚷量,對汽車裝配流水線圖像進行分割陋桂,分成背景區(qū)域和工件區(qū)域,提供給后續(xù)處理單元對工件安裝部分的處理蝶溶。
圖像分割多年來一直是圖像處理中的難題嗜历,至今已有種類繁多的分割算法,但是效果往往并不理想抖所。近來梨州,人們利用基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法進行圖像分割,其性能勝過傳統(tǒng)算法田轧。
(4)目標(biāo)識別和分類
在制造或安防等行業(yè)暴匠,機器視覺都離不開對輸入圖像的目標(biāo)進行識別和分類處理,以便在此基礎(chǔ)上完成后續(xù)的判斷和操作涯鲁。識別和分類技術(shù)有很多相同的地方巷查,常常在目標(biāo)識別完成后,目標(biāo)的類別也就明確了用兵。近來的圖像識別技術(shù)正在跨越傳統(tǒng)方法神肖,形成以神經(jīng)網(wǎng)絡(luò)為主流的智能化圖像識別方法,如卷積神經(jīng)網(wǎng)絡(luò)(CNN)晴顷、回歸神經(jīng)網(wǎng)絡(luò)(RNN)等一類性能優(yōu)越的方法排憨。
(5)目標(biāo)定位和測量
在智能制造中,最常見的工作就是對目標(biāo)工件進行安裝狮善,但是在安裝前往往需要先對目標(biāo)進行定位翻粘,安裝后還需對目標(biāo)進行測量。安裝和測量都需要保持較高的精度和速度换募,如毫米級精度(甚至更小)潘羡,毫秒級速度。這種高精度洲稽、高速度的定位和測量坎隶,倚靠通常的機械或人工的方法是難以辦到的。在機器視覺中蚂朽,采用圖像處理的辦法刮吧,對安裝現(xiàn)場圖像進行處理,按照目標(biāo)和圖像之間的復(fù)雜映射關(guān)系進行處理掖蛤,從而快速精準(zhǔn)地完成定位和測量任務(wù)杀捻。
(6)目標(biāo)檢測和跟蹤
圖像處理中的運動目標(biāo)檢測和跟蹤,就是實時檢測攝像機捕獲的場景圖像中是否有運動目標(biāo)蚓庭,并預(yù)測它下一步的運動方向和趨勢致讥,即跟蹤。并及時將這些運動數(shù)據(jù)提交給后續(xù)的分析和控制處理彪置,形成相應(yīng)的控制動作拄踪。圖像采集一般使用單個攝像機蝇恶,如果需要也可以使用兩個攝像機,模仿人的雙目視覺而獲得場景的立體信息惶桐,這樣更加有利于目標(biāo)檢測和跟蹤處理撮弧。
3.機器視覺的應(yīng)用
機器視覺應(yīng)用廣泛,如安防姚糊、制造贿衍、教育、出版婆跋、醫(yī)療冈哮、交通、軍事領(lǐng)域等簇精。在這些機器數(shù)額的應(yīng)用中啃嫂,智能圖像處理都是不可或缺的,這里僅簡要介紹其中幾個方面的應(yīng)用载秀。
(1)智能制造
為了實現(xiàn)中國智能制造2025這一宏偉目標(biāo)吻唐,離不開機器視覺。例如泥贷,在智能圖像處理一直處于領(lǐng)先地位的廣東迅通科技股份有限公司(以下簡稱“迅通科技”)針對這一需求開發(fā)出了機器視覺分析儀平臺武瘟。其中,迅通科技為某知名汽車廠商裝配流水線開發(fā)的車門限位器自動定位洼眶、檢測和識別的系統(tǒng)茴典。該系統(tǒng)通過智能圖像識別方式,自動檢測型號是否正確白庙,定位是否準(zhǔn)確消院,完全代替了人工操作,檢測準(zhǔn)確率達到100%搬设。此前啼染,每個工位需要4個工人用眼睛來檢查、定位16種型號限位器焕梅,員工不僅很容易疲勞,還時常出現(xiàn)差錯卦洽。
(2)教育考試
考試試卷時常發(fā)現(xiàn)因排版或印刷錯誤影響學(xué)生考試贞言,利用智能圖像處理技術(shù),機器自動對印刷后的試卷和原版試卷進行比對阀蒂,發(fā)現(xiàn)不一致之處该窗,會自動提示并報警,完全替代之前只能通過人工對試卷進行校驗蚤霞。
(3)出版印刷
和教育考試類似酗失,專業(yè)出版印刷廠由于印刷的圖書义钉、報紙雜志,以及承接來自企業(yè)產(chǎn)品包裝和宣傳資料的種類多规肴,數(shù)量大捶闸,排版和印刷中經(jīng)常出錯。為此塞姻,需安排不少專業(yè)人員進行校對蚌长,耗費大量的資金和時間。通過利用智能圖像處理技術(shù)進行自動校對尺澜,既提高了校對準(zhǔn)確度绵顷,又縮短了校對時間,降低了印刷成本厅肩,縮短了出版物的交付周期螺蜻。
(4)安防監(jiān)控
這是當(dāng)前備受機器視覺關(guān)注的一個領(lǐng)域。機器視覺打破了傳統(tǒng)視頻監(jiān)控系統(tǒng)的限制禽制,增加了系統(tǒng)的智能剪酵,使得智能視頻分析得以逐步實現(xiàn)。以公共場所的視頻監(jiān)控為例蟆盖,通過運用機器視覺技術(shù)吓挣,可以實現(xiàn)對可疑人物的自動檢測、人臉識別多梦、實時跟蹤奄础,必要時還可以實現(xiàn)多攝像機接連跟蹤,同時發(fā)出告警劳吠,存儲現(xiàn)場信息引润。
(5)智能交通
機器視覺在交通領(lǐng)域有著廣泛的應(yīng)用。例如痒玩,在高速公路上及卡口處淳附,對來往車輛進行車型、牌照等識別蠢古,甚至對行駛車輛的違規(guī)行為進行識別奴曙。在汽車上對駕駛員面部圖像進行分析,判斷駕駛員是否處于疲勞駕駛狀態(tài)草讶。再如洽糟,無人駕駛汽車借助于機器視覺技術(shù),使用攝像頭堕战、激光/毫米波/超聲波雷達坤溃、GPS等感知道路環(huán)境信息,自動規(guī)劃和控制車輛的安全行駛嘱丢。
有數(shù)據(jù)顯示薪介,2016年全球機器視覺系統(tǒng)的市場規(guī)模約46億美元祠饺,2017年約50億美元,預(yù)計2018年達到55億美元草教,年增長率為10%左右络峦。中國機器視覺市場的增長是從2010年開始的,2017年市場規(guī)模約68億元剪莲,預(yù)計到2020年或達780億元谬咽,市場增長率將超過100%。
4.技術(shù)瓶頸及今后的發(fā)展
在機器視覺的智能圖像處理技術(shù)的發(fā)展中众新,還存在不少技術(shù)瓶頸麸癌,如:
1)穩(wěn)定性:某種處理方法往往在研究和開發(fā)中表現(xiàn)良好,但在復(fù)雜多變的應(yīng)用環(huán)境中弄袜,卻不時地出現(xiàn)問題性躬。例如人臉識別系統(tǒng),在目標(biāo)配合時識別率可高達95%以上女溺,但在實際監(jiān)控環(huán)境下俱挨,識別率就會大大下降。
2)實時性:如果圖像的采集速度敛竭、處理速度較慢漓拾,再加上新近引入的深度學(xué)習(xí)類算法,加大了系統(tǒng)實時處理的難度戒祠,跟不上機器運行和控制的節(jié)奏骇两。
3)準(zhǔn)確性:機器視覺系統(tǒng)要求圖像識別和測量的準(zhǔn)確性接近100%,任何微小的誤差都有可能帶來不可預(yù)測的后果姜盈。例如目標(biāo)定位的誤差會使裝配出來的設(shè)備不符合要求低千。
4)系統(tǒng)能力:目前的嵌入式圖像處理系統(tǒng),存在芯片的計算能力不足馏颂,存儲空間有限等問題示血,常常不能滿足運算量較大的圖像處理運算,如神經(jīng)網(wǎng)絡(luò)的迭代運算救拉,大規(guī)模矩陣運算等难审。
今后機器視覺中智能圖像處理的發(fā)展主要體現(xiàn)在以下幾個方面:
1)算法:傳統(tǒng)算法繼續(xù)不斷有所突破,新一波人工智能浪潮帶來不少新的性能優(yōu)良的圖像處理算法亿絮,如深度學(xué)習(xí)(DL)剔宪,卷積神經(jīng)網(wǎng)絡(luò)(CNN),生成對抗網(wǎng)絡(luò)(GAN)壹无,等等。
2)實時性:出現(xiàn)更多結(jié)構(gòu)新穎实射、資源充足启中、運算快速的硬件平臺支撐庭训,例如基于多CPU、多GPU的并行處理結(jié)構(gòu)的計算機疯食,海量存儲單元等恰日。
3)嵌入式:新的高速的信號處理器陣列,超大規(guī)模FPGA芯片梅明。
4)融合處理:從單圖像傳感器發(fā)展到多傳感器(多視點)的融合處理姐淫,可更加充分地獲取現(xiàn)場信息。還可融合多類傳感器乳环,如圖像傳感器匠泵、聲音傳感器、溫度傳感器等共同完對現(xiàn)場目標(biāo)定位倘回、識別和測量了酌。
總之,無論是“中國制造2025”還是“工業(yè)4.0”都離不開人工智能音瓷,離不開計算機視覺对嚼,而智能圖像處理是機器視覺的核心技術(shù),隨著圖像處理水平的不斷提高绳慎,一定會有力地推動機器視覺的迅速發(fā)展纵竖。