智能圖像處理是指一類基于計(jì)算機(jī)的自適應(yīng)于各種應(yīng)用場(chǎng)合的圖像處理和分析技術(shù)碟嘴,本身是一個(gè)獨(dú)立的理論和技術(shù)領(lǐng)域,但同時(shí)又是機(jī)器視覺(jué)中的一項(xiàng)十分重要的技術(shù)支撐囊卜。人工智能娜扇、機(jī)器視覺(jué)和智能圖像處理技術(shù)之間的關(guān)系如圖1所示。
圖1智能圖像處理的支撐作用
具有智能圖像處理功能的機(jī)器視覺(jué)栅组,相當(dāng)于人們?cè)谫x予機(jī)器智能的同時(shí)為機(jī)器按上了眼睛雀瓢,使機(jī)器能夠“看得見”、“看得準(zhǔn)”玉掸,可替代甚至勝過(guò)人眼做測(cè)量和判斷致燥,使得機(jī)器視覺(jué)系統(tǒng)可以實(shí)現(xiàn)高分辨率和高速度的控制。而且排截,機(jī)器視覺(jué)系統(tǒng)與被檢測(cè)對(duì)象無(wú)接觸嫌蚤,安全可靠。
1. 機(jī)器視覺(jué)技術(shù)
機(jī)器視覺(jué)的起源可追溯到20世紀(jì)60年代美國(guó)學(xué)者L.R.羅伯茲對(duì)多面體積木世界的圖像處理研究断傲,70年代麻省理工學(xué)院(MIT)人工智能實(shí)驗(yàn)室“機(jī)器視覺(jué)”課程的開設(shè)脱吱。到80年代,全球性機(jī)器視覺(jué)研究熱潮開始興起层筹,出現(xiàn)了一些基于機(jī)器視覺(jué)的應(yīng)用系統(tǒng)苦频。90年代以后,隨著計(jì)算機(jī)和半導(dǎo)體技術(shù)的飛速發(fā)展风踪,機(jī)器視覺(jué)的理論和應(yīng)用得到進(jìn)一步發(fā)展梧杠。
進(jìn)入21世紀(jì)后,機(jī)器視覺(jué)技術(shù)的發(fā)展速度更快,已經(jīng)大規(guī)模地應(yīng)用于多個(gè)領(lǐng)域啤都,如智能制造砰穗、智能交通、醫(yī)療衛(wèi)生溃锤、安防監(jiān)控等領(lǐng)域渣么。目前,隨著人工智能浪潮的興起灿拗,機(jī)器視覺(jué)技術(shù)正處于不斷突破蛋鸡、走向成熟的新階段。
在中國(guó)侍上,機(jī)器視覺(jué)的研究和應(yīng)用開始于20世紀(jì)90年代弓候。從跟蹤國(guó)外品牌產(chǎn)品起步,經(jīng)過(guò)二十多年的努力他匪,國(guó)內(nèi)的機(jī)器視覺(jué)從無(wú)到有菇存,從弱到強(qiáng),不僅理論研究進(jìn)展迅速诚纸,而且已經(jīng)出現(xiàn)一些頗具競(jìng)爭(zhēng)力的公司和產(chǎn)品。估計(jì)隨著國(guó)內(nèi)對(duì)機(jī)器視覺(jué)研究陈惰、開發(fā)和推廣的不斷深入畦徘,趕上和超越世界水平已不是遙不可及的事情了。
常見機(jī)器視覺(jué)系統(tǒng)主要可分為兩類抬闯,一類是基于計(jì)算機(jī)的井辆,如工控機(jī)或PC,另一類是更加緊湊的嵌入式設(shè)備溶握。典型的基于工控機(jī)的機(jī)器視覺(jué)系統(tǒng)主要包括:光學(xué)系統(tǒng)杯缺,攝像機(jī)和工控機(jī)(包含圖像采集、圖像處理和分析睡榆、控制/通信)等單元萍肆,如圖2所示。機(jī)器視覺(jué)系統(tǒng)對(duì)核心的圖像處理要求算法準(zhǔn)確栽铁、快捷和穩(wěn)定笆犀,同時(shí)還要求系統(tǒng)的實(shí)現(xiàn)成本低,升級(jí)換代方便判原。
圖2機(jī)器視覺(jué)系統(tǒng)案例
2. 智能圖像處理技術(shù)
機(jī)器視覺(jué)的圖像處理系統(tǒng)對(duì)現(xiàn)場(chǎng)的數(shù)字圖像信號(hào)按照具體的應(yīng)用要求進(jìn)行運(yùn)算和分析锉纹,根據(jù)獲得的處理結(jié)果來(lái)控制現(xiàn)場(chǎng)設(shè)備的動(dòng)作,其常見功能如下:
〗裉臁(1)圖像采集
圖像采集就是從工作現(xiàn)場(chǎng)獲取場(chǎng)景圖像的過(guò)程残宽,是機(jī)器視覺(jué)的第一步,采集工具大多為CCD或CMOS照相機(jī)或攝像機(jī)置悦。照相機(jī)采集的是單幅的圖像父吧,攝像機(jī)可以采集連續(xù)的現(xiàn)場(chǎng)圖像隧蜀。就一幅圖像而言,它實(shí)際上是三維場(chǎng)景在二維圖像平面上的投影棘魏,圖像中某一點(diǎn)的彩色(亮度和色度)是場(chǎng)景中對(duì)應(yīng)點(diǎn)彩色的反映短材。這就是我們可以用采集圖像來(lái)替代真實(shí)場(chǎng)景的根本依據(jù)所在。
如果相機(jī)是模擬信號(hào)輸出烹豫,需要將模擬圖像信號(hào)數(shù)字化后送給計(jì)算機(jī)(包括嵌入式系統(tǒng))處理〈疃溃現(xiàn)在大部分相機(jī)都可直接輸出數(shù)字圖像信號(hào),可以免除模數(shù)轉(zhuǎn)換這一步驟廊镜。不僅如此牙肝,現(xiàn)在相機(jī)的數(shù)字輸出接口也是標(biāo)準(zhǔn)化的,如USB嗤朴、VGA配椭、1394、HDMI雹姊、WiFi股缸、Blue Tooth接口等,可以直接送入計(jì)算機(jī)進(jìn)行處理吱雏,以免除在圖像輸出和計(jì)算機(jī)之間加接一塊圖像采集卡的麻煩敦姻。后續(xù)的圖像處理工作往往是由計(jì)算機(jī)或嵌入式系統(tǒng)以軟件的方式進(jìn)行。
∑缧印(2)圖像預(yù)處理
對(duì)于采集到的數(shù)字化的現(xiàn)場(chǎng)圖像镰惦,由于受到設(shè)備和環(huán)境因素的影響,往往會(huì)受到不同程度的干擾犬绒,如噪聲娩伴、幾何形變、彩色失調(diào)等等吝,都會(huì)妨礙接下來(lái)的處理環(huán)節(jié)靠牙。為此,必須對(duì)采集圖像進(jìn)行預(yù)處理泽中。常見的預(yù)處理包括噪聲消除屋赌、幾何校正、直方圖均衡等處理炮惕。
通常使用時(shí)域或頻域?yàn)V波的方法來(lái)去除圖像中的噪聲瓜坎;采用幾何變換的辦法來(lái)校正圖像的幾何失真;采用直方圖均衡射贡、同態(tài)濾波等方法來(lái)減輕圖像的彩色偏離瞪歹。總之,通過(guò)這一系列的圖像預(yù)處理技術(shù)蛇热,對(duì)采集圖像進(jìn)行“加工”梗爸,為體機(jī)器視覺(jué)應(yīng)用提供“更好”、“更有用”的圖像讹蘑。
∧┛(3)圖像分割
圖像分割就是按照應(yīng)用要求,把圖像分成各具特征的區(qū)域座慰,從中提取出感興趣目標(biāo)陨舱。在圖像中常見的特征有灰度、彩色版仔、紋理游盲、邊緣、角點(diǎn)等蛮粮。例如益缎,對(duì)汽車裝配流水線圖像進(jìn)行分割,分成背景區(qū)域和工件區(qū)域然想,提供給后續(xù)處理單元對(duì)工件安裝部分的處理莺奔。
圖像分割多年來(lái)一直是圖像處理中的難題,至今已有種類繁多的分割算法变泄,但是效果往往并不理想令哟。近來(lái),人們利用基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法進(jìn)行圖像分割巷科,其性能勝過(guò)傳統(tǒng)算法冠八。
⊙÷(4)目標(biāo)識(shí)別和分類
在制造或安防等行業(yè)底靴,機(jī)器視覺(jué)都離不開對(duì)輸入圖像的目標(biāo)進(jìn)行識(shí)別和分類處理,以便在此基礎(chǔ)上完成后續(xù)的判斷和操作失傍。識(shí)別和分類技術(shù)有很多相同的地方贝崎,常常在目標(biāo)識(shí)別完成后,目標(biāo)的類別也就明確了民沈。近來(lái)的圖像識(shí)別技術(shù)正在跨越傳統(tǒng)方法还凸,形成以神經(jīng)網(wǎng)絡(luò)為主流的智能化圖像識(shí)別方法,如卷積神經(jīng)網(wǎng)絡(luò)(CNN)浸速、回歸神經(jīng)網(wǎng)絡(luò)(RNN)等一類性能優(yōu)越的方法童盏。
(5)目標(biāo)定位和測(cè)量
在智能制造中就灸,最常見的工作就是對(duì)目標(biāo)工件進(jìn)行安裝呛疫,但是在安裝前往往需要先對(duì)目標(biāo)進(jìn)行定位,安裝后還需對(duì)目標(biāo)進(jìn)行測(cè)量。安裝和測(cè)量都需要保持較高的精度和速度甫恩,如毫米級(jí)精度(甚至更心婕谩),毫秒級(jí)速度磺箕。這種高精度奖慌、高速度的定位和測(cè)量,倚靠通常的機(jī)械或人工的方法是難以辦到的松靡。在機(jī)器視覺(jué)中简僧,采用圖像處理的辦法,對(duì)安裝現(xiàn)場(chǎng)圖像進(jìn)行處理击困,按照目標(biāo)和圖像之間的復(fù)雜映射關(guān)系進(jìn)行處理涎劈,從而快速精準(zhǔn)地完成定位和測(cè)量任務(wù)。
≡牟琛(6)目標(biāo)檢測(cè)和跟蹤
圖像處理中的運(yùn)動(dòng)目標(biāo)檢測(cè)和跟蹤蛛枚,就是實(shí)時(shí)檢測(cè)攝像機(jī)捕獲的場(chǎng)景圖像中是否有運(yùn)動(dòng)目標(biāo),并預(yù)測(cè)它下一步的運(yùn)動(dòng)方向和趨勢(shì)脸哀,即跟蹤蹦浦。并及時(shí)將這些運(yùn)動(dòng)數(shù)據(jù)提交給后續(xù)的分析和控制處理,形成相應(yīng)的控制動(dòng)作摧垄。圖像采集一般使用單個(gè)攝像機(jī)跃恍,如果需要也可以使用兩個(gè)攝像機(jī),模仿人的雙目視覺(jué)而獲得場(chǎng)景的立體信息匕蚁,這樣更加有利于目標(biāo)檢測(cè)和跟蹤處理态置。
3. 機(jī)器視覺(jué)的應(yīng)用
如圖3所示,機(jī)器視覺(jué)應(yīng)用廣泛渊唁,如安防垄获、制造、教育仆玖、出版彻虾、醫(yī)療、交通歪低、軍事領(lǐng)域等溅宅。在這些機(jī)器數(shù)額的應(yīng)用中,智能圖像處理都是不可或缺的盔曼,這里僅簡(jiǎn)要介紹其中幾個(gè)方面的應(yīng)用搪书。
圖3常見機(jī)器視覺(jué)應(yīng)用場(chǎng)合
(1)智能制造
為了實(shí)現(xiàn)中國(guó)智能制造2025這一宏偉目標(biāo)吴侦,離不開機(jī)器視覺(jué)屋休。例如惶我,在智能圖像處理一直處于領(lǐng)先地位的廣東迅通科技股份有限公司(以下簡(jiǎn)稱“迅通科技”)針對(duì)這一需求開發(fā)出了機(jī)器視覺(jué)分析儀平臺(tái),見圖4博投。其中绸贡,迅通科技為某知名汽車廠商裝配流水線開發(fā)的車門限位器自動(dòng)定位、檢測(cè)和識(shí)別的系統(tǒng)毅哗,見圖5听怕。該系統(tǒng)通過(guò)智能圖像識(shí)別方式,自動(dòng)檢測(cè)型號(hào)是否正確虑绵,定位是否準(zhǔn)確尿瞭,完全代替了人工操作,檢測(cè)準(zhǔn)確率達(dá)到100%翅睛。此前声搁,每個(gè)工位需要4個(gè)工人用眼睛來(lái)檢查、定位16種型號(hào)限位器捕发,員工不僅很容易疲勞尤吟,還時(shí)常出現(xiàn)差錯(cuò)。
∷⒄(2)教育考試
考試試卷時(shí)常發(fā)現(xiàn)因排版或印刷錯(cuò)誤影響學(xué)生考試翁骗,利用智能圖像處理技術(shù),機(jī)器自動(dòng)對(duì)印刷后的試卷和原版試卷進(jìn)行比對(duì)铭懂,發(fā)現(xiàn)不一致之處引笛,會(huì)自動(dòng)提示并報(bào)警,完全替代之前只能通過(guò)人工對(duì)試卷進(jìn)行校驗(yàn)肉诚。
【霰稀(3)出版印刷
和教育考試類似,專業(yè)出版印刷廠由于印刷的圖書痊撤、報(bào)紙雜志留满,以及承接來(lái)自企業(yè)產(chǎn)品包裝和宣傳資料的種類多,數(shù)量大袱蔓,排版和印刷中經(jīng)常出錯(cuò)竣伍。為此观复,需安排不少專業(yè)人員進(jìn)行校對(duì)偏序,耗費(fèi)大量的資金和時(shí)間。通過(guò)利用智能圖像處理技術(shù)進(jìn)行自動(dòng)校對(duì)胖替,既提高了校對(duì)準(zhǔn)確度研儒,又縮短了校對(duì)時(shí)間,降低了印刷成本独令,縮短了出版物的交付周期端朵。
『冒拧(4)安防監(jiān)控
這是當(dāng)前備受機(jī)器視覺(jué)關(guān)注的一個(gè)領(lǐng)域。機(jī)器視覺(jué)打破了傳統(tǒng)視頻監(jiān)控系統(tǒng)的限制冲呢,增加了系統(tǒng)的智能舍败,使得智能視頻分析得以逐步實(shí)現(xiàn)。以公共場(chǎng)所的視頻監(jiān)控為例敬拓,通過(guò)運(yùn)用機(jī)器視覺(jué)技術(shù)邻薯,可以實(shí)現(xiàn)對(duì)可疑人物的自動(dòng)檢測(cè)、人臉識(shí)別乘凸、實(shí)時(shí)跟蹤厕诡,必要時(shí)還可以實(shí)現(xiàn)多攝像機(jī)接連跟蹤,同時(shí)發(fā)出告警营勤,存儲(chǔ)現(xiàn)場(chǎng)信息倘封。
(5)智能交通
機(jī)器視覺(jué)在交通領(lǐng)域有著廣泛的應(yīng)用模鹿。例如帚萧,在高速公路上及卡口處,對(duì)來(lái)往車輛進(jìn)行車型挚雾、牌照等識(shí)別秆刑,甚至對(duì)行駛車輛的違規(guī)行為進(jìn)行識(shí)別。在汽車上對(duì)駕駛員面部圖像進(jìn)行分析虏斤,判斷駕駛員是否處于疲勞駕駛狀態(tài)唧谊。再如,無(wú)人駕駛汽車借助于機(jī)器視覺(jué)技術(shù)脊距,使用攝像頭露惑、激光/毫米波/超聲波雷達(dá)、GPS等感知道路環(huán)境信息种诫,自動(dòng)規(guī)劃和控制車輛的安全行駛钢老。
有數(shù)據(jù)顯示,2016年全球機(jī)器視覺(jué)系統(tǒng)的市場(chǎng)規(guī)模約46億美元烫饼, 2017年約50億美元猎塞,預(yù)計(jì)2018年達(dá)到55億美元,年增長(zhǎng)率為10%左右杠纵。中國(guó)機(jī)器視覺(jué)市場(chǎng)的增長(zhǎng)是從2010年開始的荠耽,2017年市場(chǎng)規(guī)模約68億元,預(yù)計(jì)到2020年或達(dá)780億元比藻,市場(chǎng)增長(zhǎng)率將超過(guò)100%铝量。
4. 技術(shù)瓶頸及今后的發(fā)展
在機(jī)器視覺(jué)的智能圖像處理技術(shù)的發(fā)展中,還存在不少技術(shù)瓶頸银亲,如:
1)穩(wěn)定性:某種處理方法往往在研究和開發(fā)中表現(xiàn)良好慢叨,但在復(fù)雜多變的應(yīng)用環(huán)境中纽匙,卻不時(shí)地出現(xiàn)問(wèn)題。例如人臉識(shí)別系統(tǒng)拍谐,在目標(biāo)配合時(shí)識(shí)別率可高達(dá)95%以上烛缔,但在實(shí)際監(jiān)控環(huán)境下,識(shí)別率就會(huì)大大下降轩拨。
2)實(shí)時(shí)性:如果圖像的采集速度力穗、處理速度較慢,再加上新近引入的深度學(xué)習(xí)類算法次翩,加大了系統(tǒng)實(shí)時(shí)處理的難度褪鸳,跟不上機(jī)器運(yùn)行和控制的節(jié)奏。
3)準(zhǔn)確性:機(jī)器視覺(jué)系統(tǒng)要求圖像識(shí)別和測(cè)量的準(zhǔn)確性接近100%鹿吴,任何微小的誤差都有可能帶來(lái)不可預(yù)測(cè)的后果揣响。例如目標(biāo)定位的誤差會(huì)使裝配出來(lái)的設(shè)備不符合要求。
4)系統(tǒng)能力:目前的嵌入式圖像處理系統(tǒng)干策,存在芯片的計(jì)算能力不足儿猪,存儲(chǔ)空間有限等問(wèn)題,常常不能滿足運(yùn)算量較大的圖像處理運(yùn)算彩淮,如神經(jīng)網(wǎng)絡(luò)的迭代運(yùn)算相梳,大規(guī)模矩陣運(yùn)算等。
今后機(jī)器視覺(jué)中智能圖像處理的發(fā)展主要體現(xiàn)在以下幾個(gè)方面:
1)算法:傳統(tǒng)算法繼續(xù)不斷有所突破懊潜,新一波人工智能浪潮帶來(lái)不少新的性能優(yōu)良的圖像處理算法奢惋,如深度學(xué)習(xí)(DL),卷積神經(jīng)網(wǎng)絡(luò)(CNN)乔蜀,生成對(duì)抗網(wǎng)絡(luò)(GAN)啸盲,等等。
2)實(shí)時(shí)性:出現(xiàn)更多結(jié)構(gòu)新穎咱士、資源充足立由、運(yùn)算快速的硬件平臺(tái)支撐,例如基于多CPU序厉、多GPU的并行處理結(jié)構(gòu)的計(jì)算機(jī)锐膜,海量存儲(chǔ)單元等。
3)嵌入式:新的高速的信號(hào)處理器陣列弛房,超大規(guī)模FPGA芯片道盏。
4)融合處理:從單圖像傳感器發(fā)展到多傳感器(多視點(diǎn))的融合處理,可更加充分地獲取現(xiàn)場(chǎng)信息庭再。還可融合多類傳感器捞奕,如圖像傳感器牺堰、聲音傳感器拄轻、溫度傳感器等共同完對(duì)現(xiàn)場(chǎng)目標(biāo)定位颅围、識(shí)別和測(cè)量。
總之恨搓,無(wú)論是“中國(guó)制造2025”還是“工業(yè)4.0”都離不開人工智能院促,離不開計(jì)算機(jī)視覺(jué),而智能圖像處理是機(jī)器視覺(jué)的核心技術(shù)雳犹,隨著圖像處理水平的不斷提高满傍,一定會(huì)有力地推動(dòng)機(jī)器視覺(jué)的迅速發(fā)展。