機(ji)器視(shi)覺（Machine Vision）是人工智能領域(yu)中發展迅速的一個重要分支(zhi)，目前正處于不斷突破、走向成熟的階段。

       一般認(ren)為機器(qi)視覺(jue)“是(shi)通過(guo)(guo)光(guang)學裝置(zhi)和(he)非接(jie)(jie)觸傳(chuan)感器(qi)自動(dong)地接(jie)(jie)受(shou)和(he)處理一個真實場景(jing)的(de)(de)圖像(xiang)(xiang)，通過(guo)(guo)分(fen)析圖像(xiang)(xiang)獲得所需信息(xi)或用于控(kong)制機器(qi)運動(dong)的(de)(de)裝置(zhi)”，即可(ke)以理解為是(shi)通過(guo)(guo)工(gong)業相機等圖像(xiang)(xiang)傳(chuan)感器(qi)采(cai)集圖像(xiang)(xiang)信息(xi)，通過(guo)(guo)分(fen)析處理轉化(hua)的(de)(de)圖像(xiang)(xiang)信息(xi)繼(ji)而控(kong)制后(hou)續的(de)(de)自動(dong)化(hua)設備的(de)(de)流程動(dong)作。

       可(ke)以看(kan)出(chu)智能圖像處理技術在(zai)機器視覺(jue)中占有(you)舉足輕重的位置。

       那么機(ji)器視覺與圖(tu)像處理技(ji)術(shu)之間的關(guan)系和聯系是什么呢？圖(tu)像處理技(ji)術(shu)在機(ji)器視覺中有(you)哪(na)些應用(yong)呢？

01

圖像處理技術的應用

       機器(qi)視(shi)覺(jue)的(de)(de)圖像處(chu)理系統對現場的(de)(de)數字(zi)圖像信(xin)號按照具體(ti)的(de)(de)應用(yong)要(yao)求進行運算和分析，根據獲得的(de)(de)處(chu)理結(jie)果(guo)來控制現場設備的(de)(de)動(dong)作，其常見應用(yong)如下：

（1）圖像采集

       圖像采集就是從工作現(xian)場獲取場景圖像的(de)過程，是機(ji)器視(shi)覺的(de)第一步，采集工具大多為CCD或CMOS照相機(ji)或攝像機(ji)。

       照相機采(cai)(cai)集(ji)的(de)(de)(de)(de)是(shi)單幅(fu)的(de)(de)(de)(de)圖(tu)像，攝像機可(ke)以采(cai)(cai)集(ji)連續(xu)的(de)(de)(de)(de)現場圖(tu)像。就一(yi)(yi)幅(fu)圖(tu)像而言，它實際上是(shi)三維場景(jing)在二維圖(tu)像平面上的(de)(de)(de)(de)投影，圖(tu)像中某一(yi)(yi)點的(de)(de)(de)(de)彩(cai)色（亮度(du)和(he)色度(du)）是(shi)場景(jing)中對應點彩(cai)色的(de)(de)(de)(de)反映(ying)。這就是(shi)我們(men)可(ke)以用采(cai)(cai)集(ji)圖(tu)像來(lai)替代真實場景(jing)的(de)(de)(de)(de)根本依據所在。

        如果相機是模擬信號輸出，需要將模擬圖像信號數字化后送給計算機（包括嵌入式系統）處理。現在大部分相機都可直接輸出數字圖像信號，可以免除模數轉換這一步驟。不僅如此，現在相機的數字輸出接口也是標準化的，如USB、VGA、1394、HDMI、WiFi、Blue Tooth接口等，可以直接送入計算機進行處理，以免除在圖像輸出和計算機之間加接一塊圖像采集卡的麻煩。后續的圖像處理工作往往是由計算機或嵌入式系統以軟件的方式進行。

（2）圖像預處理

       對于(yu)采集(ji)到的(de)數字化的(de)現(xian)場圖(tu)像，由于(yu)受到設備和環境因(yin)素的(de)影響，往往會(hui)受到不同程(cheng)度的(de)干(gan)擾，如噪聲、幾何(he)形(xing)變、彩色失調等，都(dou)會(hui)妨礙接下來(lai)的(de)處(chu)理(li)(li)(li)環節(jie)。為此，必須對采集(ji)圖(tu)像進行(xing)預處(chu)理(li)(li)(li)。常見的(de)預處(chu)理(li)(li)(li)包(bao)括噪聲消除、幾何(he)校正、直方圖(tu)均衡等處(chu)理(li)(li)(li)。

      通常使用(yong)時域(yu)或頻域(yu)濾(lv)波的(de)(de)(de)方法來去(qu)除(chu)圖(tu)像(xiang)中的(de)(de)(de)噪聲(sheng)；采用(yong)幾(ji)何(he)變換的(de)(de)(de)辦法來校(xiao)正圖(tu)像(xiang)的(de)(de)(de)幾(ji)何(he)失真；采用(yong)直(zhi)方圖(tu)均衡、同態濾(lv)波等方法來減輕圖(tu)像(xiang)的(de)(de)(de)彩色(se)偏離。

      總之，通過這一系列的圖像預處理技術，對采集圖像進行“加工”，為體機器視覺應用提供“更好”、“更有用”的圖像。

（3）圖像分割

       圖(tu)像(xiang)分割就是按照應(ying)用要求，把圖(tu)像(xiang)分成各具(ju)特征的區域，從中提取出感興趣(qu)目標(biao)。在(zai)圖(tu)像(xiang)中常(chang)見(jian)的特征有(you)灰度、彩(cai)色、紋理(li)、邊(bian)緣(yuan)、角(jiao)點等(deng)。例(li)如，對汽車裝(zhuang)(zhuang)配流水線圖(tu)像(xiang)進行分割，分成背景區域和工件區域，提供給后續處(chu)理(li)單元對工件安裝(zhuang)(zhuang)部(bu)分的處(chu)理(li)。

       圖像分(fen)(fen)割(ge)多年(nian)來一直是(shi)圖像處理中的(de)難(nan)題，至今(jin)已有種類繁(fan)多的(de)分(fen)(fen)割(ge)算法，但是(shi)效果往往并不理想。近來，人們利用基于神經網絡的(de)深度(du)學習(xi)方法進行圖像分(fen)(fen)割(ge)，其性能勝過(guo)傳統(tong)算法。

（4）目標識別和分類

       在制造或安防等(deng)(deng)行業，機器視(shi)覺都離不開對輸入圖(tu)(tu)像(xiang)的(de)目(mu)標進行識(shi)別(bie)和(he)分(fen)類(lei)(lei)處(chu)理，以(yi)便在此基礎上完成(cheng)后續的(de)判斷和(he)操(cao)作。識(shi)別(bie)和(he)分(fen)類(lei)(lei)技(ji)術有(you)很多相同的(de)地(di)方(fang)，常常在目(mu)標識(shi)別(bie)完成(cheng)后，目(mu)標的(de)類(lei)(lei)別(bie)也(ye)就(jiu)明確了。近來的(de)圖(tu)(tu)像(xiang)識(shi)別(bie)技(ji)術正在跨越傳統方(fang)法(fa)(fa)，形成(cheng)以(yi)神經(jing)網(wang)(wang)絡為主流的(de)智能化圖(tu)(tu)像(xiang)識(shi)別(bie)方(fang)法(fa)(fa)，如(ru)卷積神經(jing)網(wang)(wang)絡（CNN）、回歸(gui)神經(jing)網(wang)(wang)絡（RNN）等(deng)(deng)一(yi)類(lei)(lei)性能優越的(de)方(fang)法(fa)(fa)。

（5）目標定位和測量

   ;    在智能制造中(zhong)，最常見的工(gong)作就(jiu)是對目(mu)標工(gong)件(jian)進(jin)行安裝(zhuang)(zhuang)，但是在安裝(zhuang)(zhuang)前(qian)往(wang)往(wang)需(xu)要先對目(mu)標進(jin)行定(ding)位，安裝(zhuang)(zhuang)后還需(xu)對目(mu)標進(jin)行測(ce)量(liang)。安裝(zhuang)(zhuang)和測(ce)量(liang)都需(xu)要保持(chi)較高的精度(du)和速度(du)，如毫米級精度(du)（甚至更小(xiao)），毫秒級速度(du)。

       這(zhe)種高精度、高速(su)度的(de)定位和測量，倚(yi)靠通常的(de)機械或人工的(de)方(fang)法是(shi)難以辦(ban)到的(de)。在機器視覺中，采用(yong)圖(tu)像(xiang)(xiang)處理的(de)辦(ban)法，對(dui)安(an)裝(zhuang)現場圖(tu)像(xiang)(xiang)進行處理，按照目標和圖(tu)像(xiang)(xiang)之間的(de)復(fu)雜映射關系進行處理，從而快速(su)精準(zhun)地完(wan)成(cheng)定位和測量任務。

（6）目標檢測和跟蹤

       圖(tu)像(xiang)處(chu)理(li)中的運動(dong)(dong)目(mu)(mu)標檢測和跟(gen)蹤(zong)(zong)(zong)，就是(shi)實時檢測攝(she)像(xiang)機捕獲的場景圖(tu)像(xiang)中是(shi)否有運動(dong)(dong)目(mu)(mu)標，并預測它下一(yi)步的運動(dong)(dong)方向和趨勢，即跟(gen)蹤(zong)(zong)(zong)。并及(ji)時將這些運動(dong)(dong)數據提交給后續的分(fen)析和控制處(chu)理(li)，形(xing)成相應(ying)的控制動(dong)(dong)作。圖(tu)像(xiang)采集一(yi)般使用單個攝(she)像(xiang)機，如果需要也(ye)可(ke)以(yi)使用兩個攝(she)像(xiang)機，模仿人的雙目(mu)(mu)視覺而獲得(de)場景的立體信(xin)息，這樣更加有利于(yu)目(mu)(mu)標檢測和跟(gen)蹤(zong)(zong)(zong)處(chu)理(li)。

02 面臨的挑戰

        在(zai)(zai)機器視覺的(de)圖像處理(li)技術的(de)發展中(zhong)，還存在(zai)(zai)不少技術瓶頸(jing)，如：某種處理(li)方法往(wang)(wang)往(wang)(wang)在(zai)(zai)研究(jiu)和開(kai)發中(zhong)表現良好，但(dan)在(zai)(zai)復雜多(duo)變的(de)應用環境中(zhong)，卻不時(shi)地出現問題(ti)。例如人臉識(shi)別(bie)系統，在(zai)(zai)目(mu)標配合時(shi)識(shi)別(bie)率(lv)可高(gao)達95%以上，但(dan)在(zai)(zai)實際監控(kong)環境下，識(shi)別(bie)率(lv)就會(hui)大大下降。

        機(ji)器視覺(jue)系(xi)統(tong)要(yao)求圖(tu)像識別和測量(liang)的(de)(de)準(zhun)確(que)性接近100%，任(ren)何微小的(de)(de)誤(wu)差都(dou)有可能帶來(lai)不(bu)可預測的(de)(de)后果。例如目標(biao)定位(wei)的(de)(de)誤(wu)差會使裝配出來(lai)的(de)(de)設備不(bu)符合要(yao)求。

        視覺檢測設備的(de)(de)實時檢測效(xiao)率快，圖像(xiang)采集數據量大，如(ru)果圖像(xiang)的(de)(de)采集速度(du)、處(chu)理速度(du)較慢(man)，再加上新近引入的(de)(de)深度(du)學習類算法，加大了系(xi)統實時處(chu)理的(de)(de)難度(du)，跟不上機器運行和控制的(de)(de)節(jie)奏，所以提(ti)高圖像(xiang)處(chu)理速度(du)非常重要。

03 提(ti)高圖像處(chu)理速度的主要方法(fa)

        目前(qian)提高圖像(xiang)處(chu)理(li)速度主要有兩種方法：一(yi)是改進(jin)和(he)優(you)化圖像(xiang)處(chu)理(li)算法。該算法應簡單、快(kuai)速，并考慮到實際效果；二是改進(jin)和(he)優(you)化實現(xian)算法的手段。

那(nei)么(me)，機器視(shi)覺檢測設備可以通(tong)過哪些方式來提高檢測速度？

1、專用集成電路(ASIC)

       ASIC是(shi)針對于某一固定算(suan)法或應(ying)用而專門(men)設計(ji)的硬件芯(xin)片(pian)，有(you)很(hen)強的實(shi)時性(xing)。但在實(shi)際應(ying)用中存在開(kai)發周期相對較長、成(cheng)本高、適(shi)應(ying)性(xing)和靈活性(xing)差等缺點。

2、現場可編程門陣列(FPGA)

       FPGA由多個可編程的(de)(de)基本邏輯單(dan)元(yuan)(yuan)組(zu)成(cheng)的(de)(de)一個2維(wei)矩陣，邏輯單(dan)元(yuan)(yuan)之間(jian)以及邏輯單(dan)元(yuan)(yuan)與I/O單(dan)元(yuan)(yuan)之間(jian)通過(guo)可編程連線(xian)進行連接。FPGA能在設計上具有很強的(de)(de)靈活(huo)性(xing)，集成(cheng)度(du)、工作(zuo)速度(du)也在不(bu)斷(duan)提高，可實(shi)現的(de)(de)功能也越(yue)來越(yue)強;同(tong)時其開發(fa)周期(qi)短，系統易于維(wei)護和擴展，能夠大(da)大(da)地提高圖(tu)像(xiang)數據的(de)(de)處理速度(du)。

3、通用計算機網絡并行處理

       這種處(chu)理結構采用“多客(ke)戶機+服務器(qi)(qi)”的方(fang)式，一(yi)個圖像傳感器(qi)(qi)對(dui)應一(yi)臺(tai)客(ke)戶機，服務器(qi)(qi)實現信(xin)息的合成，圖像處(chu)理的大部分工作(zuo)由軟件來完成。該(gai)結構雖然比較龐大，但升(sheng)級維護方(fang)便、實時性(xing)較好。

4、數字信號處理器(DSP)

       DSP是(shi)一種獨特的(de)微處理器，是(shi)以數(shu)(shu)字(zi)信號來處理大量信息的(de)器件。其(qi)工作原理是(shi)將接收到(dao)的(de)模(mo)擬(ni)信號轉(zhuan)換(huan)為(wei)“0”或“1”的(de)數(shu)(shu)字(zi)信號，再對數(shu)(shu)字(zi)信號進行修改、刪除(chu)和強化(hua)，并在其(qi)他(ta)系統芯片中把數(shu)(shu)字(zi)數(shu)(shu)據(ju)解譯回模(mo)擬(ni)數(shu)(shu)據(ju)或實際(ji)環境格(ge)式  

       其實(shi)時(shi)運(yun)行(xing)速(su)度遠(yuan)遠(yuan)超過(guo)通用微處理器(qi)。但是，DSP的(de)體系仍是串行(xing)指令執行(xing)系統(tong)，而且只是對(dui)某些固定的(de)運(yun)算進(jin)行(xing)硬(ying)件優化，故不能滿足眾多的(de)算法要(yao)求。

       實(shi)(shi)時圖像(xiang)處(chu)理(li)系統中，底層的(de)信號數據(ju)量(liang)(liang)大(da)，對(dui)處(chu)理(li)速度的(de)要求(qiu)高，但運算結構(gou)相(xiang)對(dui)比(bi)較簡(jian)單，適合采用FPGA以(yi)硬(ying)件方式來實(shi)(shi)現(xian)(xian);高層處(chu)理(li)算法(fa)的(de)特點是處(chu)理(li)的(de)數據(ju)量(liang)(liang)相(xiang)對(dui)較少，但算法(fa)和控制結構(gou)復(fu)雜，可使用DSP來實(shi)(shi)現(xian)(xian)。所以(yi)，可以(yi)把(ba)二(er)者的(de)優點結合在一起(qi)以(yi)兼(jian)顧實(shi)(shi)時性和靈活(huo)性。

        深圳市雙翌光電科技有限公司是一家以機器視覺為技術核心，自主技術研究與應用拓展為導向的高科技企業。公司自成立以來不斷創新，在智能自動化領域研發出視覺對位系統、機械手視覺定位、視覺檢測、圖像處理庫等為核心的20多款自主知識產權產品。涉及自動貼合機、絲印機、曝光機、疊片機、貼片機、智能檢測、智能鐳射等眾多行業領域。雙翌視覺系統最高生產精度可達um級別，圖像處理精準、速度快，將智能自動化制造行業的生產水平提升到一個更高的層次，改進了以往落后的生產流程，得到廣大用戶的認可與肯定。隨著智能自動化生產的普及與發展，雙翌將為廣大生產行業帶來更全面、更精細、更智能化的技術及服務。