由于原(yuan)材料、軋制工(gong)(gong)藝、人為(wei)、環境等因素的(de)影(ying)響，金屬工(gong)(gong)件(jian)在(zai)(zai)生產過(guo)程中往往會(hui)出(chu)現劃痕、黃斑、雜質等瑕(xia)疵，在(zai)(zai)加(jia)工(gong)(gong)鏈早期引入(ru)的(de)瑕(xia)疵會(hui)導致(zhi)后(hou)續加(jia)工(gong)(gong)問題或在(zai)(zai)應用階段性(xing)能受損以及引發故障。

金屬表(biao)面(mian)瑕疵(ci)會嚴重影(ying)響產品的(de)穩(wen)定性、功能性和美(mei)觀性，瑕疵(ci)檢測是工業質(zhi)量(liang)控(kong)制(zhi)的(de)重要組(zu)成部分，對提高生(sheng)產質(zhi)量(liang)具(ju)有(you)重要意義。

對(dui)金屬表面瑕疵進行(xing)分(fen)類可以快速識(shi)別和(he)消除其(qi)發(fa)生的(de)(de)(de)原因，軋制(zhi)金屬的(de)(de)(de)缺(que)(que)陷是標(biao)準(zhun)(zhun)化(hua)(hua)的(de)(de)(de)，現代裝(zhuang)置和(he)控制(zhi)系統根據其(qi)參數的(de)(de)(de)描述對(dui)缺(que)(que)陷進行(xing)分(fen)類，這些參數在不同(tong)的(de)(de)(de)工藝條件下可能會有所(suo)不同(tong)，缺(que)(que)陷的(de)(de)(de)特征因生產(chan)環境以及生產(chan)者等因素的(de)(de)(de)變(bian)(bian)(bian)化(hua)(hua)而(er)變(bian)(bian)(bian)化(hua)(hua)，不受(shou)公認標(biao)準(zhun)(zhun)的(de)(de)(de)約束，生產(chan)過程(cheng)中即(ji)使(shi)很小的(de)(de)(de)變(bian)(bian)(bian)化(hua)(hua)也會導致(zhi)新型(xing)缺(que)(que)陷的(de)(de)(de)出現。

即(ji)使(shi)瑕疵類別相同，在形狀、結構上也會有所不同，這(zhe)使(shi)得(de)它們的分類變得(de)復雜，對缺(que)陷特征的不準確(que)描(miao)述(shu)也會導致(zhi)漏(lou)檢(jian)或錯檢(jian)的現象發(fa)生(sheng)。

目前(qian)，金屬表面的(de)瑕疵檢測主要由工(gong)作人員(yuan)采用人工(gong)目視(shi)檢測，目視(shi)檢測難以定量分(fen)析，這個(ge)過程取決(jue)于(yu)許多因素，包括員(yuan)工(gong)的(de)經驗(yan)程度(du)(du)、視(shi)覺疲勞等主觀因素，檢測置信度(du)(du)較低，難以保(bao)證(zheng)數據的(de)客觀性與準(zhun)確性。

由于(yu)漏檢或錯檢致(zhi)使(shi)瑕疵(ci)品摻雜于(yu)正(zheng)常品中，后期合成的(de)成品的(de)性能將難以(yi)保證，對(dui)生產制(zhi)造商帶來重大(da)的(de)財(cai)物(wu)損失，因(yin)此工業對(dui)于(yu)檢測和分類金屬表面瑕疵(ci)的(de)自動(dong)化(hua)系統的(de)需求非常高。

本文的(de)(de)研究對(dui)象是連接(jie)(jie)或(huo)斷開(kai)電氣設備之間電路(lu)(lu)的(de)(de)重要電氣組件(jian)，這種金(jin)屬產品被廣泛用(yong)于開(kai)關(guan)、斷路(lu)(lu)器和繼電器等電氣行業(ye)的(de)(de)重要部件(jian)中。對(dui)于以此種金(jin)屬制品為組件(jian)的(de)(de)產品而(er)言，其質量對(dui)產品性(xing)能的(de)(de)完整性(xing)以及可靠(kao)性(xing)起著至關(guan)重要的(de)(de)作用(yong)，在(zai)其使用(yong)壽命內(nei)必須穩定可靠(kao)地進(jin)行百萬次接(jie)(jie)觸。

金屬表面瑕疵識別的挑戰

盡管現在(zai)已經(jing)涌現出(chu)許多基(ji)(ji)于(yu)機器視覺的瑕疵(ci)檢(jian)測方法，但(dan)是基(ji)(ji)于(yu)機器視覺的瑕疵(ci)檢(jian)測仍然是一項(xiang)新穎的技(ji)術(shu)，并且該技(ji)術(shu)需要針(zhen)對特(te)定(ding)任(ren)務特(te)定(ding)分析與(yu)設(she)計，金屬表面瑕疵(ci)檢(jian)測仍處于(yu)研究階段。

金屬表(biao)面(mian)瑕疵的識別和(he)檢(jian)測對(dui)機器視(shi)覺領(ling)域提出了許(xu)多挑戰(zhan)，挑戰(zhan)包括(kuo)：

1）類別復雜

研究對象表面(mian)的瑕(xia)疵(ci)(ci)類(lei)別(bie)繁多，不同(tong)類(lei)別(bie)的瑕(xia)疵(ci)(ci)也存在(zai)一(yi)(yi)定的交叉性，即(ji)使同(tong)一(yi)(yi)類(lei)別(bie)內(nei)的瑕(xia)疵(ci)(ci)在(zai)顏(yan)色(se)、形(xing)態、位置等方面(mian)也存在(zai)許多差異(yi)性。

并(bing)且，具(ju)體瑕疵的(de)類(lei)別不受標準的(de)約(yue)束，在實際生(sheng)產環節，隨生(sheng)產環境、操作人員的(de)變化而變化，一(yi)點(dian)(dian)點(dian)(dian)微小的(de)變化都可能引入(ru)一(yi)種新的(de)瑕疵類(lei)別。

2）表面反射率高

金屬產品(pin)的(de)表面光(guang)滑(hua)，其(qi)表面的(de)高反射率容易帶來高光(guang)以及(ji)陰(yin)影區，這種灰度值不一(yi)(yi)致(zhi)的(de)現象(xiang)增加(jia)了(le)偽邊緣檢測的(de)可能性，在冷卻環節中(zhong)產生(sheng)的(de)水(shui)(shui)滴、水(shui)(shui)布、雨線、水(shui)(shui)霧等構(gou)成(cheng)的(de)偽缺陷也(ye)會對分(fen)類系統造(zao)成(cheng)一(yi)(yi)定的(de)干擾。

3）推理速度

在實(shi)際生(sheng)產(chan)環(huan)節中，待測產(chan)品往(wang)往(wang)處于轉速較(jiao)快(kuai)的轉盤之上，基于機器視(shi)覺的金屬表面(mian)瑕疵(ci)識(shi)別(bie)(bie)系統需要快(kuai)速可靠地依次對各(ge)個產(chan)品做出判(pan)別(bie)(bie)，并依據判(pan)別(bie)(bie)結果(guo)將產(chan)品劃分為給(gei)定的類別(bie)(bie)。

4）部署需求

具有(you)良好性能的(de)深度學(xue)習模(mo)型同(tong)時(shi)伴隨(sui)著(zhu)高額的(de)存儲(chu)空間以及計(ji)算資源的(de)消耗，難(nan)以在資源受限(xian)的(de)設備中進行部署。

傳統機器視覺VS深度學習

基于機器視覺的金屬表面瑕疵(ci)識別(bie)(bie)是冶(ye)金工業(ye)領域的研究熱點，傳(chuan)統(tong)機器視覺識別(bie)(bie)方式的關鍵點在于針對給(gei)定目標，由(you)工程(cheng)師決定選擇運(yun)用哪些特征(zheng)描述以(yi)與其它類別(bie)(bie)加(jia)以(yi)區分，同時每個特征(zheng)定義都(dou)需要處理很多(duo)參數(shu)，由(you)工程(cheng)師進(jin)行微調，需要很強的專業(ye)領域知識，構建的瑕疵(ci)識別(bie)(bie)系統(tong)在準確率(lv)以(yi)及遷移性上比較差。

深度(du)學習(xi)利用(yong)大數據和豐富的(de)計算資(zi)源來提高預(yu)測性能，與傳(chuan)統機器視覺識(shi)相比(bi)具有更強(qiang)大的(de)特征學習(xi)以及特征表達能力，已經突(tu)破(po)了數字圖(tu)像處(chu)理領域的(de)極限。

傳統(tong)的圖像分類研(yan)究主要(yao)由(you)研(yan)究人員(yuan)針(zhen)對所要(yao)解決的問(wen)題，設計并(bing)提取定性或(huo)定量表達的特征(zheng)，對這些(xie)特征(zheng)進(jin)行統(tong)計分析(xi)或(huo)進(jin)行閾值分割得出結果。

在特(te)征提(ti)(ti)取環(huan)節，依賴(lai)于(yu)研究(jiu)者(zhe)的先驗(yan)知(zhi)識以(yi)及對分類(lei)任(ren)務的認知(zhi)，容易忽視或(huo)未能理解一些復雜、隱藏或(huo)非直覺(jue)的現象而(er)忽略一些特(te)征變量，而(er)提(ti)(ti)取的特(te)征直接影響系(xi)統的性能。

傳統的(de)圖像分類往往是針對某個特定的(de)識別任務，數(shu)據(ju)規模不大(da)，泛化能力(li)較差，對于龐大(da)的(de)圖像數(shu)據(ju)，嚴重的(de)圖像干擾(rao)等情形(xing)，難以(yi)在(zai)實(shi)際應用中實(shi)現精準的(de)識別效果。

除(chu)此以(yi)外，傳統的(de)圖(tu)像處理方(fang)法常需要(yao)復雜(za)的(de)閾(yu)值設置來(lai)進行缺陷識(shi)別，這(zhe)些閾(yu)值設置對光(guang)照條件和(he)背景等環(huan)境因素很敏感(gan)。如果環(huan)境因素發生變化(hua)，這(zhe)些閾(yu)值的(de)設置需要(yao)重新仔(zi)細調整，否(fou)則算法無(wu)法適應(ying)新的(de)環(huan)境，缺乏適應(ying)性(xing)和(he)魯棒(bang)性(xing)。

傳統圖像分(fen)類與(yu)深度(du)學習分(fen)類的(de)對比

與(yu)傳(chuan)統(tong)的(de)圖像處(chu)理方法相(xiang)比(bi)，在(zai)特征(zheng)提(ti)取環節(jie)，深度學習可(ke)以從原始數據(ju)中自動提(ti)取更(geng)高維、更(geng)抽象的(de)特征(zheng)，替代了繁雜的(de)人(ren)工特征(zheng)描述與(yu)提(ti)取環節(jie)；

與之相比，在計算機視覺(jue)領(ling)域(yu)，基于深度學(xue)習的(de)網(wang)絡模型具備(bei)更(geng)強的(de)特(te)征(zheng)學(xue)習和特(te)征(zheng)表達(da)能力，神經網(wang)絡可(ke)以以積極(ji)的(de)方式(shi)揭(jie)示(shi)更(geng)多影響(xiang)識別質量的(de)特(te)征(zheng)，可(ke)構建更(geng)加通用和準(zhun)確(que)的(de)識別方法(fa)。

金屬表面瑕疵識別

金屬產品在轉盤上按一定方向轉動，當其位于攝像頭下方時進行圖像采集，原始圖像是由工業相機在平行光(guang)源下成(cheng)像獲得，采集(ji)的圖(tu)像構成(cheng)數據集(ji)。由于現(xian)場拍(pai)攝到的(de)(de)金屬工件圖(tu)像受打光不均、污漬灰(hui)塵、機械裝置震(zhen)動等(deng)因素的(de)(de)影響(xiang)，拍(pai)攝到的(de)(de)原始圖(tu)像往(wang)往(wang)背(bei)景不夠(gou)單純(chun)，含有各類干擾(rao)，導致圖(tu)像特征提取困(kun)難。加之(zhi)工業環境(jing)相(xiang)對(dui)較為(wei)復雜，空氣中的(de)灰塵、細(xi)小(xiao)纖維以及生產(chan)環節的(de)殘留的(de)水汽，油漬等(deng)難免會進(jin)入到相(xiang)機(ji)拍攝范(fan)圍內，對(dui)瑕疵檢測造成一(yi)定(ding)的(de)干擾(rao)，因此有必要對(dui)采集到的(de)圖像(xiang)(xiang)進(jin)行預(yu)處理(li)，以排(pai)除干擾(rao)將圖像(xiang)(xiang)轉換為(wei)更適合后續(xu)特征提取(qu)的(de)形式。通過圖像(xiang)(xiang)預(yu)處理(li)也可以減少圖像(xiang)(xiang)處理(li)時(shi)間，提供(gong)更高的(de)識別(bie)精度。

特征提取是一種數據(ju)降維的特殊形式(shi)，特征提取的主要目標是從原始數據(ju)中排除無(wu)關緊要以(yi)及冗(rong)余的信(xin)息(xi)(xi)，進而獲取最具區分性的信(xin)息(xi)(xi)，并以(yi)較(jiao)低維度的形式(shi)表示(shi)該信(xin)息(xi)(xi)。

本文將金屬產品分(fen)為3個區(qu)域區(qu)別(bie)處(chu)理(li)，分(fen)別(bie)為紋理(li)區(qu)域、光(guang)滑(hua)區(qu)域和外圓區(qu)域。

紋(wen)理區(qu)(qu)域比較(jiao)特殊(shu)，表面不平(ping)整(zheng)但具有一定(ding)的(de)紋(wen)理特性，需要單獨提(ti)取(qu)出(chu)來(lai)特殊(shu)處理。正常(chang)金屬(shu)產品(pin)的(de)光(guang)滑區(qu)(qu)域較(jiao)為平(ping)整(zheng)，針(zhen)對不同產品(pin)的(de)光(guang)滑區(qu)(qu)域，正常(chang)品(pin)灰度值趨勢平(ping)緩而瑕疵品(pin)灰度值趨勢波動，將該區(qu)(qu)域單獨提(ti)取(qu)出(chu)來(lai)，可(ke)以更好(hao)的(de)利用這種優勢。

光(guang)照(zhao)并(bing)非(fei)均勻照(zhao)射到整(zheng)個金屬產品表(biao)面，但光(guang)照(zhao)過渡較為平緩。為減弱光(guang)照(zhao)不均的影響，便于后續特征提取環節，本次使用8個扇形掩(yan)膜將光(guang)滑區域和(he)外(wai)圓(yuan)區域平均分成(cheng)8個區域，對(dui)應于編(bian)號1-8。

對不(bu)(bu)同區域(yu)設(she)定不(bu)(bu)同閾(yu)值，可(ke)減少光照不(bu)(bu)均(jun)帶來的(de)不(bu)(bu)良影響，更便于對金(jin)屬(shu)產(chan)品進行特征提取，例如金(jin)屬(shu)產(chan)品表(biao)面(mian)右(you)側(ce)打光較亮，灰度均(jun)值相比左側(ce)較高，則(ze)設(she)定的(de)閾(yu)值可(ke)適(shi)當提高，同樣，在(zai)金(jin)屬(shu)產(chan)品左側(ce)，灰度均(jun)值較低(di)，則(ze)設(she)定的(de)閾(yu)值可(ke)適(shi)當降(jiang)低(di)。

在(zai)采(cai)集(ji)金屬(shu)(shu)表面(mian)圖像的(de)過程中，對光照(zhao)條件要求(qiu)較(jiao)高，并且光滑的(de)金屬(shu)(shu)表面(mian)意味著高反射率，容(rong)易在(zai)金屬(shu)(shu)表面(mian)形成高亮或陰(yin)影區，這種不一致的(de)灰度現(xian)象(xiang)增加(jia)了(le)邊緣檢測的(de)困難性。這些場景廣泛(fan)存(cun)在(zai)于(yu)實(shi)際的(de)工業環境(jing)中，對金屬(shu)(shu)表面(mian)缺陷的(de)檢測提出了(le)巨大的(de)挑戰。

以(yi)上為本文(wen)研究的四種(zhong)金屬產(chan)品(pin)表面的瑕(xia)疵類(lei)型。

光照不(bu)(bu)均(jun)且金屬表面的高反射性增(zeng)大了(le)瑕(xia)疵(ci)檢(jian)測的難度(du)，在(zai)外圓(yuan)區域瑕(xia)疵(ci)檢(jian)測性能不(bu)(bu)佳(jia)，為了(le)更(geng)好地展示(shi)所提系統的性能，本文主要以光滑區域的實驗結果(guo)進行展示(shi)。