背景

在工業(ye)應用(yong)(yong)中，使用(yong)(yong)面(mian)陣(zhen)相(xiang)機識(shi)別(bie)傳(chuan)送帶(dai)上的物(wu)體(ti)，當要(yao)識(shi)別(bie)的目(mu)標的最小包圍矩形（不是(shi)(shi)(shi)最小包圍旋轉矩形）小于相(xiang)機視(shi)野(ye)時(shi)，可以進(jin)行(xing)后(hou)續處(chu)理。但是(shi)(shi)(shi)當要(yao)識(shi)別(bie)的目(mu)標很大(da)，比如超(chao)長的物(wu)體(ti)，如果還使用(yong)(yong)面(mian)陣(zhen)相(xiang)機，有兩種辦法，一(yi)種是(shi)(shi)(shi)硬件(jian)(jian)(jian)改進(jin)，另一(yi)種是(shi)(shi)(shi)軟件(jian)(jian)(jian)改進(jin)。硬件(jian)(jian)(jian)改進(jin)就(jiu)是(shi)(shi)(shi)在傳(chuan)送帶(dai)運(yun)動方向均布(bu)多(duo)個面(mian)陣(zhen)相(xiang)機，通過同步觸發(fa)同時(shi)采集圖片，然(ran)后(hou)根(gen)據事先標定(ding)好的相(xiang)機相(xiang)對位置進(jin)行(xing)拼接。軟件(jian)(jian)(jian)改進(jin)需要(yao)對傳(chuan)送帶(dai)上的視(shi)頻(pin)流進(jin)行(xing)處(chu)理，拼接出比較大(da)的視(shi)野(ye)。

解決方法

一般(ban)在(zai)工業上會(hui)采用(yong)硬件改進(jin)的(de)方(fang)法(fa)。當需要提高視覺識別的(de)精(jing)度或(huo)者范(fan)圍時，會(hui)采用(yong)多個相(xiang)機圖(tu)像進(jin)行(xing)拼接(jie)的(de)辦法(fa)。但是在(zai)實驗室，我(wo)們(men)可以嘗試使(shi)用(yong)軟件的(de)方(fang)法(fa)來解決(jue)。

解決這個問題的關鍵是圖片的拼接，而圖像的拼接需(xu)(xu)要圖像中有明顯的特征點(dian)(dian)。而目標上(shang)是否有特征點(dian)(dian)我(wo)們(men)不(bu)能控制，所以需(xu)(xu)要事先在傳送帶上(shang)布置特征點(dian)(dian)。

傳送帶(dai)上只(zhi)有平移，所有對于(yu)圖像(xiang)拼接的3個參數x，y和θ，只(zhi)需(xu)要計算x，如果相機成(cheng)像(xiang)平面和傳送帶(dai)平面不平行，需(xu)要先做一個透視變換(huan)。

特征的設計及擺放考(kao)慮如下：容易識(shi)別，編(bian)碼容量(liang)不(bu)需太大(da)，循環布置。

原始視頻

以下是在傳送帶(dai)運動時采集到的視(shi)頻：

拼接結果

算法原理

第(di)一(yi)步(bu)(bu)：從視頻流(liu)中提取一(yi)幀圖像，作為關鍵(jian)幀，轉到第(di)2步(bu)(bu)。

第二步：提取下一幀(zhen)，根(gen)據識別到靶標計(ji)算該(gai)幀(zhen)圖像和(he)當(dang)前關鍵幀(zhen)平移距離(li)x1，如果x1約等于

0.4倍的視頻運動方向圖像像素，則(ze)(ze)把這一(yi)幀作(zuo)為次關鍵幀，轉到第三步，否則(ze)(ze)重復第二步。

第(di)三步：提取(qu)下一幀，根據識別到(dao)靶標計算該幀圖(tu)像和(he)當前(qian)次關鍵幀平移距離x2，如果x1+x2 約(yue)等于

0.8倍的視(shi)頻運動(dong)方向圖像像素，則(ze)把當前幀(zhen)作(zuo)為(wei)新的關鍵幀(zhen)，轉(zhuan)到第二步，否(fou)則(ze)重復(fu)第三步。

在2、3步(bu)循環的時候，把(ba)所有關鍵幀(zhen)按照順序，根據當時的平移距(ju)離x1+x2進行(xing)拼接就得到一幅長圖。當然也(ye)可(ke)以(yi)實時輸出關鍵幀(zhen)和對應(ying)的x1+x2。這樣(yang)，在高層(ceng)算法開發(fa)時，可(ke)以(yi)認為這是一個幀(zhen)觸(chu)發(fa)信號有點波動(dong)（由于幀(zhen)率和傳(chuan)送帶運動(dong)速度的不確定性(xing)，x1+x2不是固定值）的線陣相(xiang)(xiang)機。這也(ye)相(xiang)(xiang)當于做了一個中間層(ceng)，屏(ping)蔽了底層(ceng)的硬(ying)件(jian)細節，使得原(yuan)本為線陣相(xiang)(xiang)機開發(fa)的算法也(ye)可(ke)以(yi)用(yong)在面陣相(xiang)(xiang)機上。

深圳市雙翌光電科技有限公司是專注于(yu)視覺(jue)(jue)系統及機器(qi)視覺(jue)(jue)部件研(yan)發、生產和(he)營銷的(de)(de)(de)(de)高科技企業，是專業的(de)(de)(de)(de)機器(qi)視覺(jue)(jue)核心部件及解(jie)決(jue)方(fang)案提供商。雙翌視覺(jue)(jue)堅守“持(chi)續創新(xin)(xin)”的(de)(de)(de)(de)理念(nian)，目前已(yi)經成功在消費(fei)電子、新(xin)(xin)能源、半(ban)導(dao)體、汽(qi)車(che)、物流、交通、醫藥、科研(yan)等行業為客戶(hu)提供優質(zhi)的(de)(de)(de)(de)產品和(he)定(ding)制化(hua)的(de)(de)(de)(de)視覺(jue)(jue)解(jie)決(jue)方(fang)案。