最小二(er)乘匹(pi)配(pei)LSM，最小二(er)乘模(mo)板匹(pi)配(pei)LSTM

2、最小二乘模板匹配

《基于序列圖像》

《數字攝影測(ce)量學(xue)》

1、定義

以(yi)給定的模式作(zuo)為參考模板，是(shi)高精(jing)度(du)匹配法之一。

最小二乘影像匹配LSM：

德國Ackermann提(ti)出，利用影像窗(chuang)口內的(de)信息(xi)進行平差(cha)計算(suan)，使得影像匹配(pei)達到0.1甚(shen)至0.01像素的(de)精度。

不僅可以解(jie)(jie)(jie)決(jue)單點匹配single-point matching求(qiu)視差，也可以直(zhi)接解(jie)(jie)(jie)求(qiu)其空間坐(zuo)標同時解(jie)(jie)(jie)求(qiu)影像的方位(wei)元素(su)；

還(huan)可以解決多點影像匹配multi-point matching和多片影像匹配問(wen)題multi-photo matching（胡翔(xiang)云，2001）；

最小二乘模板匹配LSTM（least squares template matching）：

Gruen等(deng)（Gruen，1985；1992）對LSM進(jin)行了(le)擴展，以給定的特征模式作為(wei)參考模板與(yu)實際影(ying)(ying)像(xiang)做最小(xiao)二乘(cheng)影(ying)(ying)像(xiang)匹配，從而以很高(gao)的精度提(ti)取目標(biao)，稱為(wei)最小(xiao)二乘(cheng)模板匹配Least Squares Template Matching ,LSTM。LSTM可(ke)以擴展到(dao)利(li)用多張重(zhong)疊(die)影(ying)(ying)像(xiang)直接提(ti)取特征的物方坐標(biao)，如Gruen的LSB-Snake方法（Gruen，1997）和后(hou)續的空間(jian)圓重(zhong)建等(deng)。

2、基本思想

生成一(yi)個理想的小塊邊緣模(mo)板；

將該模板(ban)與測(ce)量圖像進行匹配，精確提取特征的邊緣(yuan)位置；

 

給定模板灰度f(x,y)，對應點為

測量圖像的匹配窗口灰度g(x,y)，對應點為

 

模板與測量圖像存在仿射變換：

 

 

 

匹配的目的是：解算出變換參數，結合 邊緣(yuan)點在給定模板上的精(jing)確坐標，可以得到邊緣(yuan)點的精(jing)確位置。

 

最(zui)小二(er)乘(cheng)是一(yi)個迭代(dai)過程(cheng)(cheng)，第一(yi)步的(de)粗提取結果作為變(bian)(bian)換(huan)參(can)數的(de)迭代(dai)初值，代(dai)入矩(ju)陣方程(cheng)(cheng)求變(bian)(bian)形參(can)數；

利用改正后的(de)參(can)數(shu)對(dui)測量圖像(xiang)重采(cai)樣，計算模板與(yu)匹配子(zi)圖的(de)相關(guan)系(xi)數(shu)。若大于預定閾(yu)值(zhi)，迭代結束。

3、算法

• 一般的影像匹配只考慮影像灰度的偶然誤差v=g1(x,y)-g2(x,y)；而LSM在此基礎上，還引入了系統變形參數，同時按照最小二乘的原則，解求這些參數。
• 影像灰度的系統變形有兩類：輻射畸變、幾何畸變。
• 以灰度差平方和最小為判據（灰度差v），則影像匹配方程式為
• 利用一塊標準影像與待匹配影像進行最小二乘影像匹配，以期獲得精確的邊緣位置。

4、基于模板匹配的直線段提取（僅考慮了輻射的線性畸變的最小二乘匹配——相關系數）

最小二乘匹配(pei)是目前常用的直線段提取的方法，該方法精度高，穩(wen)定靈活。

• 匹配前利用直線段的初始端點將影像塊旋轉為水平影像，水平影像每個像素都由雙線性內插得到，這樣可以只在斷面方向匹配；
• 利用相關系數獲得自適應模板：

h0,h1是輻射畸(ji)變(bian)參(can)數。下面用g1表示實際影像(xiang)模(mo)板(ban)(ban)，g2表示標準模(mo)板(ban)(ban)。

即：g1=h0+h1*g2

這里認為g1和(he)g2是線(xian)性(xing)相關的！

 

誤差：v=h0+h1*g2-g1

 

相關系數(shu)h0和(he)h1：其中(zhong)n為(wei)模板的像(xiang)素數(shu)。

**************************************************************************************************************

一條直線段可用(yong)2個端(duan)點(dian)來表達，因此模板匹配的(de)未知(zhi)數就是端(duan)點(dian)坐標的(de)改正數。由于(yu)圖(tu)像已經旋轉(zhuan)水平(ping)，那么起作用(yong)的(de)只有y方(fang)向的(de)改正數。（這里是不是只考慮(lv)平(ping)面(mian)上的(de)平(ping)移和旋轉(zhuan)，若z方(fang)向改變了，怎(zen)么辦？）

• 即：誤差v=gy*dy -（g2-g1）,gy是旋轉到水平坐標下，y軸方向的導數，一般用梯度代替，即gy=g(i+1,j)-g(i-1,j) (i為行號，j為列號)
• 匹配時，影像窗口內每一個像元都參與平差，設直線端點i和j的坐標為（xi=0,yi=0）,(xj=Lij,yj=0),則線段上任意一點a的坐標為（xa,ya=0）
• 端點坐標的改正：
• 直線模板匹配的誤差方程式：
• 對于相互遮擋的直線，需要進行消隱分析。

*************************************************************************************************************

接上面的h1和h0，《數字攝影測量學》

注意：這里沒有引入(ru)幾何變形參數(shu)，因(yin)此(ci)，匹配(pei)算法采(cai)用目標(biao)區相對于(yu)搜索區不斷移(yi)動(dong)一個整(zheng)體像(xiang)素(su)，在(zai)移(yi)動(dong)的過程(cheng)中計算相關(guan)系數(shu)，搜索最大相關(guan)系數(shu)的影(ying)像(xiang)區作為同名(ming)像(xiang)點。

搜索過(guo)程：

5、僅考慮影像相對移位的一維最小二乘匹配

灰度函數g1和g2，其中，g2相對于g1存在移位（視差值）

6、基于單點的(de)最(zui)小二乘匹配

兩個2維圖像的(de)幾(ji)何變(bian)形，不(bu)僅存(cun)在如5的(de)相對移(yi)位，圖形也會(hui)變(bian)化。

考慮一次幾何畸變：

再加上線性灰度畸變：