在人工智能深度學習技術中，有一個很重要的概念就是卷積神經網絡 CNN（Convolutional Neural Networks）。卷積神經網絡被廣泛地運用到計算機視覺中，用于提取圖像數據的特征，其中發揮關鍵作用的步驟就是卷積層中的卷積運算。卷積到底是什么？深度學習中的卷積運算與傳統的信號與系統中的卷積算子有什么不同？為什么卷積運算可以提取圖像的特征呢？下面一文三分鐘讓你讀懂卷積運算與圖像處理。

了解卷積運算

卷(juan)積(ji)(ji)一詞最開始出現在信號(hao)與系統中(zhong)，是指兩(liang)個原函數產生一個新的(de)函數的(de)一種(zhong)算(suan)(suan)子。卷(juan)積(ji)(ji)運算(suan)(suan)在運算(suan)(suan)過程(cheng)可(ke)以概括為翻轉、平移再加權求和三個步(bu)驟，其(qi)中(zhong)的(de)加權求和就是乘加操作。另外，卷(juan)積(ji)(ji)運算(suan)(suan)還有一個重要(yao)的(de)特性：空間域卷(juan)積(ji)(ji)=頻域乘積(ji)(ji)，這一點可(ke)以解釋為什么卷(juan)積(ji)(ji)運算(suan)(suan)可(ke)以自動地提取圖像(xiang)的(de)特征。

在卷積(ji)神(shen)經網絡(luo)中，對(dui)數(shu)字圖(tu)像(xiang)做卷積(ji)操(cao)作其實就是利用(yong)卷積(ji)核（黃底(di)部分(fen)）在圖(tu)像(xiang)（綠底(di)部分(fen)）上滑動，將(jiang)圖(tu)像(xiang)上的(de)像(xiang)素灰(hui)度(du)值與對(dui)應卷積(ji)核上的(de)數(shu)值相(xiang)乘(cheng)，然后將(jiang)所有相(xiang)乘(cheng)后的(de)值相(xiang)加作為此時的(de)輸(shu)出值（紅底(di)部分(fen)），并最(zui)終滑動遍歷完整副圖(tu)像(xiang)的(de)過程。

動圖(tu)來源于：stanford.edu, Feature extraction using convolution

大家仔細(xi)觀察(cha)上(shang)述動圖，圖像中的(de)卷(juan)積(ji)操作相(xiang)比于信號與系統(tong)中的(de)卷(juan)積(ji)是不是少(shao)了(le)點(dian)什么(me)？我們可(ke)以看到，圖像中卷(juan)積(ji)的(de)計算過程相(xiang)對(dui)于信號與系統(tong)中的(de)卷(juan)積(ji)算子缺(que)少(shao)了(le)翻轉(zhuan)這一步(bu)，只(zhi)有平(ping)移(yi)和(he)乘加兩個(ge)步(bu)驟。那么(me)圖像的(de)卷(juan)積(ji)操作是否需要進行(xing)翻轉(zhuan)呢？

事實上(shang)，深度學(xue)習中卷積(ji)核其實無需(xu)進(jin)行翻(fan)轉(zhuan)的(de)，因(yin)為(wei)卷積(ji)核中的(de)所有權(quan)重(zhong)都是(shi)隨機初始(shi)(shi)化(hua)，開(kai)始(shi)(shi)是(shi)不(bu)確(que)定的(de)。網絡每次更新迭(die)代都是(shi)為(wei)了去尋找一(yi)個(ge)最合適的(de)卷積(ji)核權(quan)重(zhong)值，所以(yi)是(shi)否翻(fan)轉(zhuan)也(ye)就無關緊要(yao)了；另一(yi)個(ge)原因(yin)是(shi)在圖像處理中的(de)卷積(ji)核一(yi)般是(shi)對稱(cheng)的(de)，翻(fan)轉(zhuan)也(ye)就顯得不(bu)那么必要(yao)。

以上是傳統信號與系統中的卷積算子與卷積神經網絡中的卷積運算的異同點。而卷積神經網絡被廣泛運用到計算機視覺的最大一個原因就是卷積層可以自動地提取圖像特征。

提取圖像特征

圖(tu)(tu)像(xiang)中的(de)(de)(de)(de)特(te)征(zheng)通(tong)常(chang)指代圖(tu)(tu)像(xiang)中物體(ti)的(de)(de)(de)(de)輪(lun)廓與(yu)紋理信息(xi)，而通(tong)常(chang)物體(ti)的(de)(de)(de)(de)細節（可(ke)以簡單地(di)理解為圖(tu)(tu)像(xiang)中像(xiang)素(su)點(dian)灰度(du)值變換緩慢的(de)(de)(de)(de)地(di)方）帶來的(de)(de)(de)(de)信息(xi)量較(jiao)少(shao)。我們通(tong)常(chang)所說的(de)(de)(de)(de)圖(tu)(tu)像(xiang)特(te)征(zheng)提取(qu)的(de)(de)(de)(de)過程是(shi)在保留圖(tu)(tu)像(xiang)輪(lun)廓和紋理的(de)(de)(de)(de)同時，去掉冗余信息(xi)的(de)(de)(de)(de)過程。

物體輪廓

圖片來源：CMU, Computational Photography, Fall 2019

那(nei)么如何區(qu)分圖(tu)(tu)(tu)像(xiang)(xiang)的(de)特征(zheng)與圖(tu)(tu)(tu)像(xiang)(xiang)的(de)冗余(yu)信息量(liang)呢？如下面這幅人物圖(tu)(tu)(tu)像(xiang)(xiang)，如果我們(men)(men)不對(dui)原始圖(tu)(tu)(tu)像(xiang)(xiang)做處理(li)，很難將(jiang)圖(tu)(tu)(tu)像(xiang)(xiang)的(de)特征(zheng)與冗余(yu)信息量(liang)區(qu)分開來(lai)。我們(men)(men)可以換一(yi)個角(jiao)度(du)，不從(cong)時空域(yu)來(lai)區(qu)分，而(er)是抓住圖(tu)(tu)(tu)像(xiang)(xiang)細(xi)節和圖(tu)(tu)(tu)像(xiang)(xiang)輪廓(kuo)紋(wen)理(li)的(de)頻(pin)(pin)率不一(yi)樣(yang)這一(yi)特征(zheng)，把一(yi)副圖(tu)(tu)(tu)像(xiang)(xiang)放(fang)在頻(pin)(pin)域(yu)中(zhong)以區(qu)分圖(tu)(tu)(tu)像(xiang)(xiang)的(de)細(xi)節與圖(tu)(tu)(tu)像(xiang)(xiang)的(de)輪廓(kuo)紋(wen)理(li)。我們(men)(men)將(jiang)這幅人物圖(tu)(tu)(tu)像(xiang)(xiang)（左）轉換到頻(pin)(pin)域(yu)中(zhong)得到頻(pin)(pin)域(yu)中(zhong)的(de)該圖(tu)(tu)(tu)像(xiang)(xiang)（右），離中(zhong)心點越(yue)近的(de)分量(liang)頻(pin)(pin)率越(yue)低(di)，離中(zhong)心點越(yue)遠(yuan)的(de)分量(liang)頻(pin)(pin)率越(yue)高。

頻域(yu)圖像

圖片來源：CMU, Computational Photography, Fall 2019

現在(zai)我們(men)將用(yong)一(yi)個模板來分離(li)高(gao)(gao)低(di)頻分量。如左圖所示的模板1中(zhong)(zhong)，其數值取值范圍為0到1。模板中(zhong)(zhong)的點(dian)越(yue)黑其數值月接近于0，越(yue)白越(yue)接近于1。將模板1與(yu)頻域(yu)圖像相乘后，就(jiu)可以只保留高(gao)(gao)頻部分去除離(li)中(zhong)(zhong)心(xin)點(dian)較近的低(di)頻分量，再將圖像轉換回到空間域(yu)中(zhong)(zhong)，可以看(kan)到圖像的高(gao)(gao)頻分量（右）是輪(lun)廓和紋理特征。

圖片來源：CMU, Computational Photography, Fall 2019

同樣的(de)操作方式，將(jiang)模(mo)板2與頻(pin)域(yu)圖(tu)(tu)像(xiang)相乘，頻(pin)域(yu)圖(tu)(tu)中的(de)低(di)(di)頻(pin)分(fen)量可以被選取出(chu)來，再將(jiang)低(di)(di)頻(pin)分(fen)量轉換到空間域(yu)中，可以看到低(di)(di)頻(pin)分(fen)量代表(biao)著細節(jie)特征。這時(shi)我們就可以成功地將(jiang)圖(tu)(tu)像(xiang)的(de)輪廓紋理與細節(jie)信息從頻(pin)率的(de)角度區分(fen)開來了。

圖片來源(yuan)：CMU, Computational Photography, Fall 2019

以(yi)上處理(li)過程，實際就(jiu)是(shi)在頻(pin)(pin)域(yu)(yu)中(zhong)(zhong)(zhong)將模(mo)板(ban)與頻(pin)(pin)域(yu)(yu)圖像相乘，以(yi)區分(fen)圖像輪廓紋(wen)理(li)與細節信息(xi)的(de)(de)過程。而頻(pin)(pin)域(yu)(yu)相乘就(jiu)等于空間域(yu)(yu)卷積(ji)，這(zhe)是(shi)我們剛才提及(ji)到的(de)(de)卷積(ji)的(de)(de)重要特性(xing)。那么上述在頻(pin)(pin)域(yu)(yu)中(zhong)(zhong)(zhong)的(de)(de)操(cao)作等同于空間域(yu)(yu)中(zhong)(zhong)(zhong)的(de)(de)圖像與空間域(yu)(yu)中(zhong)(zhong)(zhong)的(de)(de)模(mo)板(ban)做卷積(ji)，這(zhe)樣我們從頻(pin)(pin)域(yu)(yu)的(de)(de)角度，就(jiu)可以(yi)解釋卷積(ji)操(cao)作能夠(gou)提取圖像特征的(de)(de)原因(yin)。