卷(juan)積(ji)核作為卷(juan)積(ji)神經網絡(luo)的(de)基本組成，其直接影響了網絡(luo)的(de)性能(neng)。選擇合適(shi)的(de)卷(juan)積(ji)核可以讓模(mo)型(xing)更高(gao)效(xiao)，或者是(shi)提高(gao)模(mo)型(xing)的(de)精(jing)度。本文介(jie)紹了近(jin)年來主要(yao)的(de)卷(juan)積(ji)核類型(xing)，這里首先我(wo)們需要(yao)解釋一下CNN中廣泛使(shi)(shi)用(yong)的(de)卷(juan)積(ji)運(yun)(yun)(yun)算(suan)(suan)是(shi)一個誤稱。嚴(yan)格地(di)說，所使(shi)(shi)用(yong)的(de)運(yun)(yun)(yun)算(suan)(suan)是(shi)相(xiang)關（Correlation）運(yun)(yun)(yun)算(suan)(suan)，而(er)不是(shi)卷(juan)積(ji)（Convolution）運(yun)(yun)(yun)算(suan)(suan)。先分(fen)別理解這兩(liang)個運(yun)(yun)(yun)算(suan)(suan)符的(de)細微(wei)差別。

1.Convolution VsCorrelation

1.1相關 （Correlation）

相(xiang)關(guan)是在圖像上(shang)移動一個(ge)通(tong)常被稱為核的(de)(de)濾波器，并計算每(mei)個(ge)位置的(de)(de)乘積之和(he)的(de)(de)過(guo)程。換句話說，相(xiang)關(guan)運算的(de)(de)第一個(ge)值對應(ying)于(yu)濾波器的(de)(de)零位移，第二個(ge)值對應(ying)于(yu)位移的(de)(de)一個(ge)單位，依(yi)此類推(tui)。

如下公(gong)式(shi)給出了使用濾(lv)波器 F 對輸入(ru)數(shu)據 I 進行一維相關運(yun)算的數(shu)學公(gong)式(shi)。我(wo)們(men)假設 F 有奇數(shu)個(ge)元(yuan)素，所(suo)以(yi)(yi)當它(ta)移動時，它(ta)的中心(xin)就在圖像 I 的一個(ge)元(yuan)素上(shang)。所(suo)以(yi)(yi)我(wo)們(men)說(shuo) F 有2N+1個(ge)元(yuan)素，這些元(yuan)素從(cong)-N索引到N，所(suo)以(yi)(yi)F的中心(xin)元(yuan)素是F(0)。

類似(si)地，我們可(ke)以(yi)將這(zhe)個(ge)概念擴展到二維，如下。基本思想(xiang)是(shi)(shi)一樣的，除(chu)了圖像(xiang)和濾波器現在是(shi)(shi)二維的，可(ke)以(yi)假(jia)設濾波器有奇(qi)數個(ge)元(yuan)素，所以(yi)它(ta)用（2N+1）x（2N+1）矩陣表示。

二(er)維中的(de)(de)相關運算(suan)非常(chang)直接。我(wo)們只需取(qu)一個給定大小的(de)(de)濾波器，并將其放置(zhi)在圖像中與(yu)濾波器大小相同(tong)的(de)(de)局(ju)部區(qu)域上，然(ran)后(hou)滑動繼續進(jin)行同(tong)樣(yang)的(de)(de)操作。這樣(yang)的(de)(de)操作具有兩個特性：

·        平移不(bu)變性：視覺系統能夠感知到同一個物體，而不(bu)管它出現(xian)在圖像(xiang)中的什么位置(zhi)。

·        局部(bu)感知性：視覺系統專注于(yu)局部(bu)區域，而不考慮圖像的其他部(bu)分發生了(le)什么。

1.2卷積（Convolution）

卷(juan)(juan)積運算與互(hu)相(xiang)關運算非常相(xiang)似，但略有不同。在卷(juan)(juan)積運算中(zhong)，核先翻轉180度，然后應用于(yu)圖像。數學(xue)公(gong)式如下：

在二維卷積的(de)情況下，我們水平和(he)垂直翻轉(zhuan)濾(lv)波器。這(zhe)可以(yi)寫(xie)成(cheng)：

卷積運(yun)算同樣具有平(ping)移不變性(xing)(xing)和(he)局部感知性(xing)(xing)的性(xing)(xing)質。

需要申明的是：

·        神經(jing)網絡中的卷積其實是數學(xue)上(shang)的相關(guan)運(yun)算；

·        本文接下(xia)來出現的(de)卷積，從數(shu)學上看都是相關運(yun)算(suan)。

1.3卷積和(he)采樣矩陣

標(biao)準(zhun)卷(juan)積(ji)(ji)可以看作在圖(tu)像(xiang)上(shang)應用(yong)采樣(yang)(yang)矩陣(zhen)(zhen)（Sampling Matrix）來加權(quan)輸入(ru)的樣(yang)(yang)本，如下(xia)圖(tu)所示，使(shi)用(yong)的卷(juan)積(ji)(ji)核大小為3、步長為1且(qie)沒有填(tian)充的采樣(yang)(yang)矩陣(zhen)(zhen)。

1.4卷積的(de)參(can)數(shu)

·        Kernel size: 定(ding)義卷(juan)積(ji)核(he)的大小，影響卷(juan)積(ji)操作的感受野，一般使(shi)用(yong)3x3，5x5 等(deng)

·      ;  Stride: 定義(yi)遍歷圖(tu)像(xiang)時(shi)卷積核移動的(de)步長

·        Channel: 定義(yi)卷積(ji)運算的輸(shu)入和輸(shu)出通道數(shu)

·        Padding: 定義如何處理樣本邊(bian)界的(de)方式，分為(wei)不填充或者對邊(bian)界填充0，不填充的(de)只對特征圖(tu)(tu)做卷積操(cao)作，會使(shi)得輸出(chu)的(de)特征圖(tu)(tu)小(xiao)于輸入的(de)特征圖(tu)(tu)；對邊(bian)界填充0，可(ke)以使(shi)得輸入和輸出(chu)的(de)特征圖(tu)(tu)保(bao)持一致

2.千變萬化的卷(juan)積(ji)

常見的卷積(ji)類(lei)型有很多，根(gen)據其操(cao)作的區域大致可以分(fen)為兩(liang)類(lei)：通道相關性、空間相關性。

·        通(tong)道(dao)相關性(xing)的(de)卷積(ji)(ji)核(he)改(gai)變了卷積(ji)(ji)在channel維(wei)度操作，如：Group Convolution、Depthwise Separable Convolutions；

·        空間相關(guan)性的(de)(de)卷(juan)(juan)(juan)積(ji)核(he)是(shi)改(gai)變(bian)了卷(juan)(juan)(juan)積(ji)在(zai)w,h維度的(de)(de)操作。除了這兩類(lei)近年來也(ye)出(chu)現了一些新的(de)(de)改(gai)進思路(lu)：如動態卷(juan)(juan)(juan)積(ji)，異構卷(juan)(juan)(juan)積(ji)。

2.1通道相關（channel）

Group Convolution

Group Convolution（分(fen)組(zu)卷(juan)積）就是(shi)對輸入(ru)feature map在channel維度進行分(fen)組(zu)，然后(hou)每組(zu)分(fen)別卷(juan)積。

假(jia)設輸入featuremap的(de)(de)(de)尺寸(cun)仍為(wei)(wei)C?H?W，輸出feature map的(de)(de)(de)數(shu)(shu)量(liang)(liang)為(wei)(wei)N個(ge)(ge)，如果設定要分(fen)成G個(ge)(ge)groups，則每組(zu)的(de)(de)(de)輸入feature map數(shu)(shu)量(liang)(liang)為(wei)(wei)C/G，每組(zu)的(de)(de)(de)輸出feature map數(shu)(shu)量(liang)(liang)為(wei)(wei)N/G，每個(ge)(ge)卷(juan)積(ji)(ji)核的(de)(de)(de)尺寸(cun)為(wei)(wei)C/G?K?K，卷(juan)積(ji)(ji)核的(de)(de)(de)總數(shu)(shu)仍為(wei)(wei)N個(ge)(ge)，每組(zu)的(de)(de)(de)卷(juan)積(ji)(ji)核數(shu)(shu)量(liang)(liang)為(wei)(wei)N/G，卷(juan)積(ji)(ji)核只與其同組(zu)的(de)(de)(de)輸入feature map進行卷(juan)積(ji)(ji)，卷(juan)積(ji)(ji)核的(de)(de)(de)總參(can)數(shu)(shu)量(liang)(liang)為(wei)(wei)N?C/G?K?K，可見，總參(can)數(shu)(shu)量(liang)(liang)減少為(wei)(wei)原來的(de)(de)(de)1/G。其連接方式如下(xia)圖(tu)右所(suo)示，group1輸出map數(shu)(shu)為(wei)(wei)2，有2個(ge)(ge)卷(juan)積(ji)(ji)核，每個(ge)(ge)卷(juan)積(ji)(ji)核的(de)(de)(de)channel數(shu)(shu)為(wei)(wei)4，與group1的(de)(de)(de)輸入map的(de)(de)(de)channel數(shu)(shu)相同，卷(juan)積(ji)(ji)核只與同組(zu)的(de)(de)(de)輸入map卷(juan)積(ji)(ji)，而不與其他組(zu)的(de)(de)(de)輸入map卷(juan)積(ji)(ji)。

·        Depthwise Convolution

當(dang)分組數量(liang)(liang)(liang)等于輸入(ru)map數量(liang)(liang)(liang)，輸出map數量(liang)(liang)(liang)也等于輸入(ru)map數量(liang)(liang)(liang)，即G=C=N、N個卷積核每個尺寸(cun)為1?K?K時，Group Convolution就成了(le)Depthwise Convolution（深度卷積）。

·        Global Depthwise Convolution

更進一(yi)步，如果(guo)分組數G=N=C，同時(shi)卷積(ji)核的尺(chi)寸與(yu)輸入map的尺(chi)寸相同，即K=H=W，則輸出map為 C?1?1 即長度(du)為 C 的向量，此時(shi)稱之為GlobalDepthwise Convolution（GDC），與(yu)GlobalAverage Pooling（GAP）的不(bu)同之處(chu)在于，GDC給每個位(wei)置賦予了可學(xue)習的權重。

·        Shuffled Grouped Convolution

Shuffled GroupedConvolutions 是在(zai) Groupconvolution 計算(suan)后對輸出(chu)的(de) output feature maps 進行shuffle（打亂）處理，以使得接下(xia)來的(de)Group convolutionfilters可在(zai)每個group所輸出(chu)的(de)部(bu)分channels構成的(de)集合上(shang)進行計算(suan)。其操作如(ru)下(xia)圖所示(shi)，這么做的(de)原因(yin)是為了有效(xiao)地減小Groups convolution使用導致的(de)Groups間特征互不相通的(de)負面(mian)影響。

Depthwise SeparableConvolution

Depthwise SeparableConvolutions（深度可分離卷積） 是由 Depthwise Separable Convolution是將(jiang)一個完整(zheng)的卷積運算(suan)分解為兩步進行，即Depthwise Convolution與(yu)Pointwise Convolution。

Depthwise Convolution

Depthwise Convolution完成(cheng)后的Feature map數(shu)量(liang)與輸(shu)入(ru)層的通(tong)道數(shu)相(xiang)同(tong)，無法擴(kuo)展Feature map。而(er)且這(zhe)種運(yun)算對輸(shu)入(ru)層的每個通(tong)道獨立(li)進(jin)行卷積運(yun)算，沒(mei)有(you)有(you)效的利用不同(tong)通(tong)道在相(xiang)同(tong)空間位(wei)置上的feature信息。因此需要Pointwise Convolution來將這(zhe)些Feature map進(jin)行組(zu)合生成(cheng)新(xin)的Feature map。

Pointwise Convolution

Pointwise Convolution的(de)(de)運(yun)算(suan)與常規(gui)卷(juan)(juan)積(ji)(ji)運(yun)算(suan)非常相似，它的(de)(de)卷(juan)(juan)積(ji)(ji)核的(de)(de)尺寸為(wei) 1×1×M，M為(wei)上一層的(de)(de)通道數。所以這里的(de)(de)卷(juan)(juan)積(ji)(ji)運(yun)算(suan)會將上一步的(de)(de)map在深度方向(xiang)上進行加(jia)權組合，生(sheng)成新的(de)(de)Feature map。有幾(ji)個卷(juan)(juan)積(ji)(ji)核就有幾(ji)個輸出Feature map。

Depthwise SeparableConvolution的(de)參數(shu)個數(shu)大約(yue)是(shi)常(chang)規卷(juan)積的(de)1/3。因此(ci)，在(zai)參數(shu)量相同的(de)前提(ti)下(xia)，采(cai)用Depthwise SeparableConvolution的(de)神經(jing)網絡層數(shu)可以做得(de)更深。

MixConv

MixConv將(jiang)不(bu)同尺度(du)(du)的(de)(de)(de)卷(juan)積(ji)核融合到一(yi)(yi)個單(dan)獨的(de)(de)(de)卷(juan)積(ji)操作(zuo)，使其(qi)可以易(yi)于獲(huo)取具(ju)有多(duo)個分辨率(lv)的(de)(de)(de)不(bu)同模式。如下(xia)圖(tu)是MixConv的(de)(de)(de)結(jie)構，將(jiang)通道(dao)(dao)分成了多(duo)個組，對每(mei)個通道(dao)(dao)組應用不(bu)同尺寸的(de)(de)(de)卷(juan)積(ji)核。作(zuo)者將(jiang)其(qi)MixConv表(biao)示為普通深(shen)度(du)(du)卷(juan)積(ji)的(de)(de)(de)一(yi)(yi)個簡單(dan)替換(huan)，但可以在(zai)ImageNet分類和COCO目(mu)標檢測(ce)上顯著地提高MobileNets的(de)(de)(de)準(zhun)確性和效率(lv)。

2.2空間相關（Spatial）

Dilated Convolution

Dilated Convolution 就是(shi)在常規卷(juan)積(ji)中引入一個 dilationrate 參數也就是(shi)指的是(shi)kernel的間隔數量(正常的convolution 是(shi)dilatation rate 1)。從下面的動(dong)圖就可以很好(hao)理解了：

Dilated Convolution

kernel: 3x3, Pading: 0,dilationrate: 2

Dilated Convolutions可(ke)以在參數量不(bu)變的(de)(de)情況下有(you)效的(de)(de)提(ti)高卷(juan)積核的(de)(de)感(gan)受野(ye)。DilatedConvolutions主要應(ying)用于(yu)圖像分割領域(yu)，這(zhe)是(shi)由(you)于(yu)其可(ke)以替(ti)代up-sampling和(he) pooling layer。up-sampling 和(he) pooling layer會導致內部數據結(jie)構丟失；空間層級化信息丟失。

小(xiao)物(wu)體信(xin)息無(wu)法重建 (假設有四個pooling layer 則 任何小(xiao)于 2^4 = 16 pixel 的(de)物(wu)體信(xin)息將理論上無(wu)法重建。)在(zai)這(zhe)樣問(wen)題的(de)存(cun)在(zai)下，語(yu)義分割問(wen)題一直(zhi)處在(zai)瓶頸期無(wu)法再明顯提高精度，而(er) dilated convolution 的(de)設計就良好(hao)地避免了這(zhe)些問(wen)題。

DeformableConvolution

（1） DCN v1

可變(bian)形卷積(ji)(ji)引(yin)入了可變(bian)形模塊的(de)機制(zhi)，它具有可學習(xi)的(de)形狀以適應特征的(de)變(bian)化。傳(chuan)統上(shang)，卷積(ji)(ji)中由采樣矩陣定義的(de)核形狀從一開始就是(shi)固(gu)定的(de)。

可變(bian)形卷積使(shi)的采樣矩陣具有(you)可學(xue)習性，允許核的形狀適應輸(shu)入(ru)中未知的復雜物體。讓我們看(kan)看(kan)下圖來理解這個概念。

如上圖3×3標準卷積和可變形(xing)卷積中(zhong)采(cai)樣矩陣地圖示：

·   ;     a 是標準卷積的采樣矩陣（綠點）；

·        b是(shi)變(bian)形卷(juan)積(ji)中偏移(yi)量(liang)增大（淺藍色箭頭）的(de)變(bian)形采(cai)樣(yang)位置(zhi)（深藍色點）；

·        c 和 d 是 b 的特例，表明(ming)可變形(xing)卷積推廣了尺度、（各(ge)向異性）縱橫比(bi)和旋(xuan)轉的各(ge)種變換；

可變形卷積(ji)學(xue)習是(shi)具有位置(zhi)偏(pian)移的(de)(de)采樣矩(ju)陣，而(er)不像標準卷積(ji)那樣使用固定偏(pian)移的(de)(de)采樣矩(ju)陣。偏(pian)移量通過附加的(de)(de)卷積(ji)層從前面的(de)(de)特征(zheng)映射(she)中(zhong)學(xue)習。如果將標準卷積(ji)表(biao)示為(wei)：

那么可(ke)變形(xing)卷積可(ke)以表示為:

式(shi)中，Δp?表示(shi)加(jia)入正(zheng)常(chang)卷(juan)積運算的偏移量(liang)。p?是(shi)枚(mei)舉(ju)采樣點。現在采樣點位于不規則(ze)的偏移位置p?+?p?，即核的采樣位置重新分布，不再是(shi)規則(ze)矩形，允許采樣點擴散成非gird形狀。

如下(xia)所(suo)示(shi)(shi)，偏移量通過(guo)在輸入(ru)特征映(ying)射(she)上(shang)(shang)應用(yong)卷積層來獲得(de)。假(jia)設(she)原(yuan)來的(de)(de)(de)(de)卷積操作是(shi)3*3的(de)(de)(de)(de)，那么為了(le)學習offsets，需要定義另外(wai)一個3*3的(de)(de)(de)(de)卷積層，輸出的(de)(de)(de)(de)offset field其實(shi)就是(shi)原(yuan)來feature map大(da)(da)小，channel數(shu)等于2N（分(fen)別表示(shi)(shi)x,y方向的(de)(de)(de)(de)偏移，這里的(de)(de)(de)(de)N實(shi)際上(shang)(shang)是(shi) kernel 里的(de)(de)(de)(de) samplinglocation數(shu)。如果 3 x 3 的(de)(de)(de)(de) kernel 的(de)(de)(de)(de)話(hua)，N = 9）。這樣的(de)(de)(de)(de)話(hua)，有了(le)輸入(ru)的(de)(de)(de)(de)feature map，有了(le)和feature map一樣大(da)(da)小的(de)(de)(de)(de)offset field，我(wo)們就可以(yi)進行deformable卷積運(yun)算。所(suo)有的(de)(de)(de)(de)參數(shu)都可以(yi)通過(guo)反(fan)向傳播學習得(de)到。

（2） DCN v2

DCN v1的(de)問題是(shi)：可(ke)變形卷(juan)積有可(ke)能引入了(le)無(wu)用的(de)區域來干擾我們的(de)特征(zheng)提(ti)取，降低了(le)算法的(de)表現，如(ru)下圖所示。

因此(ci)，在DCNv1的(de)offset基礎上，添加每(mei)個采(cai)樣(yang)點的(de)權重，如下(xia)：

其中(zhong)，Δp?是偏移量，Δm學到的(de)權重。這樣(yang)的(de)好處是增加了更大的(de)自(zi)由度(du)，對于某些不想要的(de)采樣(yang)點權重可以學成0。

總的來說，DCNv1中引入(ru)的偏移量(liang)是要尋找有效信(xin)息(xi)(xi)的區(qu)域位置(zhi)，DCN v2中引入(ru)權(quan)(quan)重系(xi)數(shu)是要給找到(dao)的這個(ge)位置(zhi)賦予權(quan)(quan)重，這兩方面保證了(le)有效信(xin)息(xi)(xi)的準(zhun)確提取。

Spatially SeparableConvolutions

SpatiallySeparableConvolutions將卷積(ji)分(fen)成(cheng)兩部分(fen)，最常見的是把3x3的kernel分(fen)解成(cheng)3x1和1x3的kernel。例如：

通過(guo)這種方式，原本一(yi)(yi)次卷(juan)積要算(suan)9次乘法，現(xian)在只需要6次。但是(shi)SpatiallySeparableConvolutions 有(you)一(yi)(yi)個(ge)缺(que)陷那就是(shi)并不(bu)是(shi)所有(you)卷(juan)積核可以分(fen)成兩個(ge)小的卷(juan)積核。

FlattenedConvolutions

Flattened Convolutions是將三(san)維(wei)卷積核拆(chai)分成(cheng)3個(ge)1維(wei)卷積核。Flattened Convolutions 計(ji)算過程(cheng)如圖（b）。

Flattened Convolutions 極(ji)大地減少了(le)計(ji)算量。FlattenedConvolutions 引入了(le)的(de)不對(dui)稱卷(juan)積(ji)(ji)，再后(hou)來也證(zheng)實了(le)這種(zhong)不對(dui)稱卷(juan)積(ji)(ji)Nx1和1xN，對(dui)準確率是有提升的(de)。

2.3新的卷積思路

HetConv 異構(gou)卷積

HetConv 是(shi)(shi)(shi)在(zai)2019年CVPR提出的一種新(xin)的高效卷(juan)(juan)(juan)(juan)積(ji)方式(shi)(shi)，它在(zai)CIFAR10、ImageNet等數據(ju)集超(chao)過了標(biao)準(zhun)卷(juan)(juan)(juan)(juan)積(ji)以(yi)及DW+PW的高效卷(juan)(juan)(juan)(juan)積(ji)組合形式(shi)(shi)，取(qu)得(de)了更(geng)高的分類性能。HetConv 主要側重于設計新(xin)的卷(juan)(juan)(juan)(juan)積(ji)核(he)，傳統的卷(juan)(juan)(juan)(juan)積(ji)和按文中(zhong)說法稱為同(tong)構(gou)(gou)卷(juan)(juan)(juan)(juan)積(ji)(homogeneousconvolution)，即該過濾器包含(han)的所有卷(juan)(juan)(juan)(juan)積(ji)核(he)都是(shi)(shi)(shi)同(tong)樣大(da)小(xiao)（比(bi)如在(zai) 3 × 3 × 256CONV2D 過濾器中(zhong)，所有 256 個核(he)都是(shi)(shi)(shi) 3×3 大(da)小(xiao)），HetConv 是(shi)(shi)(shi)異構(gou)(gou)卷(juan)(juan)(juan)(juan)積(ji)(heterogeneous convolution), 即過濾器包含(han)不同(tong)大(da)小(xiao)的卷(juan)(juan)(juan)(juan)積(ji)核(he)（比(bi)如在(zai)某個 HetCOnv 過濾器中(zhong)，256 核(he)有的是(shi)(shi)(shi) 3×3 大(da)小(xiao)，其余的是(shi)(shi)(shi) 1×1 大(da)小(xiao)，由參(can)數P控制 1×1 卷(juan)(juan)(juan)(juan)積(ji)核(he)的數量(liang)）。

HetConv在ResNet 和 VGG-16 等不同架構上進行了廣泛(fan)的實驗——只是將它們的原(yuan)始(shi)過濾器替換成了HetConv。實驗發現，無需(xu)犧牲這些模型的準(zhun)確度就(jiu)能大(da)幅降低 FLOPs（3 到 8 倍）。

Dynamic Convolution動態卷積(ji)

Dynamic Convolution是微軟AI在CVPR2020提(ti)出(chu)的(de)(de)(de)(de)高性能漲點的(de)(de)(de)(de)動(dong)(dong)態卷積。動(dong)(dong)態卷積這種(zhong)新的(de)(de)(de)(de)設計能夠在不增(zeng)加網(wang)絡深度(du)(du)或寬度(du)(du)的(de)(de)(de)(de)情況下增(zeng)加模型的(de)(de)(de)(de)表(biao)達能力（representation capacity）。動(dong)(dong)態卷積的(de)(de)(de)(de)基本思路就是根據輸入(ru)圖(tu)像(xiang)，自適應(ying)地調(diao)整(zheng)卷積參數(shu)。如圖(tu)1所示(shi)，靜態卷積用同一(yi)個卷積核對所有的(de)(de)(de)(de)輸入(ru)圖(tu)像(xiang)做相同的(de)(de)(de)(de)操(cao)作，而動(dong)(dong)態卷積會(hui)對不同的(de)(de)(de)(de)圖(tu)像(xiang)（如汽車、馬、花）做出(chu)調(diao)整(zheng)，用更(geng)適合的(de)(de)(de)(de)卷積參數(shu)進行(xing)處理(li)。簡單地來說，卷積核是輸入(ru)的(de)(de)(de)(de)函數(shu)。

動態(tai)(tai)卷(juan)積(ji)(ji)沒(mei)有在每層上使用單(dan)個(ge)卷(juan)積(ji)(ji)核(he)，而(er)是根據注(zhu)意(yi)(yi)力(li)動態(tai)(tai)地(di)聚合多(duo)個(ge)并行卷(juan)積(ji)(ji)核(he)。注(zhu)意(yi)(yi)力(li)會(hui)根據輸入動態(tai)(tai)地(di)調整每個(ge)卷(juan)積(ji)(ji)核(he)的(de)權重，從(cong)而(er)生(sheng)成自(zi)適應的(de)動態(tai)(tai)卷(juan)積(ji)(ji)。由(you)于(yu)注(zhu)意(yi)(yi)力(li)是輸入的(de)函(han)(han)數，動態(tai)(tai)卷(juan)積(ji)(ji)不再是一個(ge)線性函(han)(han)數。通過注(zhu)意(yi)(yi)力(li)以非線性方式(shi)疊(die)加卷(juan)積(ji)(ji)核(he)具有更強的(de)表示能力(li)。

動態卷積(ji)(ji)(ji)可以輕(qing)易地(di)嵌入替換現有(you)(you)網絡架(jia)構的卷積(ji)(ji)(ji)，比如1×1卷積(ji)(ji)(ji), 3×3卷積(ji)(ji)(ji)，組卷積(ji)(ji)(ji)以及(ji)深度(du)卷積(ji)(ji)(ji)。實驗表(biao)明，動態卷積(ji)(ji)(ji)在(zai)(zai) ImageNet 分(fen)類(lei)和(he) COCO 關鍵(jian)點檢(jian)(jian)測(ce)兩(liang)個視覺(jue)任(ren)務上(shang)(shang)均具有(you)(you)顯(xian)著的提升。例如，通過在(zai)(zai) SOTA 架(jia)構 Mobilenet 上(shang)(shang)簡單地(di)使用動態卷積(ji)(ji)(ji)，ImageNet 分(fen)類(lei)的 top-1 準確度(du)提高了 2.3％，而FLOP 僅(jin)增加了 4％，在(zai)(zai) COCO 關鍵(jian)點檢(jian)(jian)測(ce)上(shang)(shang)實現了 2.9 的 AP 增益。在(zai)(zai)關鍵(jian)點檢(jian)(jian)測(ce)上(shang)(shang)，動態卷積(ji)(ji)(ji)在(zai)(zai) backbone 和(he) head 上(shang)(shang)同樣有(you)(you)效。

3.總(zong)結

卷(juan)積(ji)核(he)作為卷(juan)積(ji)神經網絡的(de)(de)(de)(de)(de)基礎(chu)部分，它的(de)(de)(de)(de)(de)直(zhi)接(jie)影響了神經網絡的(de)(de)(de)(de)(de)性(xing)能。本文按照(zhao)卷(juan)積(ji)核(he)改(gai)進(jin)思(si)路(lu)分為通道(dao)相關性(xing)和(he)空間相關性(xing)，并介(jie)紹了近年來主要的(de)(de)(de)(de)(de)卷(juan)積(ji)方式。新的(de)(de)(de)(de)(de)卷(juan)積(ji)核(he)提(ti)出(chu)主要由兩種出(chu)發點：模(mo)(mo)(mo)型輕量(liang)(liang)化，在盡量(liang)(liang)保持模(mo)(mo)(mo)型精度的(de)(de)(de)(de)(de)情況(kuang)下，減小(xiao)模(mo)(mo)(mo)型的(de)(de)(de)(de)(de)參數和(he)計(ji)算；高精度模(mo)(mo)(mo)型，在盡量(liang)(liang)不增加模(mo)(mo)(mo)型的(de)(de)(de)(de)(de)計(ji)算和(he)參數下，有(you)效的(de)(de)(de)(de)(de)提(ti)高模(mo)(mo)(mo)型的(de)(de)(de)(de)(de)精度。簡(jian)單來說，

·        模型(xing)輕量(liang)化(hua)的(de)有：group/depthwiseconv等，

·        高精度模型的有deformableconv，動態卷積等。