[Paper Note] MixNet: Mixed Depthwise Convolutional Kernals

abstract

MixNet这篇文章系统研究了不同尺寸的卷积核对于最终结果的影响，提出了一个混合深度卷积(MDConv)，在一个卷积中混合了多个卷积核尺寸。然后把MDConv集成到AutoML的搜索空间，构建了MixNets。
不同卷积核尺寸对模型的影响如下：

MDConv architecture

因为不同大小的卷积核捕捉的模式不同，特征不同，所以把通道分成多组，每组通道使用不同尺寸的卷积核(这些都是在一个卷积内)，由此可以获取输入图像的不同尺度的模式。

MDConv Feature Map

$X^{(h,w,c)}$表示输入张量，$W^{(k,k,c,m)}$表示深度卷积核，c是通道数，m是通道乘子。输出张量为$Y^{(h,w,c\times m)}$，大小依然为$h\times w$ 但是通道数变成了 $m\times c$
所以每个feature map的值计算如下：
$$Y_{x,y,z}=\sum _{-\frac{k}{2}\le i\le \frac{k}{2},-\frac{k}{2}\le j\le \frac{k}{2}}{X}_{x+i,y+j,z/m}\cdot W_{i,j,z},\forall z=1,\dots ,m\cdot c\text{\hspace{1em}(1)}$$
张量分g组后为$<{\hat{X}}^{\left(h,w,c_1\right)},\dots ,{\hat{X}}^{\left(h,w,c_g\right)}>$,合起来的通道数还是c。同样的，把卷积核也分组得到$<{\hat{W}}^{\left(k_1,k_1,c_1,m\right)},\dots ,{\hat{W}}^{\left(k_g,k_g,c_g,m\right)}>$，所以对于具体的第t组，输出计算为：
$${\hat{Y}}_{x,y,z}^t=\sum _{-\frac{k}{2}\le i\le \frac{k}{2},-\frac{k}{2}\le j\le \frac{k}{2}}{\hat{X}}_{x+i,y+j,z/m}^t\cdot {\hat{W}}_{i,j,z}^t，\forall z=1,\dots ,m\cdot c_t\text{\hspace{1em}(2)}$$
最后每个组得到的y连接起来得到：
$$Y_{x,y,z_o}=\text{ Concat }\left({\hat{Y}}_{x,y,z_1}^1,\dots ,{\hat{Y}}_{x,y,z_g}^g\right)\text{\hspace{1em}(3)}$$

MDConv Design Choices

Group Size g: 取决于卷积核类型个数，g=1等于普通的卷积，一般g=4是一个比较好好的选择，实验证明一般$1\le g\le 5$

Kenal Size Per Group 一般是$3\times 3$ 然后卷积核依次增大2. 也就是$\{3\times 3,5\times 5,7\times 7,9\times 9\}$

Channel Size Per Group 两种策略

• （1）均分
• （2）指数递增， 第i组，通道数为全部通道数的$2^{-i}$

Dilated Convolution 对较大的卷积核，可以使用膨胀卷积替代，减少参数个数
不同策略的结果如下：

Summary

最后放一下MixNet的结果：

主要借鉴的地方还是在于MDConv，可以用到很多地方。