面经整理-小网络总结

（1）MobileNets

MobileNets能减少参数量与计算量的方式主要存在于两点：

1. 深度可分卷积
2. Width Multiplier + Resolution Multiplier

传统的卷积操作不考虑bias的情况下，参数量是$D_K.D_K.M.N$，运算量是$D_K.D_K.M.N.D_F.D_F$。其中$D_K$是卷积核的维度大小，$M$是输入的通道数，$N$是输出的通道数(或者说是卷积核的个数),$D_F$是输出feature map大小(假定输入输出的feature map都相等，且是正方形)。

这样深度可分卷积的具体做法是，分为两个步骤
（1）深度卷积（depthwise convolution)
（2）1*1卷积 （pointwise convolution)

其中深度卷积相较于传统卷积不同的地方在于，相较于每个通道用N个卷积核进行卷积，这儿对于每个通道只用了1个卷积核进行卷积。

其次利用了1*1卷积对深度卷积的输出进行组合（或者说是升维，达到输出的channel数量N)。

这样总的计算量相较于传统卷积：

其中分子的前半部分为深度卷积的计算量，后半部分为1*1卷积的计算量，可以发现的是由于输出通道数$N$往往远大于卷积核的大小$D_K.D_K$，因此这个深度可分卷积的主要计算量和参数量会体现在pointwise convolution这一块。

文中进一步提出的两个multiplier指的是Width Multiplier $\alpha$与Resolution Multiplier $\rho$

最后文章在多个视觉任务上展开实验，在accuracy与parameter size和computation cost之间进行一个trade off。