MobileNet

mobilenet

主要思想

​ 将卷积分为两个更小的操作，depthwise convolution/pointwise convolution,降低计算量。深度可分卷积，将标准卷积分为深度卷积和1*1点式卷积，深度卷积在每个输入通道上应用一个滤波器（M），点式卷积组合深度卷积的输出；

输入M ·DF ·DF ，生成N ·DF ·DF 特征图；

标准卷积计算量：DK ·DK ·M ·N ·DF ·DF ;

分离卷积：DK ·DK ·M ·DF ·DF + M ·N ·DF ·DF ；

加速比：1/N+1/DK^2;

设置超参数让用户选择网络模型大小：

1、设置α，在每一层薄化网络，作用于通道数量上；

薄化网络后计算量：DK ·DK ·αM ·DF ·DF + αM ·αN ·DF ·DF ，α<=1;

2、设置ρ，减少相同的乘法器，作用与输入图像上；

减少乘法器计算量：DK ·DK ·αM ·ρDF ·ρDF + αM ·αN ·ρDF ·ρDF ，ρ<=1;

网络结构

11的是点式卷积，33dw是深度分离卷积，前面是标准深度卷积；

每一层后都有BN层和ReLU层；

1、shallower models：宽度不变，深度减少；

2、减少计算量，但保证了网络性能；

3、将mobilenet原理应用到更多的网络，证明此路可行；

mobilenet V2

主要思想

Linear Bottleneck：神经网络将高维信息嵌入到低维子空间，通过V1中的宽度因子α在计算量和精度取折中，但是由于非线性激活函数ReLU存在，可能会导致丢失大量信息；我们既压缩维度，又想要有足够的信息，因此选择用线性分类器；

Inverted Residuals：在深度卷积之前添加点式卷积，是因为之前的网络自己没有改变通道的能力，上一层给它多少通过到，如果上一层通道很少，深度卷积只能在低维空间提取特征；不同于残差块中间窄两头胖，先将低维空间映射到高维空间，然后作深度可分卷积，最后作线性激活函数；

构建块的输入/输出域和层转换之间提供了一个分离，输入/输出域是网络各层的容量，层转换时网络表达；

补充：ReLU在低维度空间中能保留完整的信息；

应用到目标检测：SSDLite；应用到语义分割，mobile DeepLabv3；

网络结构

膨胀率在5-8之间最好，实验用的6；

1、包含之前所有的卷积层和32个过滤器，然后是19个线性瓶颈层；

2、stride=2时，就不用捷径了，因为输入输出维度变化了；