轻量化网络：MobileNet v2解析

原文： Inverted Residuals and Linear Bottlenecks: Mobile Networks for Classification, Detection and Segmentation

论文链接：https://128.84.21.199/abs/1801.04381 

开源测试代码与预训练模型（caffe版本）：https://github.com/austingg/MobileNet-v2-caffe

                                                                     https://github.com/shicai/MobileNet-Caffe

参考链接：https://blog.csdn.net/qq_14975217/article/details/79410324

                  https://www.jianshu.com/p/4c9404d4998c

      MobileNet V1中主要是引入了depthwise separable convolution代替传统的卷积操作，相当于实现了spatial和channel之间的解耦，达到模型加速的目的，整体网络结构还是延续了VGG网络直上直下的特点。depthwise separable convolution确实降低了计算量，但是 Depthwise 部分的 kernel 训练容易废掉，最终再经过ReLU出现输出为0的情况。

      和MobileNet V1相比，MobileNet V2主要的改进有两点：1、Linear Bottlenecks。也就是去掉了小维度输出层后面的非线性激活层，目的是为了保证模型的表达能力。2、Inverted Residual block。该结构和传统residual block中维度先缩减再扩增正好相反，因此shotcut也就变成了连接的是维度缩减后的feature map。
 

第一部分：Linear Bottlenecks 
       在MobileNet V1中除了引入depthwise separable convolution代替传统的卷积，还做了一个实验是用width multiplier参数来做模型通道的缩减，相当于给模型“瘦身”，这样特征信息就能更集中在缩减后的通道中，但是如果此时加上一个非线性激活层，比如ReLU，就会有较大的信息丢失，因此为了减少信息丢失，就有了文中的linear bottleneck。
      ReLU会对channel数较低的张量造成较大的信息损耗。如下图所示，当原始输入维度数增加到15以后再加ReLU，基本不会丢失太多的信息；但如果只把原始输入维度增加至2~5后再加ReLU，则会出现较为严重的信息丢失。

• 对于ReLU输出的非零值，ReLU对其仅仅起到了一个线性变换的作用
• 如果 input mainfold 可以嵌入到激活空间的一个显著的低维子空间中，ReLU就可以保留信息

第二部分：Inverted residuals 

    与之前的residual block相反，采用先升维，再降维的方法，这样做的理由是MobileNet V2将residuals block的bottleneck替换为了Depthwise Convolutions，Depthwise Convolutions因其参数少，提取的特征就会相对的少，如果再进行压缩的话，能提取的特征就更少了，因此MobileNet V2就执行了  扩张->卷积特征提取->压缩  的过程。

MobileNet V2网络结构

网络机构如下： 
 
上图中，t代表单元的扩张系数，c代表channel数，n为单元重复个数，s为stride数。注意，shortcut只在s==1时才使用。

bottleneck结构如下所示：

实验

文章从classification、detection、segmentation三个应用方面测试了该模型的效果。

1. classification

直接使用MobileNetV2的结构，输入图像size为224x224，在Imagenet上的分类表现 

2.detection

使用预训练的MobileNetV2卷积层特征+SSD的检测网络，输入图像size为320x320，在mscoco上的表现如下表： 

3.segementation

使用预训练的MobileNetV2卷积层特征+DeepLabv3分割网络，