【轻量型卷积网络】MobileNet系列：MobileNet V2网络解析

【轻量型卷积网络】MobileNet系列：MobileNet V2网络解析

---

1. 介绍

论文地址：论文链接

1.1 V1存在的问题

MobileNet-v1的主要思想就是深度可分离卷积，可以参考MobileNet V1网络解析。

• 结构问题：MobileNet-v1的结构非常简单，类似于VGGNet，是一个非常复古的直筒结构。
  • 这种结构的性价比其实不高，后续一系列的ResNet、DenseNet等结构已经证明通过复用图像特征，使用Concat/Elwise+等操作进行融合，能极大提升网络的性价比。
• Depthwise convolution存在的问题：Depthwise convolution确实是大大降低了计算量，Depthwise+Pointwise的结构在性能上也能接近普通卷积。
  • 但是在实际应用时我们发现Depthwsie部分的kernel比较容易训废掉，训练完之后发现Depthwise训出来的kernel有不少是空的。因为depthwise每个kernel_dim相对于普通卷积要小得多，过小的kernel_dim加上ReLU的激活影响下，使得输出神经元很容易变为0，所以就学废了。ReLU对于0的输出梯度为0，所以一旦陷入0输出，就没法恢复了。

1.2 解决方法

MobileNet v2网络是由google团队在2018年提出的，相比MobileNet V1网络，准确率更高，模型更小。

网络中的亮点 ：

• Inverted Residuals （倒残差结构 ）：去掉了小维度输出层后面的非线性激活层，目的是为了保证模型的表达能力。 好处：通过去掉Eltwise+ 的特征去掉ReLU， 减少ReLU对特征的破坏；
• Linear Bottlenecks（结构的最后一层采用线性层）：和residual block中维度先缩减再扩增正好相反，因此shotcut也就变成了连接的是维度缩减后的feature map。
  • 好处1： 复用特征。
  • 好处2： 旁支block内先通过1x1升维， 再接depthwise conv以及ReLU, 通过增加ReLU的InputDim， 来缓解特征的退化情况。

MobileNet-v2的主要思想就是在v1的基础上引入了线性瓶颈 (Linear Bottleneck)和逆残差 (Inverted Residual)来提高网络的表征能力，同样也是一种轻量级的卷积神经网络。

• ResNet是：压缩”→“卷积提特征”→“扩张”，
• MobileNetV2则是Inverted residuals,即：“扩张”→“卷积提特征”→ “压缩”。

---

2. 模型

2.1 Linear Bottlenecks

v1中使用width multiplier参数来做模型通道的缩减，使特征信息集中在缩减后的通道中，其后使用非线性激活ReLU，会产生较大的信息丢失。为了减少信息损失，v2使用linear bottleneck，在bottleneck的输出后接线性激活。

2.2 Inverted residuals

上图展示了从standard convolution到depthwise separable convolution再到本文中的inverted residual block的差异。

• 标准33卷积操作，若输入channel数量为n，则卷积核的维度为33n(图中红色立方体)，将channel和spatial的信息同时进行映射，参数量较大
• v1中采用的depthwise separable convolution，可分离卷积，解耦了channel和spatial，化乘法为加法
• 在（b）的基础上增加了一个类似bottleneck的操作
• v2 inverted residual block结构，和ResNet中residual block对维度的操作相反。

2.3 网络结构

MobieNet V2网络结构细节如下：