【轻量级网络系列三】MobileNetV2: Inverted Residuals and Linear Bottlenecks论文总结

摘要

本文将介绍一种新型的适合移动端的网络MobileNetV2，在最近众多的tasks和benchmarks上都取得了最好的表现。它是建立在一种倒转的残差结构上面的，其中的短路连接建立在thin bottleneck layers之间。中间的扩展层使用lightweight depthwise convolutions 来对特征进行过滤来提升网络非线性能力。特别的是，我们发现去除狭窄层的非线性能力对于表现特征的能力是重要的。最后，我们的方法允许对于输入输出域去耦，这对于后面的研究分析提供了一个很轻便的网络。

一、介绍

近些年，神经网络使得许多方向的机器智能产生了革命性的变换，达到了超越人类的识别准确率。但是这些提高识别准确率的背后，这些网络需要大量的计算能力而无法在嵌入式设备和手机等移动设备上部署。

本篇文章介绍了一种新型的网络是为手机和受限制的环境量身定制的，此网络在达到同样的准确率下，大大的降低了网络的运算操作以及内存需要。主要贡献在于，提出一个the inverted residual with linear bottleneck(倒转线性残差块)，这使得输入低维度的特征，可以先让其扩张成高维度的，然后使用轻量的depthwise convolution进行卷积。特征随后被使用一个a linear convolution
送回低纬度的表征里。

本模型可以适用于几乎所有的经典网络结构中，也在许多评价数据集上取得了很好的表现。它减少了在嵌入式设备上对于主存的访问，转而支持对于cache内存的访问，这样提高了访问速度。

二、相关工作 

介绍了下神经网络发展过程中的一些经典网络，介绍了ShuffleNet这种开始改变卷积内部的连接。作者也提到最近有一些使用强化学习来进行网络结构搜索的部分，来设计这种轻量级网络，但是本文是想从直观上的改变神经网络运算以及设计更简单得网络。然后提了下自己之前的工作MobileNetV1。

三、前期准备，讨论以及直觉

3.1 Depthwise Separable Convolutions

Depthwise Separable Convolutions是构建运算高效卷积神经网络的重要部分，很多工作都用了。其大概的思想就是把之前的一个卷积模块给替换成两个有着放缩因子的分离层。两个层也就是分组的卷积和1*1卷积，我在这篇文章中有写过。分组卷积是为了降低该部分操作的运算量，然后通过1*1卷积来弥补通道的不足。MobileNetV2是使用3*3的depthwise separable convolutions，所以减少的运算量在8-9倍。

3.2 Linear Bottlenecks

 

作者提出了在特征的通道低纬度的时候，ReLU激活函数会带来数据坍塌，而在高维度的时候就保留了其中大部分信息。为此，作者提出使用在低维度的时候不用ReLU，转而在其中加入线性变换。但是在这部分代码中，作者后面是将这个ReLU替换成ReLU，将大于6得输出不在增长，可以看一下pytorch给的图，比较清楚。

3.3 Inverted residuals

可以看到其的结构与普通残差块的结构差距，只是在于普通残差两头粗中间瘦(即通道数在残差块内缩小)，而Inverted residuals是在块内对于通道数进行增加。作者说为什么把残差应用在其中，灵感来自于，为了让梯度不衰减。而且这样的设计可以更加高效使用内存。

3.4 信息流解释 

对于我们结构中，一个很有兴趣的属性，它提供了一种在构建块上自然的输入输出域分离和一个层，是一个非线性函数用来将输入转换为输出。前者可以被看作为网络每层的容量，后者可以看作网络的表现力。这在传统的常规和分离的卷积神经网络中是相矛盾的，当表现力和容量都纠缠在一起的时候，是输出层深度的函数。

特别的是，在我们的情况里，当内部深度为0时，底层的卷积为身份函数由于短路连接的存在。当ratio小于1的话，是常规的残差块，但我们展现出了当ratio大于1的时候，才是被最好利用的时候。

这个解释让我们允许我们可以它的容量中去单独研究网络的表现力，我们相信对于分离方面进一步的探索会给更好理解网络性质带来保证。

模型结构

Bottleneck residual block由1*1卷积先提高通道数，在通过3*3卷积，之后通过1*1卷积降低通道维数。使用ReLU6替代ReLU的原因是，为了在不降低准确率的情况下减少计算量。