神经网络：轻量级网络--MobileNet和MobileNet2解析（一）

一、简介

       深度卷积神经网络将多个计算机视觉任务性能提升到一个新高度，总体的趋势是为了达到更高的准确性构建更深更复杂的网络，但是这些网络在尺度和速度上很难满足移动终端设备的要求。

       MobileNet 描述一个高效的网络架构，允许通过两个超参数构建非常小、低延迟、易满足嵌入式终端设备要求的模型。设计团队在进一步深入的研究了 Depthwise Separable Convoltions 使用方法后设计出MobileNet，Depthwise Separable Convoltions的本质是冗余信息更少的稀疏表达。在此基础上给出了高效模型设计的两个选择：宽度因子（Width Multiplier） 和分辨因子（Resolution Multiplier）；通过权衡大小、延迟时间以及精度来构建更小、速度更快的MolieNet网络。

       MobileNet 使用了一种称之为 Deep-Wise的卷积方式来替代原有的传统3D卷积，减少卷积核的冗余表达。在计算量和参数明显下降后，卷积网络可以应用在更多的移动端平台。

 

二、MobileNet结构

       MobileNet 是基于深度可分离卷积的，通俗的讲就是把标准卷积分解成深度卷积（Depthwise Convolution）和逐点卷积（Pointwise Convolution）。最大的好处就是在于大幅度降低参数量和计算量。

 

 

       

         标准卷积：特点是卷积核的通道数等于输入特征图的通道数

         Deepwise卷积 ：特点是卷积核的通道数为1

         在设计一个Deepwise 和 1*1 卷积以及BN、Relu的结构关系如图，以及MoblieNet网络结构图

三、计算量分析

       假定输入特征图大小是 Dk * Dk * M，而输出特征图大小是 Df * Df * N:

       普通卷积计算量：

       Deepwise卷积计算量：（用两个超参数来控制网络计算速度和准确度之间的平衡）

      

       计算量比值：（此处省略宽度超参数和分辨率超参数）

           N 是Feature Maps的通道数，Dk*Dk是卷积核的大小，此比值小于1。

 

四、对比MobileNet-V1 与 MobileNet-V2 微结构

    相同点：

    都采用了DeepWise (DW)卷积和 PointWise(PW)卷积的方式来提取特征。这两个操作合起来也被称为 Depth-Wise Separable Convoltion，这么做的好处就是大幅度的减少卷积层的时间复杂度和空间复杂度。由下式可知，因为卷积核的大小K通常远远小于输出通道C_out,因此标准卷积的计算复杂度近似为DW+PW组合卷积的 K*K倍。

     不同点

      1. MoblieNet2 在DW卷积之前加了一个 PW 卷积。这是因为 DW 卷积由于本身的计算特点决定它自己没有改变通道数的能力，上一层给它多少通道，它就只能输出多少通道。所以如果上一层给的通道数本身很少的话， DW也只能在低维空间提取特征，因此效果不好。在每一个 DW 之前加一个 PW 专门用来升维，定义升维系数为 t =6，这样不管输入通道数 C_in是多少，经过第一个PW升维后，DW都是在相对高位（t * C_in）工作。

       2. MobileNet2 去掉第二个PW 的激活函数，称之为 Linear Bottleneck。这是因为作者认为激活函数在高维空间能够有效的增加非线性，而在低维空间则会破坏特征，不如线性的效果好。由于第二个 PW 的主要功能就是降维，按照前述原因，降维之后就不再使用ReLu6 函数了。

 

参考链接：

https://zhuanlan.zhihu.com/p/33075914

https://blog.csdn.net/u011995719/article/details/79135818

https://www.jianshu.com/p/854cb5857070

https://blog.csdn.net/u011974639/article/details/79199306

https://blog.csdn.net/t800ghb/article/details/78879612