神经网络：轻量级网络--MobileNet和MobileNet2解析（二）

一、引言

        前文中提到MobileNet主要通过深度可分离卷积方法的替换传统的卷积方法减少运算量来优化神经网络，MobileNet2基于MobileNet，一是在DW卷积之前加了一个 PW 卷积（改变通道数）到达升维优化计算的效果，二是去掉第二个PW 的激活函数（称之为 Linear Bottleneck）避免因低维导致特征值遭到破坏。

       本文主要内容主要解释MobileNet网络中的两个超参数（宽度乘数和分辨率乘数），以及MobileNet2的创新点以及与MobileNet、ResNet网络的主要区别。

 

二、MobileNet网络的两个超参数

       宽度乘数α（Width Multiplier）: 宽度乘数α是为了构建更小和更少计算量的网络，作用是改变输入输出通道数，减少特征图数量，让网络变瘦。简单的讲就是改变卷积核的大小进而减小模型大小。对于给定的层和宽度乘数α，输入通道数M的数量变为αM，输出通道数N变为αN。其计算量为：

        分辨率乘数β（Resolution Multiplier）：分辨率乘数β是主要作用与Feature Map，调整其大小进而减小模型的大小。其计算量为：

 

 

三、MobileNet2的创新点以及与MobileNet、ResNet的主要区别

       MoblieNet2的创新点主要有两个：一是Inverted Residuals；二是Linear Bottlencks。

       Inverted Residuals 具体过程：首先经过一个 1*1 卷积层，降低 Feature Map 的通道数；接着经过一个 3*3 的卷积层；最后再经过一个 1*1 的卷积层，升高Feature Map的通道数。

       Linear Bottlenecks：为了避免Relu 对特征的破坏，用线性变换层替换通道数较少的层中的Relu，这是因为Relu会对通道数较少的特征造成损失。     

       

       MobileNet2与MobileNet、ResNet的主要区别 

       MobileNet与MobileNet的区别：

         主要的区别有两点：

                 1. DepthWise 卷积层之前多了一个 1*1 的 “扩张升维”层，目的是为了提升通道数，获取更多的特征。

                 2. 最后不采用 Relu，而是 Linear，其目的是防止Relu破坏特征。

 

         MobileNet2 与ResNet 的区别：

         主要区别在于：

                 1. ResNet： 压缩----卷积提取特征----扩张

                 2.MobileNet2：则是扩张----卷积提取特征----压缩