[v1] MobileNet Series Note

MobileNetV1

Abstract

• 作者提出了一类名为MobileNets的高效模型，用于移动和嵌入式视觉应用。

• MobileNets基于流线型架构，使用深度可分离卷积来构建轻量级深度神经网络。

• 引入了两个简单的全局超参数，可以有效地在延迟和准确性之间进行权衡。这些超参数允许模型构建者根据问题的约束条件为他们的应用程序选择适当大小的模型。

• 在资源和准确性的权衡上进行了大量的实验，并与其他流行的ImageNet分类模型相比显示了强大的性能。

• 演示了MobileNets在广泛的应用程序和用例中的有效性，包括对象检测、细粒分类、面部属性和大规模地理定位。
  

MobileNets基于流线型架构，使用深度可分离卷积来构建轻量级深度神经网络。作者引入了两个简单的全局超参数，可以有效地在延迟和准确性之间进行权衡。这些超参数允许模型构建者根据问题的约束条件为他们的应用程序选择适当大小的模型。

论文创新点 (Create point)

• Depthwise Separable Convolution

MobileNet是基于深度级可分离卷积构建的网络，其实这种结构最早是出现在GoogleNet v3的inception中，它是将标准卷积拆分为了两个操作：深度卷积(depthwise convolution) 和 逐点卷积(pointwise convolution)，Depthwise convolution和标准卷积不同，对于标准卷积其卷积核是用在所有的输入通道上（input channels），而depthwise convolution针对每个输入通道采用不同的卷积核，就是说一个卷积核对应一个输入通道，所以说depthwise convolution是depth级别的操作。

• Pointwise Convolution

其实就是普通的卷积，只不过其采用1x1的卷积核。

• 与标准卷积层（with BN and ReLU）的对比
  

• MobileNet的网络结构如下表1所示，一共由28层构成(不包括Avg Pool和FC层，且把深度卷积和逐点卷积分开算)，其除了第一层采用的是标准卷积核之外，剩下的卷积层都用的是 Depth wise Separable Convolution。
  

• Width Multiplier: Thinner Models 宽度乘数 α 的作用是在每一层均匀地细化网络：
  

• Resolution Multiplier: Reduced Representation 分辨率乘数：缩减表示：
  降低神经网络计算成本的第二个超参数是分辨率乘数 ρ
  

Models

调整参数后模型的相关参数

Comparison

Table and Figure

论文链接(Link)

https://github.com/tensorflow/models/blob/238922e98dd0e8254b5c0921b241a1f5a151782f/research/slim/nets/mobilenet_v1.md

论文评价

• 这篇论文讲Google创造的一个基于移动端设备使用的轻量型网络MobileNet【MobileNet网络是由google团队在2017年提出的，专注于移动端或者嵌入式设备中的轻量级CNN网络。相比传统卷积神经网络，在准确率小幅降低的前提下大大减少模型参数与运算量。(相比VGG16准确率减少了0.9%，但模型参数只有VGG的1/32)。】

• 在其中通过引入Depthwise Conv和Pointwise Conv结合而成Depthwise Separable Convolution（深度可分离卷积）【在我们mobilenet网络中DW卷积都是是使用3x3大小的卷积核。所以理论上普通卷积计算量是DW+PW卷积的8到9倍】

• paper中还提到两个hyper-parameter：Width Multiplier and Resolution Multiplier【一个是α一个是β。α参数是一个倍率因子，用来调整卷积核的个数，β是控制输入网络的图像尺寸参数】