MobileNetV1

该论文是《MobileNets: Efficient Convolutional Neural Networks for Mobile Vision
Applications》。

1. 研究问题

研究轻量化网络，可以在内存受限的移动设备上进行各种视觉任务。

2. 研究方法

所提出的 MobileNetV1 使用深度可分离卷积来构建轻量级深度神经网络，又提出两个全局超参数，使得用户可以根据需求构建更小的网络。

2.1 深度可分离卷积

深度可分离卷积由两部分组成：深度卷积和点卷积。

标准卷积的计算量：

深度可分离卷积的计算量：

2.2 网络结构和训练方法

所有卷积层后跟着BN和ReLU非线性，只有最后的全连接层跟着softmax分类器。

下采样使用步长为2的深度卷积。

标准卷积和深度可分离卷积的对比：

训练策略：

• RMSprop优化器
• 使用很少的正则化和数据增强技术，这是因为模型小，很少过拟合。
• 不加权重衰减或者加很小。

2.3 宽度乘数: 更瘦的模型

宽度乘数就是对每一层的特征图的深度乘以一个小于1的数，使网络的参数量更少，也就是网络更瘦。

深度可分离卷积加上宽度乘数后的计算代价：

当$\alpha =1$时就是原始的深度可分离卷积。可以看到，加上宽度乘数后大概将计算量降为${\alpha }^2$。

宽度乘数的作用如下所示：

2.4 分辨率乘数：减小的分辨率

分辨率乘数就是对输入特征图的大小乘以一个小于1的数，网络的参数量不变，但是计算量减小了。

深度可分离卷积加上分辨率乘数后的计算代价：

可以看到，加上分辨率乘数后大概将计算量降为${\rho }^2$。

分辨率乘数的作用如下所示：

3. 实验结果

4. 结论

深度可分离卷积以及两个收缩网络的超参数可以用于设计轻量化的网络，已实现在移动设备上的视觉任务。