ShuffleNet 与 MobileNet V2 论文笔记

ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices

论文链接：https://arxiv.org/abs/1707.01083

论文Caffe代码：https://github.com/ziweizhan/DeepLearning

MobileNet V2: Inverted Residuals and Linear Bottlenecks: Mobile Networks for Classification, Detection and Segmentation

论文链接：https://arxiv.org/abs/1801.04381

论文Caffe代码：https://github.com/ziweizhan/DeepLearning

大体介绍一下ShuffleNet和MobileNet v2.

一. ShuffleNet

方法介绍：

通俗讲一下就是（a）图中3个group（Alexnet中最早使用group）特征互相没有关联造成信息丢失。论文是将group打乱并将它们都分配给每一个不同的group这样就可以充分利用图片特征信息。

Shuffle UNIT：

这个是使用Shufflenet改进版的残差网络块。

DW表示的是mobilenet里面的深度分解卷积。

图b是本文给出的一种模块(输出前后feature的size不变)， 相比于图a,只是将第一个1x1卷积改成了group convolution，同时后续增加通道 shuffle。

图c是本文给出的另一种模块(输出前后feature的size变小，但通道数增加)，主要是为了应对下采样问题。 注意，最后的合并操作由原来的 “Add” 变成了 “Concat”, 目的是为了增加通道数。
 

二. Moblienet v2

创新点：

1.  v2 和v1 不同之处在于，v1是先通过1*1的卷积减少通道数，然后在使用3*3的卷积提取特征，最后再通过1*1的卷积来恢复通道数。V2 直接通过1*1的卷积获取6倍的通道数，然后使用深度分解卷积3*3的卷积核提取特征，最后再通过1*1的卷积来减少通道数。

2. 作者发现最后的1*1的卷积后面加Relu函数会影响特征效果所以就将最后的1*1的卷积层的Relu激活函数去掉。

网络结构：

上图就是v1和v2 之间最主要的区别。

论文还对比了残差网络和v2网络之间的差异：

主要不同之处就在于，ResNet是：压缩”→“卷积提特征”→“扩张”，MobileNetV2则是Inverted residuals,即：“扩张”→“卷积提特征”→ “压缩”

v2和v1功耗对比：