GoogleNet的几个版本整理

1.paper列表

• [v1] Going Deeper with Convolutions, 6.67% test error, http://arxiv.org/abs/1409.4842
• [v2] Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift, 4.8% test error, http://arxiv.org/abs/1502.03167
• [v3] Rethinking the Inception Architecture for Computer Vision, 3.5% test error,  http://arxiv.org/abs/1512.00567
• [v4] Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning, 3.08% test error, http://arxiv.org/abs/1602.07261

2.大体思路

• Inception v1的网络，将1x1，3x3，5x5的conv和3x3的pooling，stack在一起，一方面增加了网络的width，另一方面增加了网络对尺度的适应性；
• v2的网络在v1的基础上，进行了改进，一方面了加入了BN层，减少了Internal Covariate Shift（内部neuron的数据分布发生变化），使每一层的输出都规范化到一个N(0, 1)的高斯，另外一方面学习VGG用2个3x3的conv替代inception模块中的5x5，既降低了参数数量，也加速计算；
• v3一个最重要的改进是分解（Factorization），将7x7分解成两个一维的卷积（1x7,7x1），3x3也是一样（1x3,3x1），这样的好处，既可以加速计算（多余的计算能力可以用来加深网络），又可以将1个conv拆成2个conv，使得网络深度进一步增加，增加了网络的非线性，还有值得注意的地方是网络输入从224x224变为了299x299，更加精细设计了35x35/17x17/8x8的模块；
• v4研究了Inception模块结合Residual Connection能不能有改进？发现ResNet的结构可以极大地加速训练，同时性能也有提升，得到一个Inception-ResNet v2网络，同时还设计了一个更深更优化的Inception v4模型，能达到与Inception-ResNet v2相媲美的性能

Github上面有写好的这几个版本的python实现：

https://github.com/soeaver/caffe-model

https://github.com/titu1994/Inception-v4

Aggregated ResidualTransformations for Deep Neural Networks

这篇提出了resnet的升级版。ResNeXt，the next dimension的意思，因为文中提出了另外一种维度cardinality，和channel和space的维度不同，cardinality维度主要表示ResNeXt中module的个数，最终结论

（1）增大Cardinality比增大模型的width或者depth效果更好

（2）与 ResNet 相比，ResNeXt 参数更少，效果更好，结构更加简单，更方便设计

其中，左图为ResNet的一个module,右图为ResNeXt的一个module，是一种split-transform-merge的思想

 

Xception: DeepLearning with Depthwise Separable Convolutions

这篇文章主要在Inception V3的基础上提出了Xception（Extreme Inception），基本思想就是通道分离式卷积（depthwise separable convolution operation）。最终实现了

(1)模型参数有微量的减少，减少量很少，具体如下，

(2)精度较Inception V3有提高，ImageNET上的精度如下，

先说，卷积的操作，主要进行2种变换，

(1)spatial dimensions，空间变换

(2)channel dimension，通道变换

而Xception就是在这2个变换上做文章。Xception与Inception V3的区别如下：

(1)卷积操作顺序的区别

Inception V3是先做1*1的卷积，再做3*3的卷积，这样就先将通道进行了合并，即通道卷积，然后再进行空间卷积，而Xception则正好相反，先进行空间的3*3卷积，再进行通道的1*1卷积。

(2)RELU的有无

这个区别是最不一样的，Inception V3在每个module中都有RELU操作，而Xception在每个module中是没有RELU操作的。

MobileNets: EfficientConvolutional Neural Networks for Mobile Vision Applications

 

MobileNets其实就是Exception思想的应用。区别就是Exception文章重点在提高精度，而MobileNets重点在压缩模型，同时保证精度。

 

depthwiseseparable convolutions的思想就是，分解一个标准的卷积为一个depthwise convolutions和一个pointwise convolution。简单理解就是矩阵的因式分解。

传统卷积和深度分离卷积的区别如下，

假设，输入的feature map大小为DF * DF，维度为M，滤波器的大小为DK * DK，维度为N，并且假设padding为1，stride为1。则，

原始的卷积操作，需要进行的矩阵运算次数为DK · DK · M · N · DF · DF，卷积核参数为DK · DK · N

depthwise separable convolutions需要进行的矩阵运算次数为DK · DK ·M · DF · DF + M · N · DF · DF，卷积核参数为DK · DK · M+N

由于卷积的过程，主要是一个spatial dimensions减少，channel dimension增加的过程，即N>M，所以，DK · DK · N> DK · DK · M+N。

因此，depthwiseseparable convolutions在模型大小上和模型计算量上都进行了大量的压缩，使得模型速度快，计算开销少，准确性好。如下图所示，其中，横轴MACS表示加法和乘法的计算量（Multiply-Accumulates），纵轴为准确性。

depthwise separable convolutions在caffe中，主要通过卷积层中group操作实现，base_line模型大小大概为16M。

ShuffleNet: AnExtremely Efficient Convolutional Neural Network for Mobile Devices

 

这篇文章在mobileNet的基础上主要做了1点改进：

mobileNet只做了3*3卷积的deepwiseconvolution，而1*1的卷积还是传统的卷积方式，还存在大量冗余，ShuffleNet则在此基础上，将1*1卷积做了shuffle和group操作，实现了channel shuffle 和pointwise group convolution操作，最终使得速度和精度都比mobileNet有提升。

如下图所示，

(a)是原始的mobileNet的框架，各个group之间相互没有信息的交流。

(b)将feature map做了shuffle操作

(c)是经过channel shuffle之后的结果。

Shuffle的基本思路如下，假设输入2个group，输出5个group

| group 1   | group 2  |

| 1,2,3,4,5  |6,7,8,9,10 |

转化为矩阵为2*5的矩阵

1 2 3 4 5

6 7 8 9 10

转置矩阵，5*2矩阵

1 6

2 7

3 8

4 9

5 10

摊平矩阵

| group 1   | group 2  | group 3   | group 4  | group 5  |

| 1,6           |2,7          |3,8           |4,9          |5,10        |

ShuffleNet Units 的结构如下，

(a)是一个带depthwiseconvolution (DWConv)的bottleneck unit

(b)在(a)的基础上，进行了pointwisegroup convolution (GConv) and channel shuffle

(c)进行了AVG pooling和concat操作的最终ShuffleNetunit

references:

http://iamaaditya.github.io/2016/03/one-by-one-convolution/

https://github.com/soeaver/caffe-model

https://github.com/facebookresearch/ResNeXt

https://github.com/kwotsin/TensorFlow-Xception

https://github.com/shicai/MobileNet-Caffe https://github.com/shicai/MobileNet-Caffe

https://github.com/tensorflow/models/blob/master/slim/nets/mobilenet_v1.md

https://github.com/HolmesShuan/ShuffleNet-An-Extremely-Efficient-CNN-for-Mobile-Devices-Caffe-Reimplementation

https://github.com/camel007/Caffe-ShuffleNet