[经典CNN网络]：LeNet，AlexNet，GoogleNet，VGG，ResNet，SENet，Xception，MobileNet，ShuffleNet

1. CNN模型发展

1. 1998 LeNet：最早用于数字识别的CNN
2. 2012 AlexNet： ILSVRC竞赛2012年第一名
3. 2013 ZFNet： ILSVRC竞赛2013年第一名
4. 2014 GoogleNet：ILSVRC竞赛2014年第一名
   VGG： ILSVRC竞赛2014年第二名
5. 2015 ResNet： ILSVRC竞赛2015年第一名
6. 2016 GBD-Net： ILSVRC竞赛2016年第一名
   ResNeXt，DenseNet
7. 2017 SENet： ILSVRC竞赛2017年第一名
   Xception，MobileNet，ShuffleNet

2. 模型简介

1. 1998 LeNet
   LeNet-5网络结构：5层：2*（卷积层+降采样层）+2个全连接层+1个高斯连接层
2. 2012 Alexnet ILSVRC竞赛2012年第一名
   网络层数：8层：5个卷积层（+池化层）+3个全连接层
   网络结构方面：引入非线性单元ReLu、多GPU、局部相应归一化层、Overlapping Pooling
3. 2013 ZF-Net ILSVRC竞赛2013年第一名
   没有什么重大突破
4. GoogleNet，VGG
   GoogleNet： ILSVRC竞赛2014年第一名
   VGG ：ILSVRC竞赛2014年第二名
   1. GoogleNet 包括Inception V1-V4
      • 2014年9月的《Going deeper with convolutions》提出的Inception V1,将全连接，甚至卷积中的局部连接，全部替换为稀疏连接。
      • 2015年2月的《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》提出的Inception V2，加入了BN（Batch Normalization）层，并且使用2个3*3替代1个5*5卷积。
      • 2015年12月的《Rethinking the Inception Architecture for Computer Vision》提出的Inception V3，提出了卷积分解，将77分解成两个一维的卷积（17,71），33也是一样（13,31），这样的好处，既可以加速计算（多余的计算能力可以用来加深网络），又可以将1个conv拆成2个conv，使得网络深度进一步增加，增加了网络的非线性。
      • 2016年2月的《Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning》提出的Inception V4，利用残差连接（Residual Connection）来改进v3结构，将Inception模块和ResidualConnection结合，使得训练加速收敛更快，精度更高。
   2. VGG
      VGG得出结论：卷积神经网络的深度增加和小卷积核的使用对网络的最终分类识别效果有很大的作用。
      在AlexNet基础上，采用3x3的卷积代替7x7的卷积，使用了1x1的卷积核
      VGG只采用3x3，而GoogleNet采用1x1, 3x3, 5x5，模型更加复杂（模型开始采用了很大的卷积核，来降低后面卷机层的计算）
5. 2015 ResNet ILSVRC竞赛2015年第一名
   随着网络的加深，出现了训练集准确率下降的现象，可以确定这不是由于Overfit过拟合造成的，作者针对这个问题提出了一种全新的网络，叫深度残差网络，它允许网络尽可能的加深。
6. 2016 GBD-Net、ResNeXt、DenseNet
   GBD-Net： ILSVRC竞赛2016年第一名
   1. GBD-Net，虽然是竞赛第一名，但没有重大突破
   2. ResNeXt，resnet的升级版，文中提出了另外一种维度cardinality，和channel和space的维度不同，cardinality维度主要表示ResNeXt中module的个数，与 ResNet 相比，ResNeXt 参数更少，效果更好，结构更加简单，更方便设计
7. 2017 DenseNet
   通过对feature的极致利用达到更好的效果和更少的参数，有几个优点：减轻了梯度消失、加强了feature的传递、一定程度上减少了参数量。
8. 2017 SENet ILSVRC竞赛2017年第一名
   SqueezeNet有着跟AlexNet一样的精度，但是参数却比Alex少了接近50倍并且参数只需要占用很小的内存空间。
9. Xception
   在Inception V3的基础上提出了Xception（Extreme Inception），基本思想就是通道分离式卷积（depthwise separable convolution operation）。Inception V3是先做11的卷积，再做33的卷积，这样就先将通道进行了合并，即通道卷积，然后再进行空间卷积，而Xception则正好相反，先进行空间的33卷积，再进行通道的11卷积。
10. MobileNet
    MobileNets重点在压缩模型，同时保证精度。
11. ShuffleNet
    在mobileNet的基础上主要做了1点改进,mobileNet只做了3*3卷积的deepwise convolution，而1*1的卷积还是传统的卷积方式，还存在大量冗余，ShuffleNet则在此基础上，将1*1卷积做了shuffle和group操作，实现了channel shuffle 和pointwise group convolution操作，最终使得速度和精度都比mobileNet有提升。

参考文章：
https://zhuanlan.zhihu.com/p/58776542
https://blog.csdn.net/weixin_41770169/article/details/84985254