各种卷积神经网络架构

1.AlexNet - 2012年

• 在每个卷积后面添加了Relu激活函数，解决了Sigmoid的梯度消失问题，使收敛更快。
• 使用随机丢弃技术（dropout）选择性地忽略训练中的单个神经元，避免模型的过拟合（也使用数据增强防止过拟合）
• 添加了归一化LRN（Local Response Normalization，局部响应归一化）层，使准确率更高。
• 重叠最大池化（overlapping max pooling），即池化范围 z 与步长 s 存在关系 z>s 避免平均池化（average pooling）的平均效应

2.VGGNet -2014年

• 小卷积核
• 小池化核
• 层数更深、特征图更宽
• 在训练时和预测时，使用Multi-Scale做数据增强

3.GoogLeNet（inception）- 2014年

• 2014年，GoogLeNet和VGG是当年ImageNet挑战赛(ILSVRC14)的双雄，GoogLeNet获得了第一名、VGG获得了第二名，这两类模型结构的共同特点是层次更深了。VGG继承了LeNet以及AlexNet的一些框架结构，而GoogLeNet则做了更加大胆的网络结构尝试，虽然深度有22层，但大小却比AlexNet和VGG小很多，GoogleNet参数为500万个，AlexNet参数个数是GoogleNet的12倍，VGGNet参数又是AlexNet的3倍，因此在内存或计算资源有限时，GoogleNet是比较好的选择；从模型结果来看，GoogLeNet的性能却更加优越。
• 一是使用1x1的卷积来进行升降维
• 二是在多个尺寸上同时进行卷积再聚合
• 卷积分解：提出可以用2个连续的3x3卷积层组成的小网络来代替单个的5x5卷积层，即在保持感受野范围的同时又减少了参数量：
  

4.ResNet -2015年

• VGG19网络基础上进行了修改，并通过短路机制加入了残差单元

DenseNet -2017年

• 相比ResNet，这是一种密集连接。而且DenseNet是直接concat来自不同层的特征图，这可以实现特征重用，提升效率，这一特点是DenseNet与ResNet最主要的区别。

FractalNet -2017年

• 类似于ResNet 、 DenseNet，采用特征图拼接进行特征图共享

SqueezeNet -2017 -轻量化网络1

• 大量使用1x1卷积核替换3x3卷积核，因为参数可以降低9倍；
• 减少3x3卷积核的输入通道数（input channels），因为卷积核参数为：(number
  of input channels) * (number of filters) * 3 * 3.
• 模型压缩主要采用的技术有SVD，网络剪枝，权重共享和量化

MobileNet -2017年-轻量级网络2

• MobileNetV1就是把VGG中的标准卷积层换成深度可分离卷积就可以了。

ShuffleNet-2017年-轻量级网络3

• pointwise group convolution输入层的不同特征图进行分组，然后采用不同的卷积核再对各个组进行卷积，这样会降低卷积的计算量。
• channel shuffle
• 目前移动端CNN模型主要设计思路主要是两个方面：模型结构设计和模型压缩。ShuffleNet和MobileNet一样属于前者，都是通过设计更高效的网络结构来实现模型变小和变快，而不是对一个训练好的大模型做压缩或者迁移。

Xception-2017年-轻量级网络3

• Xception是一种极端的Inception，采用深度可分离卷积