【深度学习】经典卷积神经网络模型

在卷积神经网络发展的过程中经历了很多革命性的创新，诞生了很多优秀的网络结构，接下来我将介绍几个经典网络结构

• LeNet，这是最早用于数字识别的卷积神经网络（CNN）
• AlexNet，2012 ILSVRC比赛远超第2名的CNN，比 LeNet更深，用多层小卷积层叠加替换单大卷积层
•  ZF Net，2013 ILSVRC比赛冠军
•  GoogLeNet，2014 ILSVRC比赛冠军
•  VGGNet，2014 ILSVRC比赛中的模型，图像识别略 差于GoogLeNet，但是在很多图像转化学习问题(比 如object detection)上效果很好
•  ResNet，2015ILSVRC比赛冠军，结构修正(残差学 习)以适应深层次CNN训练。
• DenseNet，CVPR2017的oral

1、LeNet

第一个成功的卷积神经网络应用，是 YannLeCun 在上世纪 90 年代实现的。当然，最著名的还是被应用在识别数字和邮政编码等的LeNet结构。

LeNet-5 ，用于实现手写识别的7层CNN（不包含输入层），以下为LeNet-5的示意图

2、AlexNet

AlexNet 卷积神经网络在计算机视觉领域中受到欢迎，它由 Alex Krizhevsky，Ilya Sutskever和GeoffHinton实现。AlexNet在2012年的ImageNetILSVRC竞赛中夺冠，性能远远超出第二名（16% 的 top5 错误率，第二名是 26% 的 top5 错误率）主要是使用了大量的数据并且使用了两块GPU进行训练。这个网络的结构和 LeNet 非常类似，但是更深更大，并且使用了层叠的卷积层来获取特征（之前通常是只用一个卷积 层并且在其后马上跟着一个汇聚层）

网络详细参数设置如下

3、ZF Net

MatthewZeiler和RobFergus发明的网络在ILSVRC2013比赛中夺冠，它被称为ZFNet （Zeiler & Fergus Net 的简称）。它通过修改结构中的超参数来实现对 AlexNet 的改良，具体说来就是增加了中间卷积层的尺寸，让第一层的步长和滤波器尺寸更小。

4、GoogLeNet

ILSVRC2014 的胜利者是谷歌的Szeged等实现的卷积神经网络。它主要的贡献就 是实现了一个奠基模块，它能够显著地减少网络中参数的数量（AlexNet 中有 60M，该网络中只4M）。还有，这个论文中没有使用卷积神经网络顶部使用全连接层，而是使用了一个平均汇聚，把大量不是很重要的参数都去除掉了。GooLeNet 还有几种改进的版本，最新的一个是Inception-v4。

网络结构如下

5、VGGNet

VGGNet：ILSVRC 2014 的第二名是 Karen Simonyan 和 Andrew Zisserman 实现的卷积神经网络，现在称其为VGGNet。虽然是第二名但是他在分类和定位的任务上都去有着更好的表现，
它主要的贡献是展示出网络的深度是算法优良性能的关键部分。他 们最好的网络包含了 16 个卷积/全连接层。网络的结构非常一致，从头到尾全部使用的是 3x3 的卷积和 2x2 的汇聚。他们的预训练模型是可以在网络上获得并在 Caffe 中使用的。VGGNet不好的一点是它耗费更多计算资源，并且使用了更多的参数，导致更多的内存占用（140M）。其中绝大多数的参数都是来自于第一个全连接层。后来发现这些全连接层即使被去除，对于 性能也没有什么影响，这样就显著降低了参数数量。

VGG16网络结构如下

6、ResNet

残差网络（Residual Network）是 ILSVRC2015 的胜利者，由何恺明等实现。它使用了特殊的跳跃链接，大量使用了批量归一化（batchnormalization。这个结构同样在最后没有使用全连接层。这个网络最大的特点就是深，他比VGG还要深8倍，使用了Residual Block防止梯度消失，使得网络的效果随着深度的增不会变坏

网络结构超级深就看个热闹吧

7、DenseNet

算是最近的了，论文可以点标题进去看，坐着借鉴了ResNet及Inception的思想，使用了全新的结构，使用DenseBlock将所有的层都连起来了，简直6的飞起。


网络结构如下

总的来DenseNet的效果比Resnet稍好，而且参数数量下降许多，但densenet在训练时会消耗更多的内存。