深度学习笔记一： LeNet-5、AlexNet 和 VGGNet等网络模型的小结

最近在学习吴恩达Andrew Ng的深度学习课程，之前对这几个网络还比较混乱，现在记录一下：

LeNet-5神经网络的贡献： 

1.这是一个比较早的网络模型，其中在卷积层后面加入池化层的思想先今还在使用。

2.在最后的卷积层接入池化层和全连接层在当前也比较常用。

出处：Gradient-Based Learning Applied to Document Recognition

其结构为 输入-->卷积层-->平均池化层-->卷积层-->平均池化层-->全连接层-->全连接层-->softmax分类器（原论文不是采用这种方式）

注意：LeNet-5 是针对灰度图片训练的，所以图片的大小只有 32×32×1

 

AlexNet神经网络的贡献：

1.使用了 ReLu 激活函数

2.AlexNet 包含约 6000 万个参数，相对于LeNet网络（有 6 万个参数）多了很多参数。能够处理非常相似的基本构造模块。

3.从这开始，计算机视觉领域开始注意到深度学习。

一些特点：

1.采用了非常复杂的方法在两个 GPU 上进行训练

2.经典的 AlexNet 结构还有另一种类型的层，叫作“局部响应归一化层”，即 LRN 层。目前用到这个的不多。

结构：Alexnet网络和LeNet的网络结构比较相似

出处：ImageNet Classification with Deep Convolutional Neural Networks

VGG-16神经网络的贡献：

1.简化了神经网络结构（例如，把两个卷积网络合成一个：输入-->卷积1-->卷积2-->输出3  ==输入-->2x卷积(同结构)-->输出3 ）

2.随着网络的加深，图像的高度和宽度都在以一定的规律不断缩小；通道数量在不断增加

特点：

1.数字 16，就是指在这个网络中包含 16 个卷积层和全连接层。

2.这是一种只需要专注于构建卷积层的简单网络

出处：Very Deep Convolutional Networks forLarge-Scale Image Recognition