深度学习_目标分类_AlexNet详解

AlexNet简介

AlexNet是2012年ISLVRC 2012（ImageNet Large Scale Visual Recognition Challenge）竞赛的冠军网络，分类准确率由传统的70%+提升到80%+，它是由Hinton和他的学生Alex Krizhevsky设计的。也是在那年之后，深度学习开始迅速发展。
ISLVRC 2012训练集：1，281，167张
已标注图片验证集：50，000张
已标注图片测试集：100，000张未标注图片

AlexNet网络的亮点

该网络的亮点在于：
（1）首次利用GPU进行网络加速训练。
（2）使用了ReLU激活函数，而不是传统的Sigmoid激活函数以及Tanh激活函数。
（3）使用了LRN局部响应归一化。
（4）在全连接层的前两层中使用了Dropout随机失活神经元操作，以减少过拟合。

1. 过拟合 ，过拟合：根本原因是特征维度过多，模型假设过于复杂，参数过多，训练数据过少，噪声过多，导致拟合的函数完美的预测训练集，但对新数据的测试集预测结果差。过度的拟合了训练数据，而没有考虑到泛化能力。

过拟合图像：

2. Dropout ，使用Dropout减少过拟合
使用Dropout的方式在网络正向传播过程中随机失活一部分神经元

经卷积后的矩阵尺寸大小计算公式

N= (W-F+2P)/S+1
注释：
输入图片大小wXw
Filter大小FXF
步长s
padding的像素数P

AlexNet网络层数的参数

接下来是VGG_16的网络层数的参数