AlexNet阅读

ImageNet Classification with Deep Convolutional Neural Networks

Viewpoint

1. 卷积神经网络有更少的链接和参数（参数共享），所以更易训练。
2. 目标识别这样的复杂问题，仅仅通过现有的大量数据无法实现完全，还需要大量的先验知识弥补数据不能覆盖的部分。

主要贡献

1. 使用ILSVRC-2010和ILSVRC-2012竞赛中的ImageNet数据集训练一个最大（2012年）的卷积神经网络，取得了远远好于之前同类模型的效果。
2. 网络包含很多新的特征，提高了模型的表现，缩短了训练时间。
3. 针对该模型容易过拟合的特点，提出了几种防止过拟合的方法。（模型移除任何一个层，效果变差）：a.数据增强，从256x256的原始图像以四个角点和中心点剪切出5个224x224的样本；PCA方法：像素值添加主成分。b.dropout：0.5的概率舍弃，舍弃的神经元不参与前向传播和反向传播。
4. 首次提出LRN(Local Response Normalization)

模型结构

1. 五个卷积和三个全连接层。
2. 样本尺寸多样，但是模型要求的输入为固定值，因此下采样图片为256x256的固定尺寸：先缩放至短的一边为256，然后再以图片中心裁剪出256x256的样本。
3. 采用RELU激活函数，应用于卷积层和全链接的每一层。这种非饱和计算的非线性函数要比饱和计算的非线性函数（tanh或sigmod等）计算快。在训练中比tanh快几倍。
4. LRN在RELU之后应用，只应用于第一和第二个卷积层。最大池化应用于LRN之后和第五个卷积层。

训练效果

1. 数据集：ImageNet子集，1000种类，每类大约1000+样本。总计约120万训练集和5万的验证集和15万测试集。
2. 梯度下降，学习率0.01，学习衰减率0.0005。
3. ILSVRC-2010 test set error rates:top-1 37.5%、top-5 17%；ILSVRC-2012 validation set error rates:top-1 40.7%、top-5 18.2%。