CNN模型之AlexNet

一、介绍

        AlexNet是Alex Krizhevsky等人2012年提出。这个模型具有重大的意义，将ImageNet ILSVRC-2010竞赛的120万张图片1000个类别。top-1错误率为37.5%，top-5错误率为17.0%。在2012年的比赛中，将top-5错误率降到了15.3%，相较于第二名26.2%的错误率。AlexNet的性能提升了很多。

二、网络结构

        AlexNet的网络结构：5个卷积层+3个全连接层(包含一个输出层)。

• 第一个卷积层：Conv+LRN+ReLU+MaxPool。96个大小为$11\times 11\times 3$的卷积核，步长为4
• 第二个卷积层：Conv+LRN+ReLU+MaxPool。256个大小为$5\times 5\times 48$的卷积核。
• 第三个卷积层：Conv+ReLU。256个大小为$3\times 3\times 256$的卷积核。
• 第四个卷积层：Conv+ReLU。384个大小为$3\times 3\times 192$的卷积核。
• 第五个卷积层：Conv+ReLU+MaxPool。256个大小为$3\times 3\times 192$的卷积核。
• 两个全连接层：都配有ReLU和Dropout。4096个单元。
• 输出层：1000个单元。配有softmax多分类器。

主要贡献

• 使用ReLU代替传统的激活函数
• LRN：局部响应归一化，将数据归一化到0-1之间。
• 重叠池化使特征图更加稠密，类似于2*2滤波器卷积
• Dropout防止过拟合，正则化方法。
• 使用了数据增强来丰富样本。
• Softmax损失函数，分类器。

三、总结

        AlexNet在卷积神经网络的发展上非常重要，也是从这个模型开始，卷积神经网络蓬勃发展。其使用了ReLU、LRN、Dropout等方法来提高模型的精度。虽然现在有很多模型，但这个模型也是我们必须学习的模型，从模型的分析来理解模型每个技术的作用。

友情链接：
代码实现：https://github.com/guoyuantao/CNN_Model/tree/master/CNN_on_cifar_ByPytorch
联系方式：2391855138(加好友请备注)