AlexNet介绍（1）

一.背景介绍：
      第一个典型的卷积网络是lenet5,但是第一个引起大家极大关注的卷积网络确是AlexNet。该模型在2012年ImageNet竞赛中取得冠军，并与第二名拉开了较大的差距，所以在当时对学术界和工业界带来了较大的影响，同时也带来了深度学习的春天。自此深度学习在图像，语音等领域大放异彩，计划碾压其他传统的机器学习算法。
二.网络结构：

1.     输入层：224*224*3        （论文上是这个输入尺寸，但是经过计算和查看相关博文，其实应该是227*227*3。不过我们下面直接使用pytorch提供的官方代码，它里面加入了自适应均值池化，可以忽略尺寸大小的影响）
2.     网络共有5个卷积层和3个全连接层。
3.     除最后一个全连接层以外，每层后面接relu(校正线性单元)
4.     在第一个relu,第二个relu,和第5个relu后面接最大池化层。
5.     在第一个最大池化层和第二个最大池化层后面接局部响应归一化。
6.     在第6个relu和第7个relu后面接dropout。
7.     最后分类使用softmax。

    以上是论文中介绍的网络结构,但pytorch中的源码对此做了少部分的修改。下图是从百度上搜出来的，勉强看一下吧。

三. 评价：

•    网络中使用relu作为激活函数，经验证，效果要好于sigmoid等饱和函数，减小了网络较深时梯度消失的影响
•     使用dropout来减小过拟合问题
•     使用最大池化，且准许重叠池化。有效缓解过拟合问题
•     提出了局部归一化，对局部神经元的活动创建竞争机制，增强了模型的泛化能力。