AlexNet模型解读

AlexNet上的一个完整的卷积层可能包括一层convolution、一层Rectified Linear Units、一层max-pooling、一层normalization。整个网络结构包括五层卷积层和三层全连接层，网络的最前端是图片的原始像素点，最后端是图片的分类结果。

1.第一层：卷积层
其中conv1说明输出为96层，使用的卷积核大小为[11,11]，步进为4。在此之后变为[55,55]大小，深度为96的数据。之后进行一次ReLU激活，再将输入的数据进行池化处理，池化的核大小为3，每次步进为2，如下图所示：

说明：池化层的步进为2，实用的是重叠池化。重叠池化的作用就是对数据集的特征保留相对于一般池化较多，可以更好的反应特征现象。后面就是对数据的归一化处理，这里使用的是特殊计算层—LRN层，其作用是对当前层的输出结果做平滑处理。如下图所示：

　　　　　　　　　　$b=a/((k+\alpha /N){\sum }_{}^{}(a{)}^2{)}^{\beta }$
此公式中a是当前层中需要计算的点，α为缩放因子，β为指数项，这两个均是计算系数，N是扩展的层数，一般建议选5（前后2层加上本身的1层）

2.第二层：卷积层
如下图所示：

3.第三层：卷积层
如下图所示：

4.第四层：卷积层
如下图所示：

5.第五层：卷积层
如下图所示：

6.第六层：全连接层
如下图所示：

全连接层进行的是权重和输入值的矩阵计算，本质就是将输入矩阵特征空间投射到另一个特征空间。在这个空间投射变换过程中，提取整合了有用的信息，加上适当的激活函数，使得全连接层在理论上可以模拟出线性和非线性变换。
全连接层在整个连接的最后一层将不同的结果映射，可以认为是对输入进行分类。在卷积神经网络中，使用大量的卷积和池化层做特征提取，之后使用全连接做特征加权和映射。
7.第七层：全连接层
如下图所示：

8.第八层：全连接层
如下图所示：

从全连接层的图示可以看到，在这里使用了两个dropout层。dropout是指在深度学习网络的训练过程中，对于神经单元，按照一定的概率将其暂时从网络中丢弃。这样做的好处是对于随机梯度下降来说，由于是随机丢弃，因此每一个mini-batch都在训练不同的网络。
最终由最后一个全连接层对数据进行分类处理，使用的是softmax函数进行数据分类。