CNN经典论文解读(AlexNet)

AlexNet

网络架构：

包含8层，其中五个卷积层与三个全连接层。并且在第二层、第三层以及第五层后使用overlap的max pooling。第一层的卷积核为11*11*3步长为4，一共96个核。第二层为256个5*5*96第三层为384个3*3*256第四层为384个3*3*384第五层为256个3*3*384。后面紧跟4096、4096、4096三个全连接层输出为1000个类别。

trick:

1.使用relu激活函数

 基于ReLU的深度卷积网络比基于tanh和sigmoid的网络训练快数倍，并且很好的降低了梯度消失的可能性

2.局部反应标准化（Local Response Normalization）

 实现局部神经元竞争，局部内响应较大的神经元变得更大并抑制反应小的神经元，提升泛化能力。

3.重叠的最大池化

相对于不重叠的最大池化，重叠的最大池化能够保留更多的特征，提升特征丰富性。

4.数据增强

目前训练的标配，不用多说。

5.dropout 

同理，不需要多说

可改进的空间：

1.第一个卷积层使用的是11*11的滤波器，导致无法提取更细粒度的特征，是否可以使用更多更小的滤波器来代替第一个卷积层。

2.LRN在往后的算法中效果不是很大，所以用的人并不多。