AlexNet网络

        AlexNet是2012年ImageNet竞赛冠军获得者Hinton和他的学生Alex Krizhevsky设计的，也是在那年之后，更多更深的神经网络被提出，比如优秀的VGG, GoogleLeNet等。这对于传统的机器学习分类算法而言，已经相当的出色。

      第一个典型的CNN是LeNet5网络结构，但是第一个引起大家注意的网络却是AlexNet, 也就是文章《imagenet classification with deep convolution Neural Networks》介绍的网络结构，AlexNet有60million个参数和65000个神经单元，五层卷积，三层全连接网络，最终的输出层是1000通道的softmax.

网络结构分析：

        第一层：卷积层，输入：224x224x3的图像，卷积核的数量96，卷积核的大小11x11x3,stride=4,pad=0表示不扩充边缘，卷积后的图像大小怎样的呢？

width=(224+2*padding-kernel_size)//stride+1=(224-11)//4+1=54

height=(224+2*padding-kernel_size)//stride+1=(224-11)//4+1=54

dimension=96

然后进行（local response normalized),后面跟着池化pool_size=(3,3), stride=2, pad=0,最终获得第一层卷积的feature map,

  第一层,然输入为上一层卷积的feature map,卷积的个数为256个，卷积核为5x5x48,pad=2,stride=1,然后做LRN,最后max_pooling, pool_size=(3,3), stride=2

.................

Local Response Normalization(局部响应归一化）

在神经网络中，我们用激活函数将神经元的输出做一个非线性映射，但是tanh和sigmoid这些传统的激活函数的值域都是由范围的，但是relu激活函数得到的值域没有一个区间，所以要对relu得到的结果进行归一化，也就是local response normalization。

防止过拟合的方法

    神经网络的一个比较严重的问题就是过拟合问题，论文中采用的数据增强和dropout的方法处理过拟合问题。

Data Augmentation(数据增强）  

     数据增强是防止过拟合的最简单的方法，只需要对原始的数据进行合适的变化，就会得到更多有差异的数据集，防止过拟合。

Dropout

  Dropout背后有很多有意思的东西，暂时只需要知道Dropout是在全连接层种去掉了一些神经节点，达到防止过拟合的目的，