Alexnet详解

0、BP前反馈神经网络原理详解

1、Lenet详解

2、Alexnet详解

3、VGG网络结构

4、NIN网络结构

5、Googlenet inception v1 结构详解、inception v2 和 inception v3

AlexNet是2012年ImageNet项目的大规模视觉识别挑战(ILSVRC)中的胜出者。AlexNet解决了1000类图像分类的问题，输入一个图像，输出向量一个1000维度向量，向量第i个元素即为输入图像属于第i类图像的概率。

一、网络结构

先看一下论文给出的网络结构图，最权威。

下面是作为一个初学者对这个结构的理解：

二、技术点

1、双GPU并行计算

      从网络结构可以看出Alexnet将卷积核分在了两个GPU上并行计算。

2、LRN局部标准化层

     跨通道归一化，即在不同的5个通道间做归一化，比如5个通道对应的元素除五个元素之和。有什么用呢，归一化是将不同变化范围的值映射到相同的固定范围中，消除数值大小对数据规律的影响。而不同通道之间的归一化呢？

3、 Overlapping Pooling重叠的池化

     卷积核在遍历图像进行池化时，步长小于卷积核尺寸造成对重叠部分的重复池化。

4、ReLu激活函数

      Sigmoid：S型曲线，，非线性饱和函数，饱和是指斜率会逐渐趋近于0，这对反向求导很不利，更容易造成梯度消失

      ReLu：f(x)= max(0,x)，，非线性非饱和函数，求导函数简单，计算速度增快，Alexnet采用ReLu

5、Dropout

     在全连接层随机丢弃一定比例（比如0.5）神经元，每次只训练50%的参数，避免过拟合。最后该全连接层每一个参数都得到训练，在测试时随机抽出50%的参数去预测，个人猜想，可以多抽取几个50%参数得到不同的结果，最后做一下bagging.

6、数据增强

    将图片镜像、原图是256x256，需要的输入图片是224x224，因此只要裁剪时包含分类对象，就可以裁剪出N多个输入图片。