论文理解：AlexNet(一)

alexnet发表于2012年 是非常经典的网络。

他的主要贡献有：

1.使用relu激活函数，加快了模型收敛。

2.使用双层结构，进行了gpu并行加速。属于计算图并行。

3.提出LRN层，局部归一化。

4.overlapping pooling

5.基于PCA的图像增强。

一、relu激活函数

这里不多说了，前面博客里说过，加relu激活函数可以避免梯度消失，因为relu是非饱和函数。

首先看一下效果对比：

嗯，实线是用的relu,虚线用的sigmoid。可以看出来用relu的下降速度快很多。

那么刚才我们提到的饱和函数和非饱和函数是什么意思呢？

比如sigmoid是饱和函数，上图：

当x比较大或者比较小，则y变化的很小。这就是饱和函数。

反观relu函数:

正半轴不管x取值在什么范围，其变化率都为1，即y变化速度不会随着X变化而衰减。

这就是饱和函数和非饱和函数区别。

二、多GPU并行。

我们会发现，Alexnet是双层结构，上下各一层。

这是因为，Alexnet网络提出较早，于2012年，当时他们用的GPU显存还只有3G,无法支持大规模的网络，所以选择了这种方式。分别把网络放在两个GPU中，这样就能得到更大的显存和更快的训练速度。

这种GPU并行的方式叫做计算图并行。

GPU并行可以分成：

1.计算图并行

2.数据并行

计算图并行就类似于Alexnet的结构，把神经网络分开放到不同GPU中训练。

而数据并行则不同，每个GPU的网络结构相同，而每个GPU喂的训练数据不同，每个GPU分别算出一个梯度下降值，计算其均值，让每个GPU中模型按该值下降(同步并行)。

GPU并行方式还包括一机多卡并行，多机多卡并行等。

参考博客：

http://yeephycho.github.io/2016/08/03/Normalizations-in-neural-networks/

http://blog.csdn.net/liumaolincycle/article/details/50496499

http://blog.csdn.net/sun_28/article/details/52134584