深度学习算法原理——经典CNN结构之AlexNet

论文地址：ImageNet Classification with Deep Convolutional Neural Networks

AlexNet卷积神经网络在CNN的发展过程中起着非常重要的作用，AlexNet是由加拿大多伦多大学的Alex Krizhevsky等人提出。

1、AlexNet的网络结构

AlexNet的网络结构如下图所示：

抛开两个GPU的结构不说，这主要是因为受当时的计算环境的影响。对于AlexNet的结构，从上面的图可以看出，AlexNet网络中包含5个卷积层和3个全连接层。

2、AlexNet网络结构的主要特点

2.1、ReLU激活函数

在神经网络中，使用的激活函数通常有：Sigmoid函数，Tanh函数。这两个激活函数属于饱和非线性（saturating nonlinearities），在训练的过程中会出现梯度弥散的现象（反向传播时梯度接近为0），在梯度下降法过程中比非饱和非线性的激活函数的训练速度慢，而Rectified Linear Units（ReLUs） 。

ReLu激活函数的具体形式为：

$$f\left(x\right)=max\left(0,x\right)$$

其函数的图像如下图所示：