卷积神经网络2——AlexNet（ImageNet-2012 NO.1）

AlexNet是从浅层网络到深层网络的关键一步，标志着DNN深度学习革命的开始

AlexNet与LeNet的差异：

• AlexNet的架构与LeNet相似，但使用了更多的卷积层和更多的参数来拟合大规模的ImageNet数据集。
• AlexNet相当于一个更大更深的LeNet。由八层组成：五个卷积层，两个全连接隐藏层和一个全连接输出层。
• AlexNet使用ReLu作为激活函数
• 使用Max pooling（最大化池化）
• AlexNet通过丢弃法（Dropout）有效控制了全连接层的模型复杂度，防止引入过多的参数，而LeNet只使用了权重衰减
• AlexNet引入了大量的图像增广，有效增加了数据样本的数量，从而缓解了过拟合现象的发生（预处理）

局部响应归一化（Local Response Normalization）

局部响应归一化层的建立是模仿生物神经系统的侧抑制机制，对局部神经元的活动创建竞争机制，使得局部响应比较大的值相对更大，这样更能凸显需要的特征，提高模型泛化能力。LRN一般是在激活、池化后进行的一种处理方法。

• 某个位置（x,y）上跨通道方向上的归一化

在神经生物学中，有一个概念叫做侧抑制（lateral inhibitio ），指的是被激活的神经元会抑制它周围的神经元，而归一化（normalization）的的目的就是“抑制”，两者不谋而合，这就是局部归一化的动机，它就是借鉴“侧抑制”的思想来实现局部抑制，当我们使用RELU损失函数的时候，这种局部抑制显得很有效果

超参数（一般）： k=2, n=4, α=0.0001, β=0.75
n为邻域值，N为通道数

由于早期GPU显存有限，原版的AlexNet采用了双数据流设计，使得每个GPU只负责存储和计算模型的一半参数
这里提供了一个稍微精简版本的AlexNet，去除了当年需要两个小型GPU同时运算的设计特点。下图左侧是LeNet，右侧是AlexNet。