AlexNet

AlexNet

深度卷积神经网络的突破出现在2012年，突破可归因于两个关键因素：数据和硬件。下图是一个稍微精简版本的AlexNet，去除了当年需要两个小型GPU同时运算的设计特点。AlexNet和LeNet的设计理念非常相似，但也存在显著差异。 首先，AlexNet比相对较小的LeNet5要深得多。 AlexNet由八层组成：五个卷积层、两个全连接隐藏层和一个全连接输出层。 其次，AlexNet使用ReLU而不是sigmoid作为其激活函数。 AlexNet通过dropout控制全连接层的模型复杂度，而LeNet只使用了权重衰减。为了进一步扩充数据，AlexNet在训练时增加了大量的图像增强数据，如翻转、裁切和变色。 这使得模型更健壮，更大的样本量有效地减少了过拟合。

从LeNet（左）到AlexNet（right）

Ps：如果AlexNet的输入图片尺寸为227*227计算通道会更简单

小结

• AlexNet的架构与LeNet相似，但使用了更多的卷积层和更多的参数来拟合大规模的ImageNet数据集。

• 今天，AlexNet已经被更有效的架构所超越，但它是从浅层网络到深层网络的关键一步。

• 尽管AlexNet的代码只比LeNet多出几行，但学术界花了很多年才接受深度学习这一概念，并应用其出色的实验结果。这也是由于缺乏有效的计算工具。

• Dropout、ReLU和预处理是提升计算机视觉任务性能的其他关键步骤。