常用卷积神经网络 -- AlexNet

在计算机视觉流程中真正重要的是数据和特征。在相当⻓的时间里，特征都是基于各式各样手工设计的函数从数据中提取的。研究者表示，其实特征本身也应该由学习得来，在多层神经网络中，图像的第一级的表示可以是在特定的位置和⻆度是否出现边缘；而第二级的表示说不定能够将这些边缘组合出有趣的模式，如花纹;在第三级的表示中，也许上一级的花纹能进一步汇合成对应物体特定部位的模式。这样逐级表示下去，最终，模型能够较容易根据最后一级的表示完成分类任务。输入的逐级表示由多层模型中的参数决定，而这些参数都是学出来的。

2012年，AlexNet横空出世。这个模型的名字来源于论文第一作者的姓名Alex Krizhevsky 。 AlexNet使用了8层卷积神经网络，并以很大的优势赢得了ImageNet 2012图像识别挑战赛。它首次证明了学习到的特征可以超越手工设计的特征，从而一举打破计算机视觉研究的前状。

 

AlexNet介绍：

1、卷积层块和全连接层块

AlexNet包含8层变换，其中有5层卷积 + 2层全连接隐藏层 + 1个全连接输出层。AlexNet第一层中的卷积窗口形状是11 × 11。因为ImageNet中绝大多数图像的高和宽均比MNIST图像的高和宽大10倍以上，ImageNet图像的物体占用更多的像素，所以需要更大的卷积窗口来捕获物体。第二层中的卷积窗口形状减小到5 × 5，之后全采用3 × 3。此外，第一、第二 和第五个卷积层之后都使用了窗口形状为3 × 3、步幅为2的最大池化层。而且，AlexNet使用的卷积通道数也大于LeNet中的卷积通道数数十倍。紧接着最后一个卷积层的是两个输出个数为4096的全连接层。

2、AlexNet将sigmoid激活函数改成了更加简单的ReLU激活函数。

3、AlexNet通过丢弃法来控制全连接层的模型复杂度。

4、AlexNet引入了大量的图像增广，如翻转、裁剪和颜色变化，从而进一步扩大数据集来缓解过拟合。