几种经典神经网络的结构

#AlexNet

2012年出现的一个8层卷积神经网络，ILSVRC比赛Top5错误率达到了15.315%。AlexNet使用了5个卷积层(包括3个pooling层和2个norm层)、3个全连接层，总共60M个参数。

#ZF-Net

2013年提出的一个算法，Top5错误率达到了11.743%。所采用的神经网络框架几乎和AlexNet一样，区别仅仅是把第一个卷积层的卷积核尺寸从11*11修改为7*7，步长从4缩小为2，相当于增加了网络的宽度。

#VGG

2014年提出的算法。VGG通过增加网络的深度提高网络性能。VGG有8个部分组成，它们是5个卷积核、2个全连接特征层和1个全连接分类层。每个卷积组由1~4个卷积层串联构成，所有卷积层都使用了3*3的小尺寸卷积核。多个3*3卷积层可看作是大尺寸卷积层的分解，如两个3*3卷积层的有效卷积核大小是5*5，三个卷积核的有效卷积核大小是7*7。VGG给出了A~E五种配置方法，网络层数从11层增加到19层，对用的网络参数从133M增加到144M，不过在16层时候就达到瓶颈。后来发现此模型在目标检测方面效果很好。

#GoogLeNet

2014年提出的，GoogLeNet由多个Inception基本模块级联组成，网络达到22层的深度。主要思想是以3个不同尺寸的卷积核对前一个输入层提取不同尺度的特征信息，然后融合这些特征信息并传递到下一层。Inception拥有1*1,3*3,5*5的卷积核，其中1*1的卷积核较前一层有较低的维度，主要用于数据降维，往后传播时降低了他们的卷积计算量，避免了由于增加网络规模所带来的巨大计算量。通过对4个通道的特征融合，下一层可以从不同尺度上提取到更有用的特征。

#ResNet

2015年，ResNet使用152层深度残差网络深度是VGG网络深度的8倍，而网络参数要少很多。