深度学习之经典神经网络框架详解（二）：VGGNet

深度学习之经典神经网络框架（二）：VGGNet

ILSVRC2014比赛分类项目的第二名，构造了16~19层深的卷积神经网络，证明了增加网络的深度能够在一定程度上影响网络最终的性能，使错误率大幅下降，同时拓展性又很强，迁移到其它图片数据上的泛化性也非常好。

框架：

问题or特点：

The main contribution is a thorough evaluation of networks of increasing depth using an architecture with very small (3×3) convolution filters,
本文讨论了ConvNet体系结构设计的另一个重要方面——深度。修正了架构的其他参数，在所有层中都使用了非常小的卷积滤波器(3×3) which is the smallest size to capture the notion of left/right, up/down, center. 通过增加卷积层来稳步增加网络的深度。发布了两个性能最好的模型。

1. 结构简洁：由5层卷积层、3层全连接层、softmax输出层构成，层与层之间使用max-pooling分开，所有隐层的激活单元都采用ReLU函数。
2. 使用多个小卷积核和多层卷积子层，一方面可以减少参数，另一方面相当于更多的非线性映射，能够增加网络的拟合能力。VVG相对于AlexNet，没有采用7×7的大卷积核，而是用3×3，作者认为： a stack of two 3×3 conv. layers (without spatial pooling in between) has an effective receptive field of5×5; three such layers have a 7 × 7 effective receptive field. 如下图：两个3×3代替5×5.
   
   举例：参数方面：5×5需要25个参数，而2个3×3要18个参数。感受野方面：假设原为2828，用55的卷积（步长为1），则得（28-5+1）（28-5+1）=2424；两个33,第一个：（28-3+1）（28-3+1）=2626，第二个：（26-3+1）（26-3+1）=24*24。可以看出效果相仿。
3. 相对于AlexNet池化核用33，VGG全部采用22的池化核。VGG第一层通道数为64，后面都翻倍，增加了通道式，能提取更多的信息。且在架构上更宽更广。
4. 在测试阶段，the fully-connected layers are first converted to convolutional layers (the first FC layer to a 7×7 conv. layer, the last two FC layers to 1×1 conv. layers).即将全连接转为卷积。这样可以使得测试得到的全卷积网络无全连接的限制，可以接收任意宽或高。如7x7x512的层要跟4096个神经元的层做全连接，则替换为对7x7x512的层作通道数为4096、卷积核为1x1的卷积。
5. 
   本文分别使用了A、A-LRN、B、C、D、E这6种网络结构进行测试，这6种网络结构相似，都是由5层卷积层、3层全连接层组成，而区别在于每个卷积层的子层数量（添加的层以粗体显示，没有标注ReLU激活函数）conv3-128表示3*3卷积核，通道数为128.其计算过程与AlexNet类似，故不做阐述。

实验结果

实验结果：经作者对A、A-LRN、B、C、D、E这6种网络结构进行单尺度评估，错误率结果如下：

由上可知，实验时发现在AlexNet中用到的LRN对性能未带来提升，故其他组均不在采用。有A-E随着深度的增加，分类性能逐渐提高。
We also compared the net B with a shallow net with five 5 × 5 conv. layers, which was derived from B by replacing each pair of 3×3 conv. layers with a single 5×5 conv. layer. The top-1 error of the shallow net was measured to be 7% higher than that of B (on a center crop), which confirms that a deep net with small filters outperforms a shallow net with larger filters.即多个小卷积核比单个大卷积核性能要好。

结果表明，表示深度有利于分类精度。