深度学习总结六:VGG

论文
代码

网络结构

网络特性

1. 证明了网络的深度在一定程度上提升了模型的效果。
2. 2个33的卷积核相当于1个55的卷积核，并且前者训练参数更少。
3. 网络C比B多一个1*1的卷积核，即增加一个非线性函数，增加模型复杂度。
4. 网络D在C的基础上将11卷积核修改为33卷积核，增大感受野，效果更好。

网络训练

1. 使用带有动量的mini-batch梯度下降法，batch大小为256，动量设置为0.9。
2. 对前两层全连接层使用dropout，dropout率设置为0.5。
3. 初始学习率设置为$10^{-2}$，后续中达到一定精度，学习率会10倍的下降。
4. 初始化权重，先对A网络进行随机初始化参数进行训练(学习率不产生变化)。后边深层网络的前4层以及全连接层，使用均值为0，方差为0.01的正态分布去随机初始化的，并且biases初始化为0。
5. 通过使用图片尺度放缩来增强数据。