VGG-16、VGG-19(论文阅读《Very Deep Convolutional NetWorks for Large-Scale Image Recognition》)

论文阅读《Very Deep Convolutional NetWorks for Large-Scale Image Recognition》

介绍

这是卷积神经网络发展的一些主要网络
VGG-16、VGG-19(论文阅读《Very Deep Convolutional NetWorks for Large-Scale Image Recognition》)_第1张图片
LeNet(3个卷积层+2个降采样层+1个全连接层)CNN雏形
AlexNet (5个卷积层+3个全连接层+1个softmax层
本文所讨论的VGG就是基于LeNet、AlexNet提出的更深的卷积神经网络
VGG主要采用增加卷积层的方法来加深网络,结果发现深度越深,网络学习能力越好,分类能力越强。当深度增加到16-19层时,识别效果有较大提升,即VGG-16,VGG-19。

在ILSVRC2014竞赛中定位第一,分类第二(第一是GoogleNet)。
将卷积层的概念提升到了卷积group概念上,每个卷积group中含有几层卷积层,不再像AlexNet中5个卷积层,而是5个卷积group组合,将AlexNet的8层深度推到了16-19层。

正文

1.摘要

文章主要研究了深度对卷积神经网络分类精度的影响。
在AlexNet的基础上主要做了两方面的改进:
1.使用了最小的3*3卷积核尺寸和最小间隔。
2. 在整个图片和multi-scale上训练和测试图片。
论文原句:1. Use smaller receptive window size and smaller stride of the first convolutional layer.
2.Training and testing the networks densely over the whole image and over multiple scales.

2.配置

采用较小的Filter尺寸-3*3,卷积的间隔s=1:
1:3*3是最小的能够捕获上下左右和中心概念的尺寸。
2:两个3*3的卷基层的有限感受野是5*5;三个3*3的感受野是7*7,可以替代大的filter尺寸。
3:多个3*3的卷基层比一个大尺寸filter卷基层有更多的非线性,使得判决函数更加具有判决性。
4:多个3*3的卷积层比一个大尺寸的filter有更少的参数,假设卷基层的输入和输出的特征图大小相同为C,那么三个3*3的卷积层参数个数3*(3*3*C*C)=27CC;一个7*7的卷积层参数为49CC;所以可以把三个3*3的filter看成是一个7*7filter的分解(中间层有非线性的分解)。
也使用过1*1 filter:
作用是在不影响输入输出维数的情况下,对输入进行线性形变,然后通过Relu进行非线性处理,增加网络的非线性表达能力。
Max-Pooling:2*2,间隔s=2;

3.分类
3.1 分类训练配置

Multi-scale 训练(多尺度训练)
多尺度的意义在于图片中的物体的尺度有变化,多尺度可以更好的识别物体。有两种方法进行多尺度训练。在不同的尺度下,训练多个分类器,参数为S,参数的意义就是在做原始图片上的缩放时的短边长度。 论文中训练了S=256和S=384两个分类器,其中S=384的分类器的参数使用S=256的参数进行初始化,且将步长调为10e-3。由0.01->0.001 另一种方法是直接训练一个分类器,每次数据输入时,每张图片被重新缩放,缩放的短边S随机从[min, max]中选择,论文中使用区间[256,384],网络参数初始化时使用S=384时的参数
把原始 image缩放到最小边S>224;然后在full image上提取224*224片段,进行训练。在训练的过程中,输入为224*224大小的RGB图像,预处理时计算这三个通道的平均值,在训练时减去这些平均值,这样处理网络可能更快的收敛。

训练时发现,尽管VGG比Alex-net有更多的参数,更深的层次;但是VGG需要很少的迭代次数就开始收敛。这是因为:
(1)深度和较小的filter尺寸起到了隐式的规则化的作用。
(2)在特定的层使用了预训练得到的数据进行参数的初始化。
参考Sermanet等人的做法(OverFeat:Integrated Recognition, Localization and Detection using Convolutional Networks)这也是一篇非常经典的文章

3.2分类测试

测试的时候也采用multi-scale。
同一张测试图片可以rescale成不同的大小,这样多个scale的同一张图片都在网络中进行测试,可以提升测试效果。

3.3分类实现细节

使用C++ Caffe toolbox实现 支持单系统多GPU 多GPU把batch分为多个GPU-batch,在每个GPU上进行计算,得到子batch的梯度后,以平均值作为整个batch的梯度。 论文的参考文献中提出了很多加速训练的方法。论文实验表明,在4-GPU的系统上,可以加速3.75倍。

3.4分类实现结果

VGG-16、VGG-19(论文阅读《Very Deep Convolutional NetWorks for Large-Scale Image Recognition》)_第2张图片
VGG-16、VGG-19(论文阅读《Very Deep Convolutional NetWorks for Large-Scale Image Recognition》)_第3张图片
VGG-16、VGG-19(论文阅读《Very Deep Convolutional NetWorks for Large-Scale Image Recognition》)_第4张图片
VGG-16、VGG-19(论文阅读《Very Deep Convolutional NetWorks for Large-Scale Image Recognition》)_第5张图片
以上的图分别是单尺度测试、多尺度测试、大量的crops测试、多模型投票的实验结果,
可以看出的是深度越深,实验结果越好,多尺度测试比单尺度测试结果要好,大量crops的测试结果可以进一步提高正确率,多模型融合也可以提高正确率。

3.5分类与其他网络比较

VGG-16、VGG-19(论文阅读《Very Deep Convolutional NetWorks for Large-Scale Image Recognition》)_第6张图片
仅次于GoogleNet。

4.定位

使用模型D(参数最少,表现最好)通过回归函数来替换分类器,两种分类方法:SCR(single-classregression),用一个回归函数来学习预测所有类别的bounding box;PCR(per-class regression)每个类别有自己单独的一个回归函数。
训练:分别在S=256和S=384上训练两个模型,网络反馈学习时,探究了两种情况1,fine tuning整个网络;2,只调整全连接层。

测试:
第一种测试框架:定位网络只应用在图像的裁剪中心,用于比较不同的网络修改下性能。
VGG-16、VGG-19(论文阅读《Very Deep Convolutional NetWorks for Large-Scale Image Recognition》)_第7张图片
1,发现fine-tuning整个网络的定位性能,比值调整全连接层权值的定位结果要好。
2,PCR比SCR结果好,这个和OverFeat的结果相反。
所以最好的定位方法是采用PCR,fine-tuning整个网络。
第二种测试框架:在整个图像上密集应用定位网络;首先根据softmax分类结果给定bounding box的置信得分,然后融合空间相似的bounding box,最后选取最大置信得分的bounding box。
在不同scale下,定位结果。
VGG-16、VGG-19(论文阅读《Very Deep Convolutional NetWorks for Large-Scale Image Recognition》)_第8张图片
1,适当的scale对于定位结果有影响S=384好于S=256。
2,multi-scale比single-scale好。
3,multi-model fusion会更好。
定位网络与其他网络比较
VGG-16、VGG-19(论文阅读《Very Deep Convolutional NetWorks for Large-Scale Image Recognition》)_第9张图片

5.结论
贡献

经过本文的研究发现,深度是获得好结果的关键。文章通过随机的方式训练最浅的网络A。然后在训练其他网络时在A上进行一些列的修改,一步一步地提高网络性能,进而探索好的网络设计应该是什么样的。

遗留问题

网络A是怎么提出来的并不知道?

文章中只是详细说明了使用3*3filter的原因,至于层数,阶段数,特征数的设计缘由,并没有说明?

你可能感兴趣的:(深度学习)