VGGNet来源论文《Very deep convolutional networks for large-scale image recognition》读后总结

前言

这是一些对于论文《Very deep convolutional networks for large-scale image recognition》的简单的读后总结，首先先奉上该文章的下载超链接：Very deep convolutional networks for large-scale image recognition。

这篇文章是牛津大学工程科学系视觉几何组（Visual Geometry Group, Department of Engineering Science, University of Oxford）的Karen Simonyan 和Andrew Zisserman于ICLR 2015发表的。其是著名的VGG-Net的来源，该网络在ILSVRC-2014挑战的分类任务中获得了第二名的佳绩，在定位比赛中获得了第一名。

文章主要内容与贡献

该文章的贡献为：
1.使用了更深的网络结构；
2. 使用了更小的卷积滤波器；

使用了更深的网络结构

该文章设计了多种网络结构，从11层到19层都有。

通过上表可知卷积层的通道数也是具有一定规律的，可以发现VGG的卷积通道数皆为64、128、256和512，这四个数分别是$2^6,2^7,2^8,2^9$，而且卷积层越靠前通道数越少，越后面的卷积层通道数越多，此举首先是为了契合计算机2进制计算的特性，然后便是想要使得网络能提取更多的高级特征。激活函数使用的是ReLU函数。

使用了更小的卷积滤波器

通过第一个表可知，VGG-Net中的卷积滤波器只有两种，一种是$3\times 3$的卷积滤波器，另外一种是$1\times 1$的卷积滤波器。$3\times 3$的卷积滤波器是捕捉左右上下和中心概念的最小尺寸。其优点是与大的卷积滤波器相比，其能在使用多个$3\times 3$卷积滤波器来获得与大的卷积滤波器相同感受野的基础上大量的减少参数，这样可以大量的减少计算量，例如三个$3\times 3$的卷积滤波器可以获得和一个$7\times 7$的卷积滤波器相同的感受野，假设这些$3\times 3$的卷积滤波器的输入输出都有C个通道，那么参数总量为$3(3^2{C}^2)=27C^2$，而单个$7\times 7$的卷积滤波器的参数总量为$7^2{C}^2=49C^2$，可以发现$7\times 7$的卷积滤波器的参数比三个$3\times 3$的卷积滤波器多$81\%$的参数。同时实验表明小的卷积滤波器不光速度更快，而且最后的结果更好。$1\times 1$的卷积滤波器是一种增加决策功能的非线性而不影响卷积层感受野的方法，其基本上是在相同维度的空间上的线性投影，但是整流函数引入了额外的非线性，之前有人也用过$1\times 1$的卷积滤波器，但他们的网络深度远远低于VGG-Net。

最后献上数值实验

ILSVRC-2014的比赛结果：