Very deep Convolutional Networks for Large-Scale Image Recognition

arXiv：[1409.1556] Very Deep Convolutional Networks for Large-Scale Image Recognition
intro：ICLR 2015

主要收获
这篇文章给我的主要收获是：作者观察到了卷积网络中77的感受野可以用3层33的卷积来代替，这样做减小参数量，便于训练。
关于VGG16
VGG 16中的16代表着有参数的层有16个
VGG 研究了卷积神经网络深度在大规模图像识别的环境下对准确性影响。通过使用非常小的卷积对网络深度的增加进行了全面评估。
网络结构

主要成果和缺点
证明了小滤波器的组合会比大滤波器好，验证了不断加深网络结构可以提升性能。
不足在于网络的参数量因为3个FC层的原因内存爆炸多，花费时间长。
在VGG提出之后的许多网络都借鉴了VGG网络的思路，用它的model做pretrained~
关于全连接层
FC 的实现是通过卷积操作实现的。

因为VGG网络中的大部分参数都来自于FC层，而有的文章称：发现这些全连接层即使被去除，对于性能也没有什么影响。那FC层的作用是什么，存在价值是什么？以下内容来源知乎
全连接层（fully connected layers，FC）在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话，全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。在实际使用中，全连接层可由卷积操作实现：对前层是全连接的全连接层可以转化为卷积核为1x1的卷积；而前层是卷积层的全连接层可以转化为卷积核为hxw的全局卷积，h和w分别为前层卷积结果的高和宽。
在FC越来越不被看好的当下，近期的研究（In Defense of Fully Connected Layers in Visual Representation Transfer）发现，FC可在模型表示能力迁移过程中充当“防火墙”的作用。具体来讲，假设在ImageNet上预训练得到的模型为 ，则ImageNet可视为源域（迁移学习中的source domain）。微调（fine tuning）是深度学习领域最常用的迁移学习技术。针对微调，若目标域（target domain）中的图像与源域中图像差异巨大（如相比ImageNet，目标域图像不是物体为中心的图像，而是风景照，见下图），不含FC的网络微调后的结果要差于含FC的网络。因此FC可视作模型表示能力的“防火墙”，特别是在源域与目标域差异较大的情况下，FC可保持较大的模型capacity从而保证模型表示能力的迁移。（冗余的参数并不一无是处。）