Very deep Convolutional Networks for Large-Scale Image Recognition

arXiv:[1409.1556] Very Deep Convolutional Networks for Large-Scale Image Recognition
intro:ICLR 2015

主要收获
这篇文章给我的主要收获是:作者观察到了卷积网络中77的感受野可以用3层33的卷积来代替,这样做减小参数量,便于训练。
关于VGG16
VGG 16中的16代表着有参数的层有16个
VGG 研究了卷积神经网络深度在大规模图像识别的环境下对准确性影响。通过使用非常小的卷积对网络深度的增加进行了全面评估。
网络结构
Very deep Convolutional Networks for Large-Scale Image Recognition_第1张图片
主要成果和缺点
证明了小滤波器的组合会比大滤波器好,验证了不断加深网络结构可以提升性能。
不足在于网络的参数量因为3个FC层的原因内存爆炸多,花费时间长。
在VGG提出之后的许多网络都借鉴了VGG网络的思路,用它的model做pretrained~
关于全连接层
FC 的实现是通过卷积操作实现的。

因为VGG网络中的大部分参数都来自于FC层,而有的文章称:发现这些全连接层即使被去除,对于性能也没有什么影响。那FC层的作用是什么,存在价值是什么?以下内容来源知乎
全连接层(fully connected layers,FC)在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话,全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。在实际使用中,全连接层可由卷积操作实现:对前层是全连接的全连接层可以转化为卷积核为1x1的卷积;而前层是卷积层的全连接层可以转化为卷积核为hxw的全局卷积,h和w分别为前层卷积结果的高和宽。
在FC越来越不被看好的当下,近期的研究(In Defense of Fully Connected Layers in Visual Representation Transfer)发现,FC可在模型表示能力迁移过程中充当“防火墙”的作用。具体来讲,假设在ImageNet上预训练得到的模型为 ,则ImageNet可视为源域(迁移学习中的source domain)。微调(fine tuning)是深度学习领域最常用的迁移学习技术。针对微调,若目标域(target domain)中的图像与源域中图像差异巨大(如相比ImageNet,目标域图像不是物体为中心的图像,而是风景照,见下图),不含FC的网络微调后的结果要差于含FC的网络。因此FC可视作模型表示能力的“防火墙”,特别是在源域与目标域差异较大的情况下,FC可保持较大的模型capacity从而保证模型表示能力的迁移。(冗余的参数并不一无是处。)

你可能感兴趣的:(机器学习)