增大图像感受野方法的总结

感受野的理解

输入图片input在经过不同的卷积层时,所能看到图像的结构是不一样的。当经过较浅的卷积层作用之后,图像每个像素点只是对原图像的局部信息的一个特征提取(卷积的作用:通过卷积核提取图像的特征,卷积核的大小决定了对图像局部加权的范围),图像的细节信息丰富,但是图像的上下文信息确实很少,我们将其称之为图像的感受野小。反之,图像经过深层的卷积层作用之后,图像能看到的原图像的范围要更大,但同时细节信息缺失,我们将其称之为图像的感受野小。
增大图像感受野方法的总结_第1张图片

作用

  • 一般task要求感受野越大越好,如图像分类中最后卷积层的感受野要大于输入图像,网络深度越深感受野越大性能越好
  • 密集预测task要求输出像素的感受野足够的大,确保做出决策时没有忽略重要信息,一般也是越深越好
  • 目标检测task中设置anchor要严格对应感受野,anchor太大或偏离感受野都会严重影响检测性能

增大感受野的方法

主要的方法是从增加网络的深度出发(这也是为什么神经网络在初期越深的网络模型效果越好的原因如VGG16等)

  • pooling 池化
    池化主要任务是对数据降维,减小网络参数,提升网络的计算效率,同时,池化也是增加感受野的方法之一,但在增加感受野的同时,伴随着分辨率的降低,图像细节损失
  • dilated conv空洞卷积
    空洞卷积的出现为了解决pooling层增大感受野之后进行上采样(增加图像的分辨率)过程中,图像信息缺失问题。

在这里插入图片描述
图(a)是普通卷积的运算看到的感受野大小,卷积后的每个像素能看到的卷积前图片的区域为3x3,图(b)可以当成是使用卷积核为7x7进行卷积运算,但其中只有标记为红色的9个点参与计算(dilated为2),能看到的感受野范围是7x7大小,同理图(c)可以当成是使用卷积核为15x15进行卷积运算,但其中只有标记为红色的9个点参与计算(dilated为4),能看到的感受野范围是15x15大小.
同时,注明一下几点:

  • 空洞卷积与普通卷积相比,增加了感受野,但是不会增加需要训练的参数的量,因为,感受野增加范围内的其他像素点是选择性的跳过,能看得到,但是不需要计算。
  • 是选择性的跳过了部分的像素值进行卷积计算,并不是增加padding,填充像素0的操作。

你可能感兴趣的:(图像特征提取)