空洞卷积,扩张卷积,膨胀卷积,多孔卷积,带孔卷积,dilated convolution

 引子:

 

  1. 感受野(receptive field):CNN中,某一层输出结果中一个元素所对应的输入层的区域大小.。越大的感受野包含越多的上下文关系
  2. Dilated/Atrous Convolution(中文叫做空洞卷积或者膨胀卷积) 或者是 Convolution with holes 从字面上就很好理解,是在标准的 convolution map 里注入空洞,以此来增加 reception field。相比原来的正常convolution,dilated convolution 多了一个 hyper-parameter 称之为 dilation rate 指的是kernel的间隔数量(e.g. 正常的 convolution 是 dilatation rate 1)。
  3. 卷积核的dialate属性定义为卷积核的元素间距,如 dialate=2 是每隔一个像素位置应用一个卷积元素,dialate=1就是普通的无孔卷积。
     

原理:

扩张卷积与普通的卷积相比,除了卷积核的大小以外,还有一个扩张率(dilation rate)参数,主要用来表示扩张的大小。扩张卷积与普通卷积的相同点在于,卷积核的大小是一样的,在神经网络中即参数数量不变,区别在于扩张卷积具有更大的感受野。感受野是卷积核在图像上看到的大小,例如3×3卷积核的感受野大小为9。

(a) 普通卷积,1-dilated convolution,卷积核的感受野为3×3=93×3=9。 
(b) 扩张卷积,2-dilated convolution,卷积核的感受野为7×7=497×7=49。 
(c) 扩张卷积,4-dilated convolution,卷积核的感受野为15×15=22515×15=225。

扩展卷积在保持参数个数不变的情况下增大了卷积核的感受野,同时它可以保证输出的特征映射(feature map)的大小保持不变。一个扩张率为2的3×3卷积核,感受野与5×5的卷积核相同,但参数数量仅为9个,是5×5卷积参数数量的36%。

dilated的好处是不做pooling损失信息的情况下,加大了感受野,让每个卷积输出都包含较大范围的信息。在图像需要全局信息或者语音文本需要较长的sequence信息依赖的问题中,都能很好的应用dilated conv

 

 

空洞卷积,扩张卷积,膨胀卷积,多孔卷积,带孔卷积,dilated convolution_第1张图片 

 

传统卷积: å¨è¿éæå¥å¾çæè¿°空洞卷积å¨è¿éæå¥å¾çæè¿°

增加感受野:

空洞卷积,扩张卷积,膨胀卷积,多孔卷积,带孔卷积,dilated convolution_第2张图片

 

 

 视频讲解链接:

https://www.bilibili.com/video/av46153615/

https://www.bilibili.com/video/av45124983?from=search&seid=1719663045591184147

你可能感兴趣的:(深度学习相关文献和理论)