Hybrid Dilated Convolution学习笔记

Hybrid Dilated Convolution学习笔记

1.膨胀卷积

也叫空洞卷积，是在普通卷积的基础上加了一个空洞率，如下图所示：

上图就是一个空洞率为2的空洞卷积，以3×3为例，算上空洞率为2的卷积核应该为5×5，添加像素添加0。

2.为什么要引入膨胀卷积？

因为maxpooling进行池化操作后，一些细节和小目标会丢失，在之后的上采样中无法还原这些信息，造成小目标检测准确率降低然而去掉池化层又会减少感受野。

膨胀卷积的作用
（1）增大感受野
（2）保持输入特征的宽高

3.膨胀卷积的问题

栅格效应Gridding Effect

用上图解释一下，如果经过三次膨胀系数r=2，kernel size=3×3的膨胀卷积
第二层的一个pixel用到了第一层的9个pixel，如最左图所示，接着第三层的一个pixel就用到了第二层的9个pixel，也就相当于第一层的25个pixel，如中间图所示
颜色代表通过累加，第一层的各个pixel被当前层利用到的次数，次数越高颜色越深
最后就是下图效果

从上图可以看出Dilated Convolution的kernel并不连续，也就是并不是所有的像素都用来计算了，因此这里将信息看作checker-board的方式将会损失信息的连续性
而如果第一次采用普通卷积的话就不会丢失底层信息，接着采用不同的膨胀系数，感受野跟上一种方法是一样大的却能利用到更多的信息

再与普通卷积对比一下，普通卷积虽然利用了连续的区域，但相比之下感受野就小了很多

4.Hybrid Dilated Convolution（HDC)

非零元素最大距离

当使用到多个膨胀卷积时，需要设计各卷积核的膨胀系数使其刚好能覆盖底层特征层
论文中提到了maximum distance between two nonzero values，通过这个来限制膨胀系数的大小

下图分别为r=[1,2,5]和[1,2,9]的情况

锯齿结构

dilated rate设计成了锯齿状结构，例如[1, 2, 5, 1, 2, 5]这样的循环结构

公约数不能大于1

叠加的膨胀卷积的膨胀率dilated rate不能有大于1的公约数（比如[2, 4, 8]），不然会产生栅格效应