Region-Adaptive Dense Network for Efficient Motion Deblurring论文笔记

这是一篇AAAI2020,关于去除运动模糊的论文,论文使用了可变形卷积(参考Dai, J.; Qi, H.; Xiong, Y.; Li, Y.; Zhang, G.; Hu, H.; and Wei, Y.2017. Deformable convolutional networks. In Proceedings of theIEEE international conference on computer vision, 764–773.)以及一种新的自注意力机制(根据全局特征的相关性)

以下为论文中的一些重点:

Introduction

  • 以往去模糊工作的局限性:通用CNN是空间不变的(拥有空间均匀的感受野),这对于动态场景去模糊是一个次优解。现存的方法提升模型感受野会增加计算量,同时实时性差。
  • 主要贡献:1.提出了一个去运动模糊的结构,它使用了密集可变模块,该模块有助于特定位置的动态滤波2.使用空间注意力来处理局部特征3.使用了DesnetNet的预训练层,并将其嵌入到一个全卷积设计中。4.对比试验。

Proposed Architecture

Region-Adaptive Dense Network for Efficient Motion Deblurring论文笔记_第1张图片

  • 本文认为对于image-agnostic模型来说,一个优秀的替代品是卷积框架,其中filters和感受野是根据输入图像动态调整的。
  • 作者通过无限冲激响应(IIR)模型,结合水平运动模糊核作出如下假设:对于任意运动模糊的kernel,去模糊的filters在形状上是有方向的/非对称的,并且这个操作可以通过带有自适应非对称的filters的CNN来完成。

Dense encoder decoder backbone

  • Region-Adaptive Dense Network一个关键的组成部分就是编码器,它可以从一个特征金字塔中提取特征。其第一个卷积层之前有一个space_to_depth模块(参考tf.space_to_depth),以2为因子将图像像素转化到channel space,这样就可以在更小分辨率的空间上进行计算。这样做可以在扩大感受野的同时减少计算量。
  • 第一个卷积层只有连接3个与训练的Densenet Blocks。
  • 解码器包括Self_Adaptive(SA)和Dense Deformable Module(DDM)。SA接收编码器低分辨率的输出并生成一个非局部的特征图,接着经过3个DDM和反卷积层处理,类似于U-Net,decoder输出的是GT和Input的残差。网络中没有使用5*5及以上的filters。

Dense Deformable Module

Region-Adaptive Dense Network for Efficient Motion Deblurring论文笔记_第2张图片

运动模糊导致图像不同区域受到不同大小和方向的模糊干扰。为了在网络中引入该种运动感知,本文使用了deformable convolution【参考Dai, J.; Qi, H.; Xiong, Y.; Li, Y.; Zhang, G.; Hu, H.; and Wei, Y.2017. Deformable convolutional networks.】。其keras/tensoflow代码和注释可以参考我的另一篇博客。

Self-Attention Module

Region-Adaptive Dense Network for Efficient Motion Deblurring论文笔记_第3张图片

在不同空间位置使用基于注意力的局部连接。SA有选择地对不同位置的特征加权求和,这可以将空间上相对较远的相似特征连接到一起。其有两个好处:1.突破了感受野的限制,因为像素可以访问图像中其他像素出的特征。2.隐式地在层之间传播了相关性信息,越相似的信息越相关,其attention就越强。关于上图中的计算可参考原论文。

思考

说一下关于通过相关性来作为注意力的指标的想法:其实注意力的说法在几年前就有了(可变形卷积也是有了,本文的创新点着重于方法的移植上),从一开始的通道注意力,再到CBAM(卷积块的注意力,含有空间注意力)。本文问使用相关性来作为注意力的指标一定是有道理的,显而易见的一点是可以弥补相关特征之间的信息。但是也会带来一些小问题,前面的论文研究表明,当卷积层越多,filters越多的时候,filters之间是很容易出现冗余现象的,这就导致特征之间的冗余,也就是相关的特征会增加。那么这是不是意味着我增加越多filter和layer就可以获得更多相关信息和注意力呢?肯定不是的,不然为什么要减少参数呢,为什么要压缩模型呢?我想表达的是,相关性注意力机制有道理,但是如果对这个相关性加上一个约束其实更好,至于约束怎么加,我觉得是复杂的,如果单纯控制相关性大小,那将会直接影响到影响到softmax输出的权重。CBAM和本文的相关性注意力,两者区别在于CBAM暴力的将全局特征进行平均和最大池化,所有特征平等对待,但是相关性的优点在于对特征进行了过滤,强相关的特征越强,弱相关的越弱,是有目的性的。

你可能感兴趣的:(深度学习)