Region-Adaptive Dense Network for Efficient Motion Deblurring论文笔记

这是一篇AAAI2020，关于去除运动模糊的论文，论文使用了可变形卷积(参考Dai, J.; Qi, H.; Xiong, Y.; Li, Y.; Zhang, G.; Hu, H.; and Wei, Y.2017. Deformable convolutional networks. In Proceedings of theIEEE international conference on computer vision, 764–773.)以及一种新的自注意力机制(根据全局特征的相关性)。

以下为论文中的一些重点：

Introduction

• 以往去模糊工作的局限性：通用CNN是空间不变的（拥有空间均匀的感受野），这对于动态场景去模糊是一个次优解。现存的方法提升模型感受野会增加计算量，同时实时性差。
• 主要贡献：1.提出了一个去运动模糊的结构，它使用了密集可变模块，该模块有助于特定位置的动态滤波2.使用空间注意力来处理局部特征3.使用了DesnetNet的预训练层，并将其嵌入到一个全卷积设计中。4.对比试验。

Proposed Architecture

• 本文认为对于image-agnostic模型来说，一个优秀的替代品是卷积框架，其中filters和感受野是根据输入图像动态调整的。
• 作者通过无限冲激响应（IIR）模型，结合水平运动模糊核作出如下假设：对于任意运动模糊的kernel，去模糊的filters在形状上是有方向的/非对称的，并且这个操作可以通过带有自适应非对称的filters的CNN来完成。

Dense encoder decoder backbone

• Region-Adaptive Dense Network一个关键的组成部分就是编码器，它可以从一个特征金字塔中提取特征。其第一个卷积层之前有一个space_to_depth模块（参考tf.space_to_depth），以2为因子将图像像素转化到channel space，这样就可以在更小分辨率的空间上进行计算。这样做可以在扩大感受野的同时减少计算量。
• 第一个卷积层只有连接3个与训练的Densenet Blocks。
• 解码器包括Self_Adaptive(SA)和Dense Deformable Module(DDM)。SA接收编码器低分辨率的输出并生成一个非局部的特征图，接着经过3个DDM和反卷积层处理，类似于U-Net，decoder输出的是GT和Input的残差。网络中没有使用5*5及以上的filters。

Dense Deformable Module

运动模糊导致图像不同区域受到不同大小和方向的模糊干扰。为了在网络中引入该种运动感知，本文使用了deformable convolution【参考Dai, J.; Qi, H.; Xiong, Y.; Li, Y.; Zhang, G.; Hu, H.; and Wei, Y.2017. Deformable convolutional networks.】。其keras/tensoflow代码和注释可以参考我的另一篇博客。

Self-Attention Module

在不同空间位置使用基于注意力的局部连接。SA有选择地对不同位置的特征加权求和，这可以将空间上相对较远的相似特征连接到一起。其有两个好处：1.突破了感受野的限制，因为像素可以访问图像中其他像素出的特征。2.隐式地在层之间传播了相关性信息，越相似的信息越相关，其attention就越强。关于上图中的计算可参考原论文。

思考

说一下关于通过相关性来作为注意力的指标的想法：其实注意力的说法在几年前就有了（可变形卷积也是有了，本文的创新点着重于方法的移植上），从一开始的通道注意力，再到CBAM（卷积块的注意力，含有空间注意力）。本文问使用相关性来作为注意力的指标一定是有道理的，显而易见的一点是可以弥补相关特征之间的信息。但是也会带来一些小问题，前面的论文研究表明，当卷积层越多，filters越多的时候，filters之间是很容易出现冗余现象的，这就导致特征之间的冗余，也就是相关的特征会增加。那么这是不是意味着我增加越多filter和layer就可以获得更多相关信息和注意力呢？肯定不是的，不然为什么要减少参数呢，为什么要压缩模型呢？我想表达的是，相关性注意力机制有道理，但是如果对这个相关性加上一个约束其实更好，至于约束怎么加，我觉得是复杂的，如果单纯控制相关性大小，那将会直接影响到影响到softmax输出的权重。CBAM和本文的相关性注意力，两者区别在于CBAM暴力的将全局特征进行平均和最大池化，所有特征平等对待，但是相关性的优点在于对特征进行了过滤，强相关的特征越强，弱相关的越弱，是有目的性的。