【论文笔记】Recurrent Feature Reasoning for Image Inpainting

最近在看一些关于图像修复的文献，针对最近看的文献分享一些自己的认识，不足之处还请在评论区指出。

《Recurrent Feature Reasoning for Image Inpainting》这是一篇2020年CVPR上的文献。

原文链接：

https://openaccess.thecvf.com/content_CVPR_2020/papers/Li_Recurrent_Feature_Reasoning_for_Image_Inpainting_CVPR_2020_paper.pdf

源代码：

https://github.com/jingyuanli001/RFR-Inpainting

对于目前修复面积较大的连续掩膜时，图像的修复会出现伪影的这一问题（这里看一下2018年英伟达发的一篇ECCV的文献——《Image Inpainting for Irregular Holes Using Partial Convolutions》，感觉作者应该是在这篇文献的基础上进行的修改），这篇文章的作者提出了一种新的深度图像修复结构，即递归特征推理网络（RFR-Net）。

作者设计这个网络的思路是认为：在修复面积较大的连续掩膜时，可以先从掩膜的边界区域开始修复，用尽可能高质量的特征值去填充，然后将这一部分作为已知内容，再对下一次更小的掩膜边界区域进行修复，依次类推，直至掩膜区域完全被递归修复完。最后，把每一次修复的结构进行加权求和，来生成最终的特征映射。

简单的概述一下作者提出的修复方案。首先将需要修复大的图像映射到卷积特征空间，再利用共享的特征推理模块对其进行递归填充处理，当特征映射完全恢复后，将生成的特征映射合并在一起，并转换为RGB图像。

这篇文章的主要贡献包括：①提出了递归特征推理（RFR）模块，它利用像素之间的相关性，并加强了估计更深层次像素的约束。②开发了知识一致关注（KCA）模块，该模块自适应地结合不同递归的得分，保证递归之间补丁交换过程的一致性，使得结果更真实，细节更精致。

作者设计的整个网络主要包括以下几个部分：区域识别部分、特征推理部分以及自适应特征合并部分。下面将对这三个部分分别进行介绍。

首先是区域识别部分。对于RFR-Net中的区域识别部分，需要将多个部分卷积层（部分卷积层的概念和作用会在下一段进行补充）级联在一起来更新掩膜和特征映射。特征映射经过部分卷积层后，通过归一化层和激活函数进行处理，然后发送到特征推理模块。再将更新掩膜和输入掩膜之间的差异定义为此次递归中需要推断的区域。更新后的掩膜在整个递归过程中被保留，直到下一次递归时进行缩小。

【补充|部分卷积】部分卷积指的是卷积只在图像的有效区域进行（掩膜部分为0，即掩膜部分不参与当前一次的卷积运算），并且图像的掩膜会随着网络的层数加深不断迭代和收缩，也就是说带有掩膜的图像和掩膜均参与训练。这种部分卷积的方法在掩膜不规则的图像修复方面取得了很好的效果。部分卷积的作用是用来识别在每个递归中要更新的区域。

然后是特征推理部分。待修复的图像在区域识别部分确定了当前轮递归需要修复的区域后，通过特征推理模块估计待处理区域内的特征值。特征推理模块的目的是用尽可能高质量的特征值填充所识别的区域。高质量的特征不仅能产生较好的修复结果，而且有利于后续的推断。在推断出特征值之后，特征映射被发送到下一次递归中。由于RFR-Net不限制中间结果的表示，更新后的掩膜和部分推理的特征映射可以直接发送到下一个递归中，不需要进一步处理。

在特征推理这一部分中，作者提出了一个知识一致关注（KCA）模块，它是一个注意力机制。在图像修复中，利用注意力模块可以合成质量较好的特征。注意力模块在背景中搜索可能的纹理，并利用他们替换掩膜中的像素。与以往的注意力机制的注意力分数是独立计算的不同，这里KCA模块的分数是由以往的递归分数做的加权求和。

这是文章中给的一组消融实验。如果直接在RFR模块中使用文献（《Generative image inpainting with contextual attention》2018,CVPR）的注意力机制，得到的图像会出现伪影和棋盘效应。这是因为特征映射的不一致可能会导致在特征合并的过程中出现伪影。2018年的这篇中用到的是基于上下文的注意力机制，只考虑了当前一轮上下文之间的联系。RFR-Net的作者在这篇的基础上，还加入了每轮递归间注意力的联系。

最后是自适应特征合并部分。当特征映射被完全填充时，如果直接使用最后一个特征映射的结果作为输出，会出现梯度消失，破坏之前迭代生成的信号。为了解决这一问题，需要进行中间特征映射的合并。因为不同特征映射中的掩膜区域不一致，所以如果直接将所有的特征映射相加会去除图像掩膜部分的细节。为了避免这个问题，文章中采用自适应合并的方案去解决这个问题。输出特征映射中的值仅根据已填充相应位置的特征映射来计算。

这里文章也提供了一组消融实验。这组图片是在RFR模块中使用不同的特征合并的方法修复的巴黎街景图像。如果只使用最后一个特征映射作为特征合并的输出，纹理就会变得模糊且不连续。这是因为在特征推理的过程中，为了进一步恢复掩膜区域，可能会对早期递归生成的一些特征进行破坏。此外，当使用平均值的方式进行特征映射的合并时，对于细节的恢复要比自适应合并方法效果差。这是因为在执行平均值合并时，孔洞区域的特征值被部分平滑。

作者从结构相似度指数（SSIM）、峰值信噪比（PSNR）和平均l1损失三方面对模型进行了定量比较。这张表格列出了三个数据集在不同比例的不规则掩膜下的结果。通过表格可以看出，这篇论文提出的RFR-Net在这三个数据集中都做到了很好的效果，尤其是在掩膜区域比例较大的情况下。

最后看一下使用RFR-Net进行图像修复效果与原图对比的结果。可以看到RFR-Net可以对掩膜面积较大且形状不规则的图片进行修复，且修复后的图像语义连续，细节清晰。

在这里我并没有把文章的全部内容都写到，我是按照自己的思路把作者提出的RFR-Net进行了一个梳理。在文章的支撑材料了还有很多有意思的实验，对这个网络感兴趣的读者也可以看一看。最后，我觉得这个网络如果说还有什么缺点就是由于要反复进行递归，每一次只能修复一层掩膜的区域，所以会导致运算时间过长。