2021-CVPR-图像修复论文导读《TransFill: Reference-guided Image Inpainting by Merging Multiple Color and ~~~》

《TransFill: Reference-guided Image Inpainting by Merging Multiple Color and Spatial Transformations》

1. 论文背景

Image Inpainting即为图像修复，旨在补全被抠除的区域，而以往的Inpainting研究方法主要是针对单图像（Single-Image Inpainting），也就是仅仅根据给出的目标图像进行修复，根据局部的语义和纹理信息进行修复，但是这样处理往往得到的效果并不理想，经常会出现语义与实际相差过大，或者出现纹理模糊等现象，现代许多先进的算法正在努力解决这些问题。但是这篇论文考虑到实际问题，引入了源图像。也就是说给定一幅图像正常情况下，会有一幅完整的对应图像（可能摄影师在别的时间以不同角度进行拍摄的），如下图所示：

我们称之为source image，这篇论文就是基于源图像引导的图像修复，经过对比，比最先进的Single-Image Inpainting效果要好很多。接下来一起看一下作者团队究竟干了什么叭~

2. 论文导读

(1）模型框架（step）

Step1: Align the Source and Target Images with Multiple Homographies

Step2: Adjust the color and spatial Incosistency of the Proposals.

Step3: Merge Different Proposals in a Pixel-wise Manner.

(2) 详细步骤：

上面的第一步:

主要是初步根据源图像对缺失图像进行补全。首先根据深度图的单应性进行特征点的绘制，即 Compute the Feature Matching Points between the Target and Source Images.，如下图所示：

接下来是Compute the Monocular Depth of the Target Image和Cluster the Points by the Depth-level Values即根据特征点进行聚类，使得每一类代表一个专门的区域（specifical region），即下图的红色点迹表示图像中较远的像素，靠近窗户。而粉色的点迹表示较近的像素，靠近近景的沙发。

随后，他们Propose Multiple Homographies ti Warp the Source Image for Alignment,通过以上四个小步骤，就可以得到初步的补全图像，但是效果肯定还不是很理想。以下图为例：

左图中窗帘的补全效果较优，而右图中梯子的补全效果较优。也就是我们上面说的，Step1只能使得某一特定的区域补全理想。现在的模型补全有两大缺点：
（1）Each proposal only aligns some specific regions due to depth parallax.为了解决这一问题，我们Need Spatial Adjustment
（2）There are some color and exposure difference. 为了解决这一问题，我们Need Color Adjustment.

上面第二步：

这篇论文提出了CST模块（颜色空间转换器），用来解决step1不能解决的问题。因为仅仅通过step1会出现空洞难以对准，以及拍摄的差异而导致颜色和曝光的差异等，而CST模块可以很好的解决此缺陷：

上面第三步：

经过了上面的空间和颜色的变化，接下来应该将我们的结果进行融合。而融合模块也分为两个部分：
（1）Single-Proposal Fusion (SPF) Module： Merge each proposal separately with Single-Image Inpainting Result.

（2）Multi-Proposal Fusion (MPF) Module： Merge everything including Single-Image Inapinting Results and Proposals.


通过以上两步融合，我们就可以得到最终的Image Inapinting结果。效果比最先进的算法更加优良。

3. 数据集

（1）RealEstate10K

（2) MIT-Adobe5K

4. 效果对比：

论文对比了APAP、DFG、OPN这三种先进的算法模型。通过PSNR，SSIM，LPISPS这三种指标进行对比，证明了模型的先进性。