2021-CVPR-Inpainting论文导读

一、TransFill: Reference-guided Image Inpainting by Merging Multiple Color and Spatial Transformations

1. 模型介绍与改进

Inpainting研究可以分为两类:传统的方法是通过传播颜色或匹配块，深度的方法是学习语义和纹理从大型图像数据集。一些传统的方法通过各向异性扩散或求解偏微分方程来传播像素颜色。这种方法适用于薄孔洞区域，但随着孔洞区域的增大，它们往往会导致过度模糊。基于patch的图像补绘方法的工作原理是在图像的其他地方找到相似的匹配，并复制得到的纹理。这些方法往往会产生高质量的纹理，但可能会给出难以置信的结构和语义。


This paper的主要贡献是:
（1）我们提出了TransFill，一个多单应性估计管道，以获得源图像的多个变换，每个变换将特定的区域对准目标图像;
（2）我们提出学习颜色和空间转换器，同时进行颜色匹配和逐像素空间变换，以解决初始对齐后的残留差异;
（3）我们学习适合于将所有最终方案与单个图像嵌入结果相结合的权重。

2. dataset:

RealEstate10K,MIT-Adobe5K
从MIT-Adobe5K数据集中合成了不对齐的颜色不同的图像，并将这些数据与RealEstate10K均匀混合进行训练。

3. 指标：

PSNR, SSIM, LPIPS

二、Image Inpainting with External-internal Learning and Monochromic Bottleneck

1. 模型介绍与改进：

尽管最近的Inpainting方法已经证明了深度神经网络的显著改进，但在填补缺失区域时，它们仍然会受到诸如钝性结构和突然的颜色等人为因素的影响。为了解决这些问题，我们提出了一种带有单色瓶颈的外部-内部补绘方案，帮助图像补绘模型去除这些工件。在外部学习阶段，我们在单色空间中重建缺失的结构和细节，以降低学习维数。在内部学习阶段，我们提出了一种新颖的内部颜色传播方法，该方法采用渐进学习策略实现一致颜色的恢复。大量的实验表明，我们提出的方案可以帮助图像嵌入模型产生更多的结构保留和视觉上引人注目的结果。
目前最先进的inpainting方法大致分为迭代最近邻搜索和深度学习模型两大类，各有优缺点。Patch是一种不需要学习的方法，仅利用单个图像的内部统计信息。如图1所示，该算法生成与未缺失区域一致的平滑图案和颜色，但不能填充语义感知的内容。基于深度学习的inpainting方法可以通过对大规模数据集的训练来学习语义感知模型。

我们的论文的主要贡献可以总结为:
（1）是第一个引入外部-内部学习方法的深度图像inpainting。它通过对大数据集的训练，从外部学习语义知识，同时充分利用单个测试图像的内部统计信息。
（2）我们设计了一个渐进的内部颜色恢复网络，在我们的案例中实现了出色的着色性能。
（3）我们将我们提出的方法推广到几个深度嵌入模型，观察到在多数据集上的视觉质量和模型泛化能力方面有明显的改善。

2. dataset:

（1）Places2 Standard （包含来自365个场景类别的1800多万张自然图像。我们对所有的类别进行实验，并使用原来的拆分进行训练。测试时，所有图像的大小都调整为512 × 640。）
（2）Paris StreetView （包含15000个室外建筑图像。我们使用原来的分割进行训练。测试时，所有图像的大小都调整为256 × 256。）
（3）CelebA-HQ （包含30,000张人脸图像。我们随机选择了3000张图像进行测试，其他的进行训练。测试时，所有图像的大小都调整为256 × 256。）
（4）DTD （包含5,640个纹理图像。我们随机选择840张图像进行测试，其他图像进行训练。测试时，所有图像大小均调整为512 × 512。）

3. 指标：

PSNR, SSIM, LPIPS

三、Information-Theoretic Segmentation by Inpainting Error Maximization

1. 模型描述与改进

从信息理论的角度研究图像分割，提出了一种新的对抗方法，通过将图像分割成最大独立的集合进行无监督分割。更具体地说，我们将图像像素分组到前景和背景中，目标是最小化一组图像与另一组图像的可预测性。一个容易计算的损失驱动一个贪婪的搜索过程，以最大化这些分区上的嵌漆错误。这种方法不涉及训练深度网络，计算成本低，类别不确定，甚至适用于孤立的单个未标记图像。实验表明，该方法在无监督分割质量方面取得了最新的技术水平，同时比竞争对手的分割方法更快、更通用。
有一种方法InfoGAN为GAN增加了一个互信息最大化目标，表明深度网络可以在没有任何监督的情况下学习执行图像分类——至少对于小规模的数据集是这样。而受后一个结果的启发，这篇论文关注更复杂的任务，如图像分割，14029是否可以在纯无监督的方式下解决，而不依赖任何标记数据进行训练或微调。我们解决了经典的通用的、类别无关的分割任务，其目标是将任何图像分割成有意义的区域(例如，前景和背景)，而不依赖于预定义的对象类集的知识。在这里，我们介绍了Inpainting Error Maximization (IEM)作为一种无监督分割方法。这种方法是基于这样一种直觉，即分割对象最小化了分割对象中像素之间的相互信息，因此使得对一个分割对象进行补绘变得困难。这就提供了一个自然的对抗目标，即分片者试图最大化，而内画者试图最小化，内画错误。然而，与采用对抗训练目标相比，我们发现更有效的方法是修复基本的内画，并通过在分割上采用梯度下降的形式直接最大化内画误差。我们的IEM版本是免费的，可以直接应用到任何领域的任何图像。图1显示了基于IEM方法的前景-背景分割的示例结果，如图2所示。

2. dataset:

（1）Caltech-UCSD Birds-200-2011 (CUB)： （由200类鸟类和segmentation mask的11788张图像组成。）
（2）Flowers：（consists of 8,189 images of 102 classes of flowers, with segmentation masks obtained by an automated algorithm developed specifically for segmenting flowers in color photographs ）
（3）LSUN Car：（作为大型LSUN数据集的一部分，包含10个场景类别和20个对象，包括5,520,753张汽车图像。不提供分割遮罩，所以按照Bielski和Favaro[5]，他们使用Mask R-CNN[26]对前10,000张图像近似地真实遮罩，使用ResNet-50 FPN后端在COCO[41]数据集上进行预训练。我们使用了Detectron2库中的预训练模型[64]。在9121张图像中检测到汽车，如果检测到几辆汽车，就抓住了最大实例的面具作为地面真相。）

3. 指标：

Accuracy 、 IoU、 mIoU 、DICE