图像修复 Image Inpainting

 

图像修复一直是CV领域的重点与难点, 基于深度学习的图像修复因为其可以学习到丰富的语义信息和潜在丰富的表达能力, 受到研究者们的热捧. 这篇文章主要review了NVIDIA提出的部分卷积用以图像修复.

 

贡献

• 提出部分卷积与自动蒙版更新步骤配合使用, 达到sota

图像修复1: Image Inpainting for Irregular Holes Using Partial Convolutions

 

 

 

之前介绍过NVIDIA的图像修复方法, 使用的img-img的方法. 由于GAN网络在图像生成方向的大放异彩, 今天review一下, Adobe的图像修复算法

贡献

• 提出上下文 attention 层以在较远的空间位置显示的关注相关的特征块
• sota

图像修复2: Generative Image Inpainting with Contextual Attention

 

 

 

此文与图像修复2中review过的论文一样, 出至Adobe同一人之手.

主要创新点

• 提出门控卷积解决普通卷积将所有输入像素都视为有效像素的问题, 在每一个通道的每一个空间位置的所有层中动态特征选择.
• 提出了一种新颖的GAN鉴别器SN-PatchGAN，设计用于自由形式的图像修复. 因为原始的local GANs 和golbal GANs 要求输出是矩形

 

Gated Convolution

首先简单谈谈使用传统卷积的不足: 对于普通卷积, 在所有空间位置 (x,y)(x,y) 都应用相同的滤波器来提取局部特征. 对于图像分类等任务是有效的, 但对于图像修复, 输入特征由孔外有效像素以及孔内无效像素构成, 这在训练过程中引起歧义，并导致视觉伪像，例如颜色差异，模糊和明显的边缘响应.

 

对于NVIDIA提出的部分卷积, 作者认为有以下不足:

• 启发式地将所有空间位置分类为有效或无效, 无论上一层mask范围覆盖了多少像素,下一层的mask都将设置为1（例如, 将1个有效像素和9个有效像素视为相同, 以更新当前mask）
• 与额外的用户输入不兼容. 针对用户指导的图像修复系统, 在该系统中,用户可以有选择地在mask内提供稀疏草图作为条件通道. 在这种情况下, 应将这些像素位置视为有效还是无效？如何正确更新下一层的mask？
• 对于部分卷积, 无效像素将在深层中逐渐消失, 从而将所有蒙版值逐渐转换为一个. 但是文中的研究表明，如果允许网络自己学习最佳蒙版，则网络将软掩膜值分配给每个空间位置

图像修复3: Free-Form Image Inpainting with Gated Convolution