Contextual-based Image Inpainting: Infer, Match, and Translate 论文笔记

论文地址:https://arxiv.org/pdf/1711.08590.pdf

摘要

本篇论文同样采用深度学习的方法来完成图像修复任务，为了能让模型能够更好的去学习到图片缺失区域的分布，作者将修复任务分为了两个独立部分，推断和翻译。每一个部分都有一个独立的神经网络，除此以外，作者利用简单的启发式算法将缺失区域边缘处的纹理信息向缺失区域内部扩散。通过这些技术，作者的修复模型更易于训练，且达到了较好的修复效果。论文的主要贡献总结如下：

• 设计了一个基于深度学习的修复系统，可以在图片缺失区域推断出较高质量的内容和纹理。
• 提出了一个新颖的鲁棒的训练方法，并提出了特征操作的问题以及如何避免训练时的欠拟合。
• 模型可以在图像任务上得到较好的结果，并且论文的算法同样可以扩展到其他图像编辑任务上，比如风格迁移。

方法介绍

改论文的图像修复过程包含三个过程，推断、匹配以及翻译，模型共有两部分组成，分别是image2Feature网络和Feature2image网络，整体结构如下图所示：

推断

推断过程是指利用Image2Feature 初步得到一个缺点区域信息较为模型的修复结果。Image2Feature网络又基于FCN的网络和预训练好的vgg19网络的前三层组成。为了能够更好的引导修复模型，作者在推断截断引入了PatchGAN的判别器。因此推断阶段用于引导模型的loss,包括$L_{perceptual}$和$L_{adv}$。具体实现如下：

其中$F_1$代表推断阶段输出的特征图，$I_0$代表输入图片，$I_1$代表补全结果，$I_{gt}$代表真实图片。$M_F$是一个权重矩阵，作者给处于缺失区域和已知区域边界的像素点加大了权重以此用于引导模型的修复结果在边缘处的过渡更加连续。

匹配

匹配阶段的主要是对推断阶段得到的特征图$F_1$进行特征重组。因为第一阶段所得到的特征图在确实区域的信息是模糊的。所以作者希望通过块交换来时已知区域的纹理信息想未知区域扩散。具体的操作过程与传统的块匹配算法一致。只是为了加速运算，作者将相似度匹配运算改成了卷积运算，具体步骤如下：

• 首先将已知区域划分若干个3*3的像素块，拍成一列当作卷积核
• 对图片的未知区域进行卷积操作，得到的结果即为未知区域每一个像素块与已知区域每一个像素块之间的相似度。
• 选取相似度最高的像素块，从已知区域移动到对应的未知区域。
  

翻译

翻译过程是改论文修复过程的最后一步，通过将第二阶段得到的重组以后的特征图翻译成图片，得到最终的修复结果。Feature2image的网络是以U-Net为基础改进而来的，同样引入了PatchGAN的判别器来提高修复结果的视觉效果，所用到的损失函数也与推断阶段时所用到的一致，这里就不过多介绍。

多尺度推断

改论文提出的模型除了可以完成常规的图像修复任务，还可以轻松的应用于得到多尺度的修复结果，具体操作如下:

可以将修复的结果$I_0$经过上采样以后，再次通过匹配以及 翻译两个阶段即可以得到更大尺寸的修复结果。

实验

作者在COCO,ImageNet以及CLS-LOC三个数据上开展了实验，实验效果达到了当时的较高水平。

效果示例如上图所示，其中(a),(b)代表原图,(b)(e)代表缺失图,(e)(f)代表修复结果。
除了完成图像修复任务，改算法也可以直接应用于风格迁移任务，也能够取得视觉效果不错的结果。如下图