《Contextual-based Image Inpainting: Infer,Match,and Translate》图像修复论文解读

        将修复任务分为了两个独立部分，推断和翻译。每一个部分都有一个独立的神经网络，作者利用简单的启发式算法将缺失区域边缘处的纹理信息向缺失区域内部扩散。作者的修复模型更易于训练，且达到了较好的修复效果。

       修复过程：分为两个阶段：推理和翻译。在推理阶段，训练一个image2 feature网络，用粗略预测初始化洞并提取它的特征。预测是模糊的，但在洞中包含高级结构信息。在翻译阶段，训练了Feature2image网络，将该特征转换回完整的图像。它可以细化孔中的内容并输出具有清晰逼真纹理的完整图像。这个结构不依赖于优化，而是将纹理细化建模为学习问题。两个网络都可以进行端到端的训练，并且经过训练模型，推理可以在单个正向传递中完成，这比迭代优化快的多。 

       匹配阶段：匹配阶段的主要是对推断阶段得到的特征图进行特征重组。因为第一阶段所得到的特征图在确实区域的信息是模糊的。所以作者希望通过块交换来时已知区域的纹理信息想未知区域扩散。具体的操作过程与传统的块匹配算法一致。只是为了加速运算，作者将相似度匹配运算改成了卷积运算，具体步骤如下：

1 首先将已知区域划分若干个3*3的像素块，拍成一列当作卷积核。

2 对图片的未知区域进行卷积操作，得到的结果即为未知区域每一个像素块与已知区域每一个像素块之间的相似度。 

3 选取相似度最高的像素块，从已知区域移动到对应的未知区域。

 

       多尺度修复结果：论文提出的模型除了可以完成常规的图像修复任务，还可以轻松的应用于得到多尺度的修复结果，具体操作如下: 可以将修复的结果I0​经过上采样以后，再次通过匹配以及翻译两个阶段即可以得到更大尺寸的修复结果。

       风格迁移任务：除了完成图像修复任务，改算法也可以直接应用于风格迁移任务，也能够取得视觉效果不错的结果。如下图：

 论文的主要贡献总结如下：

1）设计了一种基于学习的修复戏台，能够在高分辨率图像中合成具有高质量内容和纹理的缺失部分。

2）提出了一种新颖强大的训练方案，解决了特征操纵问题并避免了不何止。

3）训练好的模型可以达到与现有技术相媲美的性能，并可以推广到其他任务，如风格转移。