图像修复论文笔记:Generative Image Inpainting with Contextual Attention

1.论文题目：Generative Image Inpainting with Contextual Attention

论文来源：2018 CVPR

（1）所解决问题

目前的基于深度学习的方法已经显示了对于修复图像中大量缺失区域的具有挑战性的任务的有希望的结果。这些方法可以生成视觉上合理的图像结构和纹理，但通常会产生与周围区域不一致的扭曲结构或模糊纹理。这主要是由于卷积神经网络不能明确复制借用远处空间的某一位的纹理导致的，但是传统的修复方法特别适合这一问题。文章对这一问题进行了解决。

文章提出了一种新的基于深度生成模型的方法，该方法不仅可以合成新的图像结构，还可以在网络训练期间明确利用周围的图像特征作为参考，以便做出更好的预测。该模型是一个前馈全卷积神经网络，它在测试时可以处理任意位置及大小的孔的修复问题。对包括人脸（CelebA，CelebA-HQ），纹理（DTD）和自然图像（ImageNet，Places2）在内的多个数据集进行的实验表明，其提出的方法可以产生比现有方法更高质量的修复结果。

（2）所构建网络

主要思路：

[1]Improved Generative Inpainting Network

文章首先通过复制和改进近期最新的修复模型 Globally and locally consistent image completion来构建其基础的生成图像修复网络，作者引入了粗略到细化的网络结构，其中第一个网络进行初始粗略预测，第二个网络将粗略预测作为输入并预测精确结果。

粗网络的训练损失为 reconstruction loss，细化网络的的损失为 reconstruction loss 和 GAN losses。直观地说，精细网络比缺少区域的原始图像拥有更完整的场景，所以它的编码器可以比粗网络学习更好的特征表示。

改进的生成修复网络

[2]Image Inpainting with Contextual Attention

除此之外，在下一部分，作者引入了attention mechanism

卷积神经网络逐层地处理具有局部卷积核的图像特征，因此对于从远处空间位置获取特征没有效果。为了克服这个局限性，作者考虑了关注机制，并在深度生成网络中引入了一个新的contextual attention layer。

引入注意力机制

（3）评价指标

文章使用包括Places2 ，CelebA人脸，CelebAHQ人脸，DTD纹理和ImageNet 在内的四个数据集进行了模型的评估。对比的模型为 Globally and locally consistent image completion所提出的模型。

对比结果

（4）源代码

tensorflow版本（官方）：https://github.com/JiahuiYu/generative_inpainting