Image Fine-grained Inpainting

1. Motivation

• 传统方法不能生成新的内容；
• 现有的基于深度学习的方法会产生不合理的结构和模糊。

2. Approach

2.1 Network Architecture

生成器：每个“convolution + norm”都有一个激活函数，最后一层的激活函数是Tanh，其他层的函数都是ReLU。生成器的中间部分包含DMFB(dense multi-scale fusion block)，结构如上图所示。

判别器：两个branch，一个负责全局特征，一个负责局部特征，之后将feature concat，整体判别真假。

2.2 Loss function

• Self-guided regression loss：

mask让缺失区域的值为1，会将缺失区域或包含缺失区域的像素或特征mask的值变大，而未缺失区域的mask值较小，对缺失区域的惩罚力度更大，这一点也很好理解，模型只需要填充缺失区域，已知区域可以复制，所以我们希望对缺失区域要求更高，而一直区域要求较低，这边只使用了前两层的feature，对应的是底层的特征。

• Geometrical alignment constraint：

几何对齐损失，对于feature maps，他有多个通道，这篇文章设想每个通道有一个中心，对于生成的图像和真实图像而言，这个几何中心要尽可能的接近。

• Adversarial loss：

ESRGAN【1】的相对平均判别器，C这个函数表示最后一层，激活函数sigmod前的网络。

• Final objective：

3. Discussion

我认为这篇文章创新点有以下几个：

• Dense multi-scale fusion block的设计，更好的提取特征；
• Self-guided regression loss的设计，加大了对缺失区域的惩罚力度；
• Geometrical alignment constraint，要求feature maps的中心对齐。

这篇文章并不是像partial convolution那样一个很强的创新点，而是多个小的创新点组合。从作者给出的结果，这些小的创新点对模型的精度都有贡献。

源代码作者现在还没放出来，不过作者说之后会放出来：https://github.com/Zheng222/DMFN

4. References

【1】Wang, Xintao, et al. "Esrgan: Enhanced super-resolution generative adversarial networks." Proceedings of the European Conference on Computer Vision (ECCV). 2018.

【2】Hui, Zheng, et al. "Image fine-grained inpainting." arXiv preprint arXiv:2002.02609 (2020).