High-Resolution Image Inpainting using Multi-Scale Neural Patch Synthesis

1. Motivation

• 传统的方法假设图像中不同的patch之间的相似性高；
• 生成图像的纹理细节不好，且不能处理高分辨率的图像。

2. Approach

2.1 Network Structure

Framework Overview.

The network architecture for structured content prediction.

网络分为两部分，Conten Network和Texture Network。Conten Network采用编码和解码结构，用于生成高级的语义结构；Texture Network用来生成纹理细节。

2.2 Loss function

• The Joint Loss Function：

• The Content Network：

3. Discussion

这篇文章中Conten Network可以在语义和整体结构上提供很强的先验知识，Texture Network也可以很好的生成一些细节。但是这篇文章中的方法不能处理复杂的情景，下图展示的是一些失败的例子，此外运行的时间较长。

4. References

【1】Yang, Chao, et al. "High-resolution image inpainting using multi-scale neural patch synthesis." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017.