Generative Face Completion

1. Motivation

以前的图像补全算法都是从已知区域中复制 pattern，当补全对象是人脸时，图像拥有相似 pattern的假设不成立。

2. Approach

2.1 Network architecture

Network architecture

• Generator：生成器就是常见的 Encoder-decoder结构；
• Discriminator：判别器有两个， Global discriminator和 Local discriminator，与 Globally and Locally Consistent Image Completion 【1】这篇论文不同的是，这里并没有将局部与整体的特征 concat，而是使用了两个网络；
• Semantic regularization： Global discriminator不能很好的保持生成图像整体的一致性，所以增加了一个 Parsing network，进一步保证生成图像整体的一致性。

2.2 Loss function

重构损失：生成图像与原图的L2范数

对抗损失：GAN的损失函数(两个判别器)

解析损失：softmax损失

最终的损失函数：

3. Disscussion

• 创新点：我认为这篇文章的主要创新点是使用一个语义解析的网络，保证生成图像与原始图像在语义上的一致，增强生成图像的整体性；

• 存在的问题：从图中可以看出，这篇文章中的方法不能很好的处理未对齐的人脸，此外不能很好的利用空间中相邻像素之间的信息；
• 一点理解：对于图像补全而言，我们的目标是使生成图像尽可能的接近原始图像，对应到网络中就是 Loss function，损失函数会知道网络生成我们想要的图像，所以如何用数学的语言给出生成图像尽接近原始图像的约束很关键，不只是简单的。对于GAN有另一种理解，可以将之看作为一个普通的神经网络，只不过它的 Loss也是变化得，Loss function是一个或多个网络，这些网络会不断变化。
• 源代码：https://github.com/Yijunmaverick/GenerativeFaceCompletion

4. References

【1】Iizuka, Satoshi, Edgar Simo-Serra, and Hiroshi Ishikawa. "Globally and locally consistent image completion." ACM Transactions on Graphics (ToG) 36.4 (2017): 1-14.

【2】Li, Yijun, et al. "Generative face completion." Proceedings of the IEEE conference on computer vision and pattern recognition. 2017.