Free-Form Image Inpainting with Gated Convolution

1. Motivation

• 传统的方法不适用于复杂的场景，如人脸；
• 普通的卷积认为所有的像素或特征都是有效的，但是位于空缺位置的像素和特征其实是无效的；
• Partial convolution对普通卷积进行了改进，认为一部分特征是有效的另一部分是无效的，通过更新mask的方法实现，关于Partial convolution的详细解释【1，2】。但是网络中的特征应该分为三部分，(1)全部基于已知区域获得的特征；(2)全部基于空缺区域获得的特征；(3)部分基于已知区域获得的特征和部分基于未知区域获得的特征。Partial convolution将(1)和(3)的mask全置为1，(2)的mask置为0，这对(2)来说是不合理的。

2. Approach

2.1 Network Architecture

这篇文章的网络结构是基于Context attention和Partial convolution，生成器中将所有的普通卷积替换成了Gated convolution，判别器也不再是局部和全局判别器的组合。

2.2 Gated Convolution

Gated convolution的就是让网络自己去学习一个mask，对每层的特征都学习一个mask，让mask与特征相乘得到最后的结果。Partial convolution的mask会随着网络的深度而变小，最后msak的值全为1，但此时的特征中仍然包含从缺失区域提取的信息，不是很合理。

2.3 SNPatchGAN

SN-PatchGAN使用了6个步长卷积（k=5, s=2）以捕获Markovian块的特征统计信息。在训练设置中，输出图中每个神经元的感受野可以覆盖整个输入图像，因此不需要全局鉴别器。

2.4 Loss function

这篇文章只用了两个损失，对抗损失和重构损失。

hinge loss：

pixel-wise reconstruction loss: 重构损失

3. Discussion

我认为这篇文章的主要创新点就是Gated convolution的设计，通过让网络学习mask，区分来自不同区域特征，和Partial convolution一样，简单有效方法。

源代码：https://github.com/JiahuiYu/generative_inpainting

4. Refenreces

【1】Liu, Guilin, et al. "Image inpainting for irregular holes using partial convolutions." Proceedings of the European Conference on Computer Vision (ECCV). 2018.

【2】想要成为学霸的渣渣. "Image Inpainting for Irregular Holes Using Partial Convolutions 论文笔记". https://blog.csdn.net/qq_40700490/article/details/107901416. 2020.

【3】Yu, Jiahui, et al. "Free-form image inpainting with gated convolution." Proceedings of the IEEE International Conference on Computer Vision. 2019.