Image Inpainting for Irregular Holes Using Partial Convolutions

1. Motivation

• 以前的方法会产生 artifacts，需要后处理，且效果不是很好；
• 过去的方法集中关注位于图像中间的矩形空缺，会导致过拟合。

2. Approach

2.1 Partial convolutional layer

W是卷积核，X是当前窗口图像或者 feature map，M是X对应的 mask，1 是和 M尺寸相同的矩阵，只是 1中的元素全为1。

mask更新的方法，只要当前窗口有一个位置的 mask值为1，则新生成的 mask的值等于1，mask会随着网络的深度越来越小。

2.2 Loss function

• per-pixel losses：

• perceptual loss：

 ImageNet-pretrained VGG-16每层的特征，。

• style losses：

• TV loss:

• final loss:

3. Disscussion

我认为这篇文章的创新点就是通过更新 mask，区别feature map里不同的区域，保留更多有效的信息，简单的方法实现了很好的效果，很强的一篇文章，大佬。

上图展示的是一些失败的例子，可以看出，这篇文章对一些稀疏结构图片的修复效果很差。

源代码：https://github.com/NVIDIA/partialconv

4. References

【1】Liu, Guilin, et al. "Image inpainting for irregular holes using partial convolutions." Proceedings of the European Conference on Computer Vision (ECCV). 2018.