Image Inpainting Guides

Coding Skill目录下的所有Tutorials、Notes博客都会不定期迭代更新

Brief

人脸补全作为图片补全问题的一个分支，是一种常见的人脸图像编辑技术，它也可以用来编辑人脸属性。生成的人脸图像既可以与原始人脸图像一样精确，也可以与未遮挡人脸图像在内容上保持一致，以使补全的图像看起来具有真实的视觉感受。

图像补全，即是将图片中缺失的像素补充上, 目的是使得没有看过这原图像的观察者无法察觉出这其实是补全的图像. 有时为了移除图像中的一些物体, 会手动地将这些物体遮挡起来进行补全. 一般来说, 按照补全的难易程度可以将该问题分成两类: (1) 补全较小的区域 —— 细缝, 文字等; (2)补全较大的区域 —— 整块的缺失图片.

传统的方法通过将信息从缺失位置的外部一步步向缺失区域传播的方法已经可以较好地补全较小的区域, 但是在面对较大的缺失区域时就不灵了, 这时深度学习方法对此类又较大区域缺失的图片补全的较好.

Resources

图像/人脸补全问题的前世今生
基于CNN的图像修复（CNN-based Image Inpainting）

Methods

Context Encoder
Encoder-Decoder + GAN

Encoder-Decoder 阶段用于学习图像特征和生成图像待修补区域对应的预测图，GAN部分用于判断预测图来自训练集和预测集的可能性，当生成的预测图与GroundTruth在图像内容上达到一致，并且GAN的判别器无法判断预测图是否来自训练集或预测集时，就认为网络模型参数达到了最优状态。

High-Resolution Image Inpainting using Multi-Scale Neural Patch Systhesis
内容约束 + 局部纹理约束

Globally and Locally Consistent ImageCompletion
全局 + 局部

生成图片部分，GL采用12层卷积网络对原始图片(去除需要进行填充的部分)进行encoding，得到一张原图16分之一大小的网格。然后再对该网格采用4层卷积网络进行decoding，从而得到复原图像。

鉴别器也被分为两个部分，一个全局鉴别器(Global Discriminator)以及一个局部鉴别器(Local Discriminator)。全局鉴别器将完整图像作为输入，识别场景的全局一致性，而局部鉴别器仅在以填充区域为中心的原图像4分之一大小区域上观测，识别局部一致性。

Generative image inpainting with contextual attention
上下文Attention

Image inpainting for irregular holes using partial convolutions
局部卷积