图像修复论文笔记:Context Encoders: Feature Learning by Inpainting

1.论文题目：Context Encoders: Feature Learning by Inpainting

论文来源：2016 CVPR

（1）所解决问题

通过基于上下文像素预测驱动的无监督的视觉特征的学习算法，利用周围的图像信息来推断缺失的图像

本文的上下文编码器需要解决一个困难的任务:填补图像中大量缺失的区域，而这些区域无法从附近的像素中获得“提示”。

（2）所构建网络

主要思路：

主要思路是结合Encoder-Decoder 网络结构和 GAN （Generative Adversarial Networks），Encoder-Decoder 阶段用于学习图像特征和生成图像待修补区域对应的预测图，GAN部分用于判断预测图来自训练集和预测集的可能性，当生成的预测图与GroundTruth在图像内容上达到一致，并且GAN的判别器无法判断预测图是否来自训练集或预测集时，就认为网络模型参数达到了最优状态

上下文编码器。上下文图像通过编码器获得连接到解码器的特征，解码产生图像中缺失的区域。

网络框架

网络训练的过程中损失函数都由两部分组成：Encoder-decoder 部分的图像内容约束（Reconstruction Loss）GAN部分的对抗损失（Adversarial Loss）。Context Encoders 采用最简单的整体内容约束，也就是预测图与原图的l2 距离。

（3）评价指标

文章使用来自两个数据集的图像进行实验:不使用任何附带的标签的Paris StreetView和ImageNet。

文章从两个方面显示了其优越性，一方面为上下文编码器在填充缺失区域的能力，另一方面使用上下文编码器作为图像分类、目标检测和语义分割的前训练步骤，演示了其学习到的特征可以转移到其他任务。文章将这些任务的结果与其他无监督或自监督方法的结果进行比较，证明其方法优于以前的方法。

缺失修复结果对比

定量对比其在分类，检测等任务中的作用

（4）源代码

lua官方版本

tensorflow版本（未实现全部功能）