论文阅读——Globally and Locally Consistent Image Completion

原文连接：

• Globally and Locally Consistent Image Completion (ToG 2017). Iizuka, S., Simo-Serra, E., & Ishikawa, H. [Paper][Code][Project]

这篇论文在context encoder的基础上改进了两点：

1. 用空洞卷积（dilated convolution）代替通道全连接层（Channel-wise fully-connected layer）。这样就不会限制输入的尺寸了，可以适用于任意分辨率图像的修复。
2. 加入了全局上下文判别器（global context discriminator），主要目的是保持全局语义的一致性。

总体结构

整体网络结构由三个网络构成：修补网络、全局上下文判别器、局部上下文判别器。判别器网络仅用于训练修补网络，在测试期间不使用。

 修补网络是由全卷积网络构成，输入是待修补的图像与二进制掩码，输出是修复后的图像。空洞卷积在保持参数不变的条件下，增大了感受野。

 全局上下文判别器由六个卷积层和一个全连接层组成，输入是256*256的图像；

局部上下文判别器与全局结构一样，去除了第一个卷积层，输入为128*128的像素块；

两个上下文编码器通过一个全连接层融合在一起，输出一个在0-1之间的概率，表示图像是真实图像的概率。

 

损失函数

L2损失：

 其中，C(x,Mc)表示修补网络，x是输入图像，Mc是输入掩码（待修补区域为1，其他为0）。

对抗损失：

 其中Md是随机掩码， D(x,Md)表示组合上下文鉴别器。

联合损失：

 其中，α是权值超参数。

训练

首先，用L2损失训练修补网络，迭代TC次；

然后，固定修补网络，训练判别器网络，迭代TD次；

最后，对修补网络和判别器网络进行联合训练Ttrain-TC-TD次。

后续处理

该网络有时生成的区域与周围的区域有一些的颜色不一致，采用了快速推进和泊松图像混合方法进行后续处理。

 实验结果

 

总结

优点：

1. 可以修复任意分辨率，任意形状缺失的图像；
2. 能够保持整体的结构一致性，可以生成新的对象；

存在的问题：

1. 对于待修复区域很大时，难以修复；
2. 由于对纹理信息的捕捉能力较差以及对快速匹配和泊松混合技术的依赖，难以处理背景复杂的图像。