论文阅读——Contextual-based Image Inpainting: Infer, Match, and Translate

原文连接：Contextual-based Image Inpainting: Infer, Match, and Translate (ECCV 2018). Song, Y., Yang, C., Lin, Z., Liu, X., Huang, Q., Li, H., & Jay Kuo, C. C. [Paper]

本文创新点：提出了特征重组（Patch-swap）。

网络结构及损失函数

网络主要由三个部分构成：推理、匹配和翻译。

推断（Inference）：用Image2Feature网络对内容粗糙的不完整图像进行填充推理，并用 VGG 网络提取特征图。

匹配（Matching）：在特征图上使用patch-swap来匹配neural patches。

翻译（Translation）：使用Feature2Image网络将特征映射转换为完整的图像。

Image2Feature Network

Image2Feature网络的目标是用粗略的预测来填补空白。

 整体损失函数： 

感知损失：

 其中， 为权重掩码。

对抗损失：

 Patch-swap

Patch-swap的主要目的是对特征进行转换，将特征F1 转换成F1' 。计算像素块之间的相似度，并用最高相似度的像素块进行替换。在实践中，用卷积来计算像素块之间的相似度。

 

 Feature2Image Translation Network

Feature2Image 网络的目标就是将特征图转换成完整清晰的图像。

整体损失： 

 

 感知损失：

 

 对抗损失：

 

总结

优点：

1. 可以修复任意大小，孔洞任意形状的图片；
2. 可以将网络应用到其他任务上，如风格迁移；

缺点：无法修复结构复杂，缺少对象主体部分的图像；