【论文解读】Generative Image Inpainting with Contextual Attention

摘要

• contextual attention layer
• 一些train的技巧

网络结构

Coarse-to-Fine 由粗到细

粗网络只用重建loss训练，细网络用GAN+重构网络训练；

LOSS的具体表达式

挖个坑，有点难。。。

Contextual Attention Layer

CA Layer能够学习修复过程中所依赖的特征位置，而且可端到端训练。

在背景（留下来的部分）中选取一个小块($3\times 3$），将前景（被遮住的部分）和背景（留下来的部分）作标准化内积的相似度运算。用softmax对所有的背景小块计算权值，重叠（padding）的部分作平均数，从而选出最好的一块，以此为基础反卷积出前景。

这一块倒是说得神奇，就是在背景中找和foreground最像的一块$3\times 3$的patch的位置，这个位置估计以后会用到。很迷的一点是，它目前没说到反卷积怎么反，继续读。

感知传播（Attention Propogation）

其实我对attention机制还不太懂，是不是应该先挖个坑？？？
至少以我浅显的认识，这一部像是对上一步得到的attention map做了一个四邻域平滑处理

统一补全网络Unified Inpainting Network

分为两个网络

1. 上面的CA Layer提取感兴趣的区域；
2. 下面的用膨胀卷积提整体特征
3. 二者聚合，反卷积。

胡思乱想

这是一个“两阶段”的方法，在第一阶段的loss无法对网络产生十分精细的监督使，计算一个全局相似度的方法的attention map，帮助网络收敛。