[论文笔记] PEPSI Fast Image Inpainting with Parallel Decoding Network

[论文笔记] PEPSI : Fast Image Inpainting with Parallel Decoding Network

一，摘要

​ 近年来，一种基于生成对抗网络(GAN)的方法在图像绘制中取得了显著的效果。然而，由于该方法的特征编码分为两阶段(coarse-fine)，需要大量的计算资源。

​ 为了降低coarse-fine框架的计算资源，作者提出了一个新的网络结构-PEPSI。该网络由一个共享的编码网络和一个具有粗路径和细化路径的并行解码网络组成。粗路径产生一个初步的绘制结果，利用该结果训练编码网络来预测用于CAM(the contextual attention module)的特征。同时，inpainting path利用CAM重建的精细特征，创造了更高质量的修复图片。

二，网络框架

共享编码网络架构

作用：从有hole regions区域的输入图像中提取特征，并在不产生粗结果的情况下完成缺失特征的补全。

网络构造：在这个网络中，作者在第一个卷积层中使用一个5×5的核来充分利用输入图像中的潜在信息。此外，我们在最后四个卷积层中使用不同膨胀率的膨胀卷积层来提取接收域较大的特征。

解码网络架构

俩条路径的解码参数共享

三，改进点

Modified CAM

传统的CAM采用余弦相似度来度量相似度评分。但是呢，这种方法会对特征块向量进行归一化，会导致语义特征表示失真。

因此，作者打算用欧几里得距离直接衡量相似度得分(原因：为欧氏距离不仅考虑特征块的两个向量之间的夹角，而且考虑特征块的大小)。

但是，直接使用欧几里得距离来衡量的话，不利于后面使用softmax进行归一化。(欧几里得距离区间为0~正无穷)所以，作者采用了自己定义的截断距离相似度评分。

公式如下：

Region Ensemble Discriminator(RED)

传统的全局和局部鉴别器不仅针对整体图像的相关性，而且针对hole region的局部纹理。然而，在实际应用中，局部判别器只能处理方形尺寸固定的孔洞区域，而在实际应用中，孔洞的位置、形状和尺寸可以是任意的。

于是，作者就提出了RED鉴别器

RED将最后一层的特征划分为像素方向的块，并通过全连通层分别区分真假特征。由于RED试图对每个具有不同接受域的特征块分别进行分类，所以它分别判断不同的图像区域是真实的还是虚假的。

四，loss定义

作者仅仅使用重构L1损耗对产生粗图片路径进行了显式训练，而对细化路径进行了L1损耗和GAN损耗的训练

细化路径

对抗损失

其中P_Xi和P_Y表示inpainting结果和输入图像的数据分布

细化路径整体损失

X _(n)和Y _(n)是第n个图像的生成的图像和其相应的原始输入图像，n是代表是这个mini-batch中的第几个输入图像，N是mini-batch图像对的数量,和λ_i，λ_adv为hyper-parameters来平衡不同损失的权重。

粗略路径

总损失

其中，k和k_max分别表示学习过程的第几次迭代和最大迭代次数

五，实验结果

六，结论

本为提出了一种新的图像修复方框架-PEPSI。根据实验结果所示,该方法通过将一般的coarse-fine 框架转化成一种有效的单级网络结构和采用有效的共享学习策略的体系结构，相比于传统框架不仅可以得到更高的性能,而且还大大减少了计算时间。