论文 GP-GAN: Towards Realistic High-Resolution Image Blending 学习笔记

1. 模型简介

本文中，作者提出了一种方法，能在给定简单的复制粘贴合成图像（composited copy-and-paste）的情况下，生成高分辨率、且比较真实的融合图像。文章的亮点在于作者将传统的基于梯度的方法与最近出来的 GAN 结合起来，达到生成高分辨率融合图像的目的，这也是 GAN 被用在此领域的第一篇文章。

具体实现的任务如下图：

（a）图是复制粘贴后的原始合成图像，红线框出来的部分是从其他图复制过来的，我们要达到的目标是能够使该合成图片看起来更加自然、真实，就像我们在 ps 中的 p 图一样。（b）（c）是用其他方法得到的效果，（d）是本文方法得到的效果，显然本文方法得到的最终图像更加真实。

---

2. 方法实现

2.1. 图像输入

首先我们需要获取我们的原始 copy-and-paste 合成图片，如下图所示。

写成公式的话就是这样的：
$$x=x_{src}\ast x_{mask}+x_{dst}\ast (1-x_{mask})$$ $x$ 是合成后的图片，如上图（d），$x_{src}$ 是源图片，如（a），$x_{dst}$ 是目标图片，如（b），$x_{mask}$ 是掩模图片，如（c）。在该问题中难以获得真实的融合图像 ground truth，作者在这里直接将 $x_{dst}$ 近似为 $x_g$（ground truth 图像）。

2.2. 框架描述

作者提出的 GP-GAN 框架主要含有2部分：Blending GAN 以及 Gaussian-Poisson Equation。前者作为颜色约束（colour constraint）使生成图像更加真实、自然，同时伴随一定的模糊，后者作为梯度约束（gradient constraint）进一步提高图像分辨率，使其拥有纹理、边缘等细节。整体框架如下图所示。

2.3. Blending GAN

损失函数为 L2 损失与对抗损失（Adversarial Loss）的组合。
总损失函数：
$$L(x,x_g)=\lambda L_{l_2}(x,x_g)+(1-\lambda )L_{adv}(x,x_g)$$ L2 损失：
$$L_{l_2}(x,x_g)=\Vert G(x)-x_g{\Vert }_2^2$$ 对抗损失：
$$L_{adv}(x,x_g)=\underset{D}{\max }{E}_{x\in \chi }[D(x_g)-D(G(x))]$$
Blending GAN 的生成器 $G(x)$ 网络结构如下图所示。

输入图像经过训练好的生成器能够得到真实、自然的模糊图像 ${\tilde{x}}_l$。

2.4. Gaussian-Poisson Equation

在得到 ${\tilde{x}}_l$ 后，接下来就是要提高分辨率，得到最后的 $x_h$，作者使用 Gaussian-Poisson Equation 加拉普拉斯金子塔（Laplacian pyramid）的方法迭代 s 次，得到最终高分辨率且真实的图像。
在每次迭代获取更高分辨率的 ${\tilde{x}}_h$ 时，使用的损失函数为：
$$H(x_h)=P(x_h)+\beta C(x_h)$$ $P(x_h)$ 就是 Poisson Equation，对应梯度约束（gradient constraint），其目标是使 $x_h$ 与原始合成图有着相同的高频信号，定义如下：
$$P(x_h)={\int }_T\Vert \text{div}v-\Delta x_h{\Vert }_2^{2}dt$$ 其中
$$v^{ij}=\{\begin{array}{ll}\nabla x_{src}& \text{if }{x}_{mask}^{ij}=1\\ \nabla x_{dst}& \text{if }{x}_{mask}^{ij}=0\end{array}$$ $\text{div}$ 代表散度，$\Delta$ 代表拉普拉斯算子，$\nabla$ 代表梯度。

$C(x_h)$ 对应颜色约束（color constraint），其目标使 $x_h$ 与 ${\tilde{x}}_l$ 有相同的低频信号，定义如下：
$$C(x_h)={\int }_T\Vert g(x_h)-{\tilde{x}}_l{\Vert }_2^{2}dt$$ 具体算法如下所示：

---

3. 模型评估

1. 使用 RealismCNN 方法对生成图片进行场景真实性检测；
2. 在 Amazon Mechanical Turk 平台上发布任务，统计 user 对不同方法产生图像真实性的判断结果。

---

4. 效果展示

第二行为 copy-and-paste 合成图，第三、四行为其他方法的最终融合图，最后一行为本文方法的最终融合图。