泊松融合：Poisson Image Editing

Poisson Image Editing

前面的文章详细地解读了抠图方面的论文 Poisson Matting，接下来将解读与泊松抠图互为 逆过程的泊松融合算法，与泊松抠图一样，泊松融合的核心也是对满足狄利克雷边界的泊松方程的求解。

Poisson solution to guided interpolation

如下图所示，首先我们定义插值问题：
$S$：是用于融合的背景区域
$\Omega$：用于融合的前景区域
$\partial \Omega$：前景区域的边界
$f^{\ast }$：背景区域的函数值或者说是像素值
$f$：前景区域的函数值，未知
$\mathbf{v}$：前景区域的梯度场
$g$：为前景区域的函数值
因此可以将求解$\Omega$内函数值$f$的定义为如下最小化问题：
$$\underset{f}{\min }{\iint }_{\Omega }|\nabla f{|}^2\text{ with }{f|}_{\partial \Omega }=f^{\ast }\mid \partial \Omega \text{\hspace{1em}(1)}$$
其中$\nabla =\left[\frac{\partial }{\partial x},\frac{\partial \cdot }{\partial y}\right]$为梯度算子，且以上最小化问题的求解需要满足如下狄利克雷边界条件的拉普拉斯方程：
$$\Delta f=0\text{ over }\Omega \text{ with }{f|}_{\partial \Omega }={f^{\ast }|}_{\partial \Omega }\text{\hspace{1em}(2)}$$
其中$\Delta .=\frac{{\partial }^2}{\partial x^2}+\frac{{\partial }^2}{\partial y^2}$为拉普拉斯算子。

以上最小化问题的求解并不能得到令人满意的图像插值结果，而我们已知前景区域的梯度向量场$\mathbf{v}$，即将式(1)所示的最小化问题转化为：
$$\underset{f}{\min }{\iint }_{\Omega }|\nabla f-\mathbf{v}{|}^2\text{ with }{f|}_{\partial \Omega }={f^{\ast }|}_{\partial \Omega }\text{\hspace{1em}(3)}$$
将式(1)中对函数$f$的约束方式实际上是在约束$\Omega$区域的平滑性，因此插值出来的结果会相当模糊，而式(3)中的即约束了$\partial \Omega$区域过度的平滑性，也约束了$\Omega$区域内函数梯度场与原梯度场$\mathbf{v}$间的相似性，此方程的解是满足以下狄利克雷边界条件的泊松方程：
$$\Delta f=\mathrm{div}\mathbf{v}\text{ over }\Omega ,\text{ with }{f|}_{\partial \Omega }=f^{\ast }\mid \partial \Omega$$
其中$\mathrm{div}\mathbf{v}=\frac{\partial u}{\partial x}+\frac{\partial v}{\partial y}$，上式即是基于泊松方程的图像融合的核心理论，其中也将梯度场$\mathbf{v}$称为导向场(guidence field)

Seamless cloning

在以上对泊松抠图的理论描述中，为理解方便，我直接采用了泊松融合的字眼，但原论文将其描述为一个统一的图像处理框架，将其称为泊松插值，而泊松融合也是以上泊松插值框架的在图像处理中最常见的应用，其中有两种导向梯度场的计算方式：

• Importing gradients：直接选择前景区域的梯度作为导向梯度：
  $$\mathbf{v}=\nabla g$$
• Mixing gradients：保留$\Omega$区域中$f^{\ast }、g$中梯度幅度最大的梯度向量：
  $$\mathbf{x}\in \Omega ,\mathbf{v}(\mathbf{x})=\{\begin{array}{ll}\nabla f^{\ast }(\mathbf{x})& \text{ if }\left|\nabla f^{\ast }(\mathbf{x})\right|>|\nabla g(\mathbf{x})|\\ \nabla g(\mathbf{x})& \text{ otherwise. }\end{array}$$
  下列的图像即是泊松融合在各种具体的图像处理问题中的应用。