70-0001 Poisson Matting【泊松抠图】
泊松抠图
- 摘要
- 1.简介
- 2.相关工作
- 3.泊松抠图
-
- 3.1 全局泊松抠图
- 4.局部泊松抠图
-
-
- 4.1 局部的泊松抠图
- 4.2 局部操作
-
- 4.2.1 通道选择
- 4.2.2 局部过滤
- 4.2.3 精细化过程
-
- 5.结果与应用
- 6.结论
- 7.参考文献
摘要
在本文中，我们将自然图像抠像问题公式化为一个用抠图的梯度场求解泊松方程的问题。在我们的研究中，泊松抠图具有以下优点：首先，通过使用来自用户提供的trimap的边界信息求解泊松方程，从连续的遮罩梯度场直接重建遮罩。 其次，通过使用多种过滤工具交互地操作遮罩梯度场，用户可以进一步改善局部的泊松遮罩效果，直到满意为止。 修改后的本地结果无缝集成到最终结果中。 在许多复杂的自然图像上进行的实验表明，泊松抠图可以达到良好的消光效果，而使用现有的抠图技术则无法实现。
备注：本文翻译了Poisson Matting的相关文章，原文地址如下：
链接：http://home.cse.ust.hk/~cktang/sample_pub/poisson_matting.pdf
1.简介
在图像合成中，可以通过遮罩公式将背景图像B(x，y)和前景图像F(x，y)的alpha遮罩α(x，y)混合成新图像I(x，y) (为清楚起见，删除了(x，y)自变量)：
I = α F + ( 1 − α ) B I=\alpha F+(1-\alpha)B I=αF+(1−α)B
formula(1) 公式1
备注：可以理解为图像合成的公式，也即：当前像素点的计算方法。
另一方面，从给定图像I分离出α，F和B称为遮罩提取问题，或简称为抠像。在蓝屏抠图中，只需要需要重建α和F，因为从用户控制的环境中可以知道B。但是在自然图像抠图中，需要估计所有变量α，F和B。
由于抠图方程具有太多未知数，抠图固有地受到了限制。因此，用户交互对于获得良好的抠图效果至关重要。例如，在自然图像抠图中（例如，贝叶斯抠图[Chuang et al.2001]）用户需要提供一个Trimap，将图像分成三个区域：“前景”、“背景”、“未知区域” ”。在未知区域中，可以使用已知前景和背景区域中的颜色统计信息来估计遮罩。
确实，正如[Smith and Blinn 1996]所述，蓝屏抠图在许多应用中成功的关键思想是在环境设置周期中纳入一个人，以确定结果是否为“当s /他看到了”，并提供了足够丰富的控件来调整结果。
然而，调整抠图在自然图像抠图中不是简单的操作。迄今为止最自然的图像抠图方法[[Berman et al. 2000; Ruzon and Tomasi 2000; Hillman et al. 2001; Chuang et al. 2001]依赖于已知背景和前景中的像素采样。这些样本然后用于以统计上有意义的方式估计未知区域中的遮罩。一旦仔细指定了trimap，这些方法的结果可能不会再得到改善。例如，在图1中，前景毛发和背景分支很容易混淆，特别是在对比度较低的区域。如果没有其他信息，很难产生良好的抠图效果，直接在像素级别编辑遮罩将是乏味且不切实际的。
图一： Pulling of matte from a complex scene. From left to right: a complex natural image for existing matting techniques where the color background is complex, a high quality matte generated by Poisson matting, a composite image with the extracted koala and a constant-color background, and a composite image with the extracted koala and a different background.
在本文中，我们提出用于复杂场景自然图像的泊松抠图。与以前以统计方式优化像素的Alpha，背景和前景色不同，我们的方法直接在遮罩的渐变上进行操作。这样可以减少由于在复杂场景中对颜色样本进行错误分类而导致的错误。泊松抠图可根据图像估计遮罩的梯度，然后通过求解泊松方程重建遮罩。
我们的公式是基于这样的假设，即前景和背景的强度变化是平滑的。我们建议使用全局泊松抠图，这是一种半自动方法，可以根据给定的用户提供的trimap从图像梯度近似遮罩。然后可以更可靠地估计前景和背景色。
更重要的是，当由于复杂的背景而导致整体的Poisson抠图无法产生高质量的抠图效果时，我们将引入局部Poisson抠图策略，该抠图策略将控制局部区域中的连续渐变场。局部Poisson抠图将用户输入带入“抠图”循环。在大多数情况下，由前景和背景色引起的图像梯度在视觉上可以局部地区分。通过使用在遮罩的渐变场上运行的一组工具，可以将来自用户的知识有效地集成到Poisson抠图中。结果，我们的方法可以在复杂的场景中保持前景对象的细长螺纹状形状的连续性，如图1所示。此外，在进行本地操作后，可以将渐变字段中的用户修改无缝传播到遮罩中。
关于遮罩，抠图：都是matte，一个是名词，一个是动词。
图像的跳转到后期再添加。
2.相关工作
自然图像抠图
几种自然图像抠图方法[[Berman et al. 2000; Ruzon and Tomasi 2000; Hillman et al. 2001; Chuang et al. 2001]已经提出。它们中的大多数包含两个过程：
- 样本收集：从"前景"和"背景"收集"未知区域"中每个像素的统计信息或颜色图层F和B的样本。
- 遮罩估计：通过求解遮罩方程，在给定F和B值的情况下，对于每个像素估计遮罩。
在知名的[Berman et al. 2000]中，估计的F和B是沿已知前景和背景区域周长的像素加权平均值。最终估计的α也是在RGB通道中计算的遮罩强度的加权平均值。在[Ruzon and Tomasi 2000]和[Hillman et al. 2001]，分别通过无方向性高斯和主成分分析（PCA）的混合来分析F和B的颜色样本。贝叶斯消光[Chuang et al .2001年]首先对F和B的颜色样本进行聚类。每个聚类都以定向的高斯分布进行拟合。同时为贝叶斯框架中的前景对和背景对中的每一个同时计算α，F和B的最大后验（MAP）估计。最终α是从产生最大似然的那对中选择的。迄今为止，在许多情况下，贝叶斯抠图可产生最佳效果。有关自然图像抠图算法的详细比较和调查，请参见[Chuang et al. 2001]。
但是，这些方法依赖于色彩采样，而色彩采样在复杂场景中容易出错。采样错误的颜色不可避免地会导致较差的抠图效果。此外，当无法重新定义Trimap时，还不清楚这些颜色采样方法如何继续自动或交互地改善消光效果。
其他抠图方法
在[Smith and Blinn 1996]中，提出了三角剖分解决方案以将消光转换为过度约束的问题。但这需要对前景图像进行两次拍摄，并使用两种不同的已知背景（颜色）。差异抠图[Qian and Sezan 1999]也需要两个图像：一个带有前景，另一个不带有前景。两个图像的差异映射到遮罩。视频消光[Chuang et al。 2002]是贝叶斯遮罩的扩展。双向光学流算法用于根据用户提供的关键帧在视频序列中对三映射进行插值。
泊松方程应用
泊松方程先前已用于色调映射中[Fattal et al. 2002]、阴影去除[Finlayson et al. 2002]和图像编辑[[Elder and Goldberg 2001; P´erez et al. 2003]。可以通过自动或交互操作图像的梯度场然后求解泊松方程来修改图像。本文将泊松方程应用于抠像领域。
3.泊松抠图
泊松抠图包含两个步骤：
- 根据输入图像计算出一个近似的遮罩渐变场。
- 通过求解泊松方程从其梯度场获得遮罩。
为了获得近似的遮罩梯度场，我们在遮罩方程的两边都采用了偏导数：
∇ I = ( F − B ) ∇ α + α ∇ F + ( 1 − α ) ∇ B \nabla I=(F-B)\nabla\alpha+\alpha\nabla F+(1-\alpha)\nabla B ∇I=(F−B)∇α+α∇F+(1−α)∇B
formula(2) 公式2
备注：应该是对于F、B、α分别对x、y求偏导得到上述结果。
将I视作F、B、α的函数，求全微分可以得到上述结果。
So，∇梯度算子是x,y的偏导。
在二维的图片中，每一个R-G-B-α，每一层中的信息都是由(x,y)确定的，对此形式求微分。
∇ = ( ∂ ∂ x , ∂ ∂ y ) \nabla=(\frac{\partial}{\partial x},\frac{\partial}{\partial y}) ∇=(∂x∂,∂y∂)是梯度算子。这是分别针对R、G、B通道的遮罩方程的微分形式。在前景F和背景B光滑的情况下，即 α ∇ F + ( 1 − α ) ∇ B α∇F+(1-α)∇B α∇F+(1−α)∇B相对于 ( F − B ) ∇ α (F-B)∇α (F−B)∇α而言较小，我们可以得出如下近似遮罩梯度场：
∇ ≈ 1 F − B ∇ I \nabla\approx\frac{1}{F-B}\nabla I ∇≈F−B1∇I
formula(3) 公式3
这个公式是如何得到的？
对于公式2右侧进行重组，化简可以得到：
( 2 α F − 2 α B + B ) ∇ = ∇ I (2αF-2αB+B)∇=∇I (2αF−2αB+B)∇=∇I
大概是这个公式+ α ∇ F + ( 1 − α ) ∇ B α∇F+(1-α)∇B α∇F+(1−α)∇B相对于 ( F − B ) ∇ α (F-B)∇α (F−B)∇α而言较小，得到了公式3中的约等式。
我发誓，无论以后我是什么职位，是什么境地，都要好好的学习数学
这意味着遮罩梯度与图像梯度成比例。遮罩第一梯度的近似值出现在[Mitsunaga et al. 1995]。为了估计实体对象边界周围的不透明度，他们对垂直于对象边界的一维路径上的遮罩梯度进行了积分。但是，使用相同的近似值，我们可以通过直接在2D图像空间中求解泊松方程来更有效地重建遮罩。
图二： Boundary condition for Poisson matting. (a) Global Poisson matting: the trimap { Ω F , Ω B , Ω } \{Ω_F,Ω_B,Ω\} {ΩF,ΩB,Ω} is specified by the user. ∂ Ω ∂Ω ∂Ω is the exterior boundary of unknown region Ω Ω Ω. (b) Local Poisson matting: the user selects a local region Ω L Ω_L ΩL interactively. ∂ Ω ∂Ω ∂Ω is the exterior boundary of local unknown region Ω ∩ Ω L Ω∩Ω_L Ω∩ΩL.
3.1 全局泊松抠图
如图2所示， Ω F , Ω B \Omega_{F}, \Omega_{B} ΩF,ΩB and Ω \Omega Ω分别定义为“绝对前景”，“绝对背景”和“未知”区域。对于图像中每个像素 p = ( x , y ) p=(x, y) p=(x,y)， I p I_p Ip是其强度， F p F_p Fp和 B p B_p Bp分别是前景和背景强度。 令 N p N_p Np为其4个邻居的集合。 ∂ Ω = { p ∈ Ω F ∪ Ω B ∣ N p ∩ Ω ≠ ∅ \partial \Omega=\left\{p \in \Omega_{F} \cup \Omega_{B} | N_{p} \cap \Omega \neq\right.\emptyset ∂Ω={p∈ΩF∪ΩB∣Np∩Ω=∅是Ω的外边界。
要在给定近似 ( F − B ) (F-B) (F−B)和图像梯度 ∇ I \nabla I ∇I的情况下，在未知区域 Ω Ω Ω中恢复遮罩，将原问题转化为下面公式最小化的问题：
α ∗ = arg min α ∬ p ∈ Ω ∥ ∇ α p − 1 F p − B p ∇ I p ∥ 2 d p \alpha^{*}=\arg \min _{\alpha} \iint_{p \in \Omega}\left\|\nabla \alpha_{p}-\frac{1}{F_{p}-B_{p}} \nabla I_{p}\right\|^{2} d p α∗=argαmin∬p∈Ω∥∥∥∥∇αp−Fp−Bp1∇Ip∥∥∥∥2dp
formula(4) 公式4
α ∣ ∂ Ω = α ^ ∣ ∂ Ω \left.\alpha\right|_{\partial \Omega}=\left.\widehat{\alpha}\right|_{\partial \Omega} α∣∂Ω=α ∣∂Ω是边界条件，我们定义：
α ^ p ∣ ∂ Ω = { 1 p ∈ Ω F 0 p ∈ Ω B \left.\widehat{\alpha}_{p}\right|_{\partial \Omega}=\left\{\begin{array}{ll} 1 & p \in \Omega_{F} \\ 0 & p \in \Omega_{B} \end{array}\right. α p∣∂Ω={10p∈ΩFp∈ΩB
formula(5) 公式5
此定义与用户提供的trimap一致。 具有相同边界条件的相关泊松方程为：
Δ α = div ( ∇ I F − B ) \Delta \alpha=\operatorname{div}\left(\frac{\nabla I}{F-B}\right) Δα=div(F−B∇I)
formula(6) 公式6
其中 Δ = ( ∂ 2 ∂ x 2 + ∂ 2 ∂ y 2 ) \Delta=\left(\frac{\partial^{2}}{\partial x^{2}}+\frac{\partial^{2}}{\partial y^{2}}\right) Δ=(∂x2∂2+∂y2∂2)和 d i v d i v div分别是拉普拉斯算子和散度算子。 获得泊松方程的唯一解是一个经过充分研究的问题。 我们将Gauss-Seidel迭代与过松弛方法一起使用（也在[[P´erez et al. 2003]中使用）。 对于彩色图像，在灰度通道中同时测量 ( F − B ) (F-B) (F−B)和 ∇ I \nabla I ∇I。
迭代优化
全局泊松抠图是一个迭代的优化过程：
1. ( F − B ) (F-B) (F−B)的初始化 F和B的绝对值不是必需的，因为（FB）提供了足够的信息来确定遮罩。最初，对于in中的每个像素p，Fp和Bp通过对应ΩF中最接近的前景像素和ΩB中的背景像素来近似。然后，通过高斯滤波器对构造的（FB）图像进行平滑处理，以抑制由于噪声以及F和B估计不准确而引起的重大变化。
2. α \alpha α的重建 通过对泊松方程6求解 ( F − B ) (F-B) (F−B)和 ∇ I ∇I ∇I来重建α。
3. 提取 F , B F,B F,B 让 Ω F + = { p ∈ Ω ∣ α p > 0.95 , I p ≈ F p } \Omega_{F}^{+}=\left\{p \in \Omega | \alpha_{p}>0.95, I_{p} \approx F_{p}\right\} ΩF+={p∈Ω∣αp>0.95,Ip≈Fp} 。条件式： α p > 0.95 \alpha_{p}>0.95 αp>0.95 和 I p ≈ F p I_{p} \approx F_{p} Ip≈Fp 保证在 Ω F + \Omega_{F}^{+} ΩF+中的像素大多是前景。类似的，让 Ω B + = { p ∈ Ω ∣ α p < 0.05 , I p ≈ \Omega_{B}^{+}=\left\{p \in \Omega | \alpha_{p}<0.05, I_{p} \approx\right. ΩB+={p∈Ω∣αp<0.05,Ip≈ B p } \left.B_{p}\right\} Bp}。这里 F p , B p F_{p}, B_{p} Fp,Bp and I p I_{p} Ip 表示像素 p p p处的颜色向量。我们更新 F p F_{p} Fp 和 B p B_{p} Bp 根据在 Ω F ∪ Ω F + \operatorname \Omega_{F} \cup \Omega_{F}^{+} ΩF∪ΩF+和 Ω B ∪ Ω B + \Omega_{B} \cup \Omega_{B}^{+} ΩB∪ΩB+ 里的的最近像素的颜色。 高斯滤波器也可以用来平滑 ( F − B ) (F-B) (F−B)。
我们重复上述步骤2和3，直到抠像结果的变化足够小或在步骤3中 Ω F + \Omega_{F}^{+} ΩF+和 Ω B + \Omega_{B}^{+} ΩB+都为空。通常只需要进行几次迭代即可。在每次迭代中， Ω F + \Omega_{F}^{+} ΩF+和 Ω B + \Omega_{B}^{+} ΩB+的选择几乎没有误差，这保证了这两个区域中更准确的颜色会进一步传播到不太准确的相邻像素中。
全局泊松抠像在前景和背景平滑的场景中效果很好。但是，对于复杂的图像，方程式3可能不是全局遮罩渐变的良好近似，其中背景和前景渐变无法忽略。在下一节中，我们将用户带入抠图循环中以局部优化全局Poisson抠图结果。
4.局部泊松抠图
公式2被重写为：
∇ α = A ( ∇ I − D ) \nabla \alpha=A(\nabla I-\mathbf{D}) ∇α=A(∇I−D)
其中 A = 1 F − B A=\frac{1}{F-B} A=F−B1 ， D = [ α ∇ F + ( 1 − α ) ∇ B ] \mathbf{D}=[\alpha \nabla F+(1-\alpha) \nabla B] D=[α∇F+(1−α)∇B]。 A A A会影响遮罩渐变比例，因为增加的 A A A会锐化边界。 D D D是由背景和前景引起的梯度场。 因此，我们需要估计 A A A和 D D D才能接近基本真理 A ∗ A^∗ A∗和 D ∗ D^∗ D∗。 在整体泊松抠图中，会根据图像自动估算 A A A，而 D D D则假定为零。 当背景或前景具有很强的渐变时，全局泊松抠图会导致劣质抠图效果。
图3 The mattes solved by Poisson matting when A A A and D D D approximate A ∗ A^{*} A∗ and D ∗ \mathbf{D}^{*} D∗ differently. Top : A ≈ A ∗ : A \approx A^{*} :A≈A∗ results in a correct matte. A < A ∗ A
在本节中，我们介绍局部抠图，以使用户可以在本地操纵梯度场。 图3显示了使用不同的 A A A和 D D D生成的遮罩。如果 A A A小于 A ∗ A ^{∗} A∗，则遮罩将变得更平滑。 同样，当 ∣ D ∣ | D | ∣D∣ 与 ∣ D ∗ ∣ | D ∗ | ∣D∗∣不同，我们得到了错误的遮罩。 局部泊松抠图的一个主要观察结果是，用户可以检查恢复的抠图并提出如何操纵 A A A和 D D D来改善抠图效果。
4.1 局部的泊松抠图
为了定义全局泊松抠图的结果，用户可以指定一个不满足要求的区域ΩL，并应用局部泊松抠图，**如图2(b)**所示，积分区域变为 Ω L ∩ Ω \Omega_{L} \cap \Omega ΩL∩Ω，新积分区域的边界为： ∂ Ω = { p ∈ ( Ω L ∩ Ω ) ‾ ∣ N p ∩ ( Ω L ∩ Ω ) ≠ ∅ } \partial \Omega=\left\{p \in \overline{\left(\Omega_{L} \cap \Omega\right)} | N_{p} \cap\left(\Omega_{L} \cap \Omega\right) \neq \emptyset\right\} ∂Ω={p∈(ΩL∩Ω)∣Np∩(ΩL∩Ω)=∅}，**图2(b)**说明了用户选区ΩL和新边界∂。 在局部泊松抠图中要最小化的问题由下式给出：
α ∗ = arg min α ∬ p ∈ Ω L ∩ Ω ∥ ∇ α p − A p ( ∇ I p − D p ) ∥ 2 d p \alpha^{*}=\arg \min _{\alpha} \iint_{p \in \Omega_{L} \cap \Omega}\left\|\nabla \alpha_{p}-A_{p}\left(\nabla I_{p}-\mathbf{D}_{p}\right)\right\|^{2} d p α∗=argαmin∬p∈ΩL∩Ω∥∇αp−Ap(∇Ip−Dp)∥2dp
formula(8) 公式8
具有Dirichlet边界条件 α ∣ ∂ Ω = α ^ ∣ ∂ Ω . \left.\alpha\right|_{\partial \Omega}=\left.\widehat{\alpha}\right|_{\partial \Omega} . α∣∂Ω=α ∣∂Ω. 局部Dirichlet边界条件 α ^ ∣ ∂ Ω \left.\widehat{\alpha}\right|_{\partial \Omega} α ∣∂Ω 被定义为:
α ^ p ∣ ∂ Ω = { 1 p ∈ Ω F 0 p ∈ Ω B α g p ∈ Ω \left.\widehat{\alpha}_{p}\right|_{\partial \Omega}=\left\{\begin{array}{ll} 1 & p \in \Omega_{F} \\ 0 & p \in \Omega_{B} \\ \alpha_{g} & p \in \Omega \end{array}\right. α p∣∂Ω=⎩⎨⎧10αgp∈ΩFp∈ΩBp∈Ω
formula(9) 公式9
这的 α g \alpha_{g} αg 是局部边界上未知区域中的当前遮罩值。
通常，我们使用的局部区域尺寸较小（小于200×200像素），在这种情况下，泊松求解器可以非常快速地生成抠图结果。此外，由于存在边界条件，局部操作会无缝传播到遮罩中，在遮罩中看不到明显的边界不连续性。
4.2 局部操作
用户可以修改所选区域中的 A A A和 D D D以产生更好的 ∇ α ∇α ∇α近似值。 提供两种操作：通道选择和局部过滤。 通道选择减少了 D D D的误差，并且本地过滤直接控制 A A A和 D D D。 通过使用这些操作，用户无需以像素为单位优化遮罩，并且修改后的结果会很快产生。
图4 Channel selection. (a.) The input image. The user selects samples from the blue region (dashed rectangle) in the background. (b.) Images in grayscale and optimized channels, where ∂ Ω \partial \Omega ∂Ω is shown as a red/blue line.(c.) Alpha mattes computed from grayscale and the optimized channels. A clearer matte is generated from the optimized channel.
4.2.1 通道选择
对于彩色图像, 公式3 可以在不同的通道中进行测量，例如，任何单个 R / G / B \mathrm{R} / \mathrm{G} / \mathrm{B} R/G/B 或者灰度通道。 在全局泊松抠图中, 我们已经使用了灰度通道, ∇ α = A g ( ∇ I g − D g ) \nabla \alpha=A g\left(\nabla I_{g}-\mathbf{D}_{g}\right) ∇α=Ag(∇Ig−Dg)。平滑的背景或前景假设使 ∣ D g ∣ | D g| ∣Dg∣ 变小，使得 A g ∇ I g A_{g} \nabla I_{g} Ag∇Ig 是 ∇ α \nabla \alpha ∇α的良好近似。 同样，在本地区域中，我们尝试构建一个具有平滑背景或前景的新通道 γ = a R + b G + c B \gamma=a R+b G+c B γ=aR+bG+cB ，其中 ∣ D γ ∣ \left|\mathbf{D}_{\gamma}\right| ∣Dγ∣ 小于 ∣ D g ∣ . \left|\mathbf{D}_{g}\right| . ∣Dg∣. 因此，我们将前景色或背景色的方差最小化，新通道 γ \gamma γ 的构造如下:
1. 用户可以使用简单的笔刷在图像中选择背景或前景色样本 { ( R i G i B i ) } i = 1 N \left\{\left(R_{i} G_{i} B_{i}\right)\right\}_{i=1}^{N} {(RiGiBi)}i=1N。 在随附的视频中，我们显示了一个示例，其中背景样本用于通道选择。
2. 计算权重 ( a b c ) (a b c) (abc)以最小化新通道中的样本方差 Σ i N ( γ i − γ ˉ ) 2 \Sigma_{i}^{N}\left(\gamma_{i}-\bar{\gamma}\right)^{2} ΣiN(γi−γˉ)2。 这是一个线性约束的二次优化问题：
min a , b , c ∑ i [ ( a b c ) ⋅ ( R i G i B i ) T − ( a b c ) ⋅ ( R ˉ G ˉ B ˉ ) T ] 2 s.t. a + b + c = 1 \min _{a, b, c} \sum_{i}\left[(a b c) \cdot\left(R_{i} G_{i} B_{i}\right)^{T}-(a b c) \cdot(\bar{R} \bar{G} \bar{B})^{T}\right]^{2} \text { s.t. } a+b+c=1 a,b,cmini∑[(abc)⋅(RiGiBi)T−(abc)⋅(RˉGˉBˉ)T]2 s.t. a+b+c=1
formula(10) 公式10
其中 ( R ˉ G ˉ B ˉ ) (\bar{R} \bar{G} \bar{B}) (RˉGˉBˉ)是样本的平均颜色值。 权重 ( a b c ) (a b c) (abc)是通过求解增强线性系统[PGill and Wright 1981]获得的。 图4显示了与灰色通道相比，新的优化通道的遮罩改善。 D D D的误差减少，毛发形状得到更好的恢复。
4.2.2 局部过滤
为了直接在A和D上进行操作，我们还提供了几个本地过滤器供用户操纵遮罩梯度场。
Boosting brush 笔刷工具 当抠图效果比用户期望的平滑或锐利时，可以使用笔刷工具直接增加或减少 A A A。 对于画笔区域中的每个像素 p p p，增强画笔具有局部高斯形状。 使用增强笔将 A p A p Ap修改为 A p ′ A_{p}^{\prime} Ap′
A p ′ = [ 1 + λ exp ( − ∥ p − p 0 ∥ 2 2 σ 2 ) ] ⋅ A p A_{p}^{\prime}=\left[1+\lambda \exp \left(-\frac{\left\|p-p_{0}\right\|^{2}}{2 \sigma^{2}}\right)\right] \cdot A_{p} Ap′=[1+λexp(−2σ2∥p−p0∥2)]⋅Ap
formula(11) 公式11
其中 p 0 p_0 p0是笔刷中心的坐标， σ σ σ和 λ λ λ是用户定义的参数，用于控制增强效果的大小和强度。 因此，使用者可以通过使用各种尺寸的笔刷来增强整个或部分区域。 如果 λ > 0 λ> 0 λ>0，则该滤镜将在笔刷中心附近增加 A A A，反之亦然。 图5(a) 显示，在应用增强笔刷后，平滑的alpha遮罩被锐化。
Highpass filtering 高通滤波 通道选择操作会生成平滑的背景或前景，从而导致低频背景或前景渐变。 因此，可以使用图像梯度的低频部分来估算 D D D：
D = K ∗ ∇ I \mathbf{D}=K * \nabla I D=K∗∇I
formula
其中 K = N ( p ; p 0 , σ 2 ) K=N\left(p ; p_{0}, \sigma^{2}\right) K=N(p;p0,σ2)是一个以像素 p 0 p_{0} p0 为中心的高斯滤波器， ∗ * ∗是卷积算符。 根据等式7， ∇ α = \nabla \alpha= ∇α= A ( ∇ I − K ∗ ∇ I ) , A(\nabla I-K * \nabla I), A(∇I−K∗∇I), 其中 ( ∇ I − K ∗ ∇ I ) (\nabla I-K * \nabla I) (∇I−K∗∇I)对应于高通滤波器。 图5(b) 演示了在应用高通滤波后恢复了清晰的alpha遮罩结构。
Diffusion filtering 扩散过滤 在alpha遮罩快速变化的固体物体的边界上， A ∇ I A∇I A∇I已经是一个很好的近似值[Mitsunaga et al. 1995]。但是，图像梯度 ∇ I ∇I ∇I对JPEG图像中的噪声和阻挡效果敏感。我们采用各向异性扩散[[Perona and Malik. 1990]扩散图像。这是一个保留边缘的模糊过程，可以消除小规模的噪声。然后，从扩散图像重新计算图像梯度。图5(c) 显示，在扩散图像中的噪声被抑制。
Clone brush 克隆画笔 在某些困难的情况下，可以使用克隆笔刷将遮罩渐变 A ( ∇ I − D ) A(∇I-D) A(∇I−D)从用户选择的源直接复制到目标区域。 在 图5(d) 中，选择蓝色区域中的遮罩渐变以粘贴到红色区域中。 请注意，在前景和背景几乎无法区分的情况下，克隆的遮罩渐变会产生“令人信服”的遮罩。
另外两把刷子也有帮助。 一种是擦除笔刷(Erase brush)，可直接删除不需要的Alpha遮罩。 另一个是反向画笔(Inverse brush)，可以反转不正确的遮罩渐变符号。 我们在 图5 中演示了遮罩渐变和相应的alpha遮罩中的过滤效果，这在局部处理中具有不同的用途。
图5 Local filtering. The top row shows input images. The second and third rows are approximated matte gradients (x-direction only) before and after applying local filters. The bottom two rows are corresponding alpha mattes computed from local Poisson matting. (a) Boosting brush produces sharper mattes. (b) Highpass filter recovers structures of matte. © Diffusion filter removes noise. (d) Clone brush copies the matte gradient from the blue region and pastes it into the red region.
4.2.3 精细化过程
通过上述本地操作，我们允许用户在选定区域中定义遮罩。根据全局泊松抠图结果，局部泊松抠图的过程如下：
- 应用通道选择以减少 D D D中的误差。对于固体对象边界，应用扩散滤波器(diffusion filter)以消除可能的噪声。
- 应用高通滤波(highpass filtering)以获得 D D D的近似值。
- 应用笔刷工具(boosting brush)操作 A A A。
- 如果无法区分渐变，则可能会应用克隆笔刷(clone brush)。
可以在任何步骤中选择性地应用擦除刷(erase brush)和反向刷(inverse brush)。在每个步骤中，局部泊松抠图可以非常快速地产生结果。用户可以观察到抠图效果并选择任何剩余的不满意区域以进一步完善。
5.结果与应用
图6 Global Poisson matting results comparison. Two result mattes are shown. For the image in the upper row © [Chuang et al. 2002], comparableresults are generated. In the lower row © Philip Greenspun, our result has less visibel artifacts.
我们将泊松消光应用于许多复杂的图像，以证明我们的方法的有效性，并将其扩展到两个应用程序。
在给定相同的Trimap的情况下，我们将图6中的全局Poisson抠图与Corel Knockout ®的抠图算法以及我们实现贝叶斯抠图算法进行了比较。在第一行中，我们使用[Chuang et al. 2002]，其中复杂的头以半透明的方式存在于前景色和背景色中。我们的方法产生了可比的结果。在第二行中，由于Poisson方程解的局部连续性，我们的方法减少了急剧的遮罩梯度变化。结果，构建了具有较少视觉伪影的更好的遮罩。在图6所示的640×480像素图像上，我们的方法使用所示的Trimap分别花费了1.3和1.1秒收敛为“girl”和“Samoyed dog”图像；Knockout的花费了0.9和0.8秒，我们对贝叶斯方法的实现花费了28.8和22.7秒。
图9显示了使用局部泊松抠图进行自然图像抠图的结果。大多数图像不仅在前景色和背景色上而且在其渐变色域上都非常复杂。因此，依赖于采样彩颜色像素的贝叶斯抠图效果不佳。我们的局部Poisson消光可帮助用户方便地改善抠图效果。根据我们的经验，图9中处理600×400像素图像的平均时间少于10分钟。对于第三行中的“dog”示例，需要完善的局部少于7处。对于第二行和第四行中的图像，对于各种尺寸，需要完善的局部不超过20个。
通过仔细检查输入图像和抠图结果，我们发现贝叶斯抠图在前景和背景颜色相似或它们的颜色变化很大的地方失败，因此正确的样本被埋在局部区域中。为了清楚地看到差异，我们在图9的第四列中放大了这些有问题的局部区域。
Multi-background 多重背景 我们的方法可以应用于具有多个背景的抠图，如图7所示。三角剖分解决方案[Smith and Blinn 1996]具有相似的设置。但是，这需要已知的背景。令 { I t } t = 1 T \left\{I_{t}\right\}_{t=1}^{T} {It}t=1T是具有多个不同背景 { B t } t = 1 T \left\{B_{t}\right\}_{t=1}^{T} {Bt}t=1T的相同前景 F F F的图像。没有有关背景的任何信息，我们将计算平均图像：
I ˉ = 1 T ∑ t T ( α F + ( 1 − α ) B t ) = α F + ( 1 − α ) B ˉ \bar{I}=\frac{1}{T} \sum_{t}^{T}\left(\alpha F+(1-\alpha) B_{t}\right)=\alpha F+(1-\alpha) \bar{B} Iˉ=T1t∑T(αF+(1−α)Bt)=αF+(1−α)Bˉ
formula(12) 公式12
其中 B ˉ = 1 T Σ t T B t \bar{B}=\frac{1}{T} \Sigma_{t}^{T} B_{t} Bˉ=T1ΣtTBt是平均背景。 因此，对于 { B t } t = 1 T . \left\{B_{t}\right\}_{t=1}^{T} . {Bt}t=1T.的多有背景， B ˉ \bar{B} Bˉ 通常是平滑的图像。在 { I t } t = 1 T \left\{I_{t}\right\}_{t=1}^{T} {It}t=1T中，泊松抠图在均值图像中比在任何单个图像中效果更好。 图7中显示了一个示例，其中使用了全局Poisson抠图，然后是图像右下部分的局部Poisson抠图。
图7 Multi-Background. Top row: three input images with different complex backgrounds. Bottom row: the mean of all eight input images, computed alpha matte and composite image using Poisson matting.
图8 De-fogging. The de-fogged image is obtained using the boosting brush with several local operations.
De-fogging 去雾 [Narasimhan and Nayar 2003]中引入的简单雾模型也可以表示为消光方程：
I = I c ⋅ e − β d + F o g ⋅ ( 1 − e − β d ) I=I_{c} \cdot e^{-\beta d}+F o g \cdot\left(1-e^{-\beta d}\right) I=Ic⋅e−βd+Fog⋅(1−e−βd)
formula(13) 公式13
其中 F o g Fog Fog是雾的颜色， I c I_c Ic是没有雾的清晰图像， β β β是大气的散射系数， d d d是深度值。 [Narasimhan and Nayar 2003]通过以全局方式手动分配深度，散射系数和雾色信息来恢复清晰图像 I c I_c Ic。 我们提供了一种可以在局部分配信息以产生良好结果的除雾方法。 取公式13的偏导数后，相对于指定深度d，我们获得 ∇ I c = ∇ I ⋅ e − β d ∇I_c=∇I·e^{-βd} ∇Ic=∇I⋅e−βd。 我们使用第4.2.2节中提出的增强笔刷在选定区域中局部修改 e − β d e^{-βd} e−βd以微调去雾图像的梯度。 通过求解泊松方程，可以自动无缝地传播对图像的任何修改，以生成没有任何可见边界的除雾图像。 一个示例如图8所示。
6.结论
在本文中，我们提出了一种新的数字抠图方法，即泊松抠图。通过求解泊松方程，泊松遮罩可以根据半自动从输入图像估计的近似梯度场重建忠实的遮罩。给定使用本地操作的一些提示，泊松抠图能够为许多复杂的图像产生令人印象深刻的结果，而这些复杂图像是以前的自然图像抠图方法所不具备的。
抠图问题是约束不足的，本质上是困难的。尽管我们认为泊松抠图在此问题上取得了一些重要进展，但仍有一些局限性需要解决。首先，当前景色和背景色非常相似时，抠图方程变得不适。在这种情况下，遮罩的基础结构无法轻松地与噪声，背景或前景区分开。当在整体Poisson遮罩中估计的遮罩梯度大大偏移真实值时，就会出现第二个难题，因此需要处理小的区域以在局部Poisson遮罩中进行局部修正，这会增加用户互动。最后，当在非常小的区域内（例如，两个长发的人像在图像中明显重叠时），使粗糙渐变与前景和背景的渐变高度交织在一起时。在这种困难的情况下，有效的用户交互是一个问题。
将来，我们有兴趣将泊松遮罩与贝叶斯方法结合起来，并将我们的工作扩展到视频遮罩。
Acknowledgements 致谢 我们要感谢匿名审稿人的建设性批评。非常感谢林书豪(Stephen Lin)对手稿的帮助。唐志强的研究得到了中国香港特别行政区研究资助局的部分支持：HKUST6171/03E和AOE/E-01/99。
7.参考文献
[1].BERMAN,A.,VLAHOS,P.,AND DADOURIAN,A.2000. Comprehensive method for removing from an image the background surrounding a selected object.U.S. Patent 6,134,345.
[2].CHUANG,Y.-Y,CURLESS,B.,SALESIN,D.H.,AND SZELISKI,R.2001.A bayesian approach to digital matting. In Proceedings of CVPR2001,Vol. II,264-271.
[3].CHUANG,Y.-Y.,AGARWALA,A.,CURLESS,B.,SALESIN,D.H.,AND SZELISKI,R.2002. Video matting of complex scenes. In Proceedings ofACM SIGGRAPH 2002,243-248.
[4].ELDER,J.H.,AND GOLDBERG,R.M.2001. Image editing in the contour domain. IEEE Trans. Pattern Anal. Machine Intell.23(3):291-296.
[5].FATTAL,R.,LISCHINSKI,D.,AND WERMAN,M.2002. Gradient domain high dynamic range compression. In Proceedings of ACM SIGGRAPH 2002,249-256.
[6].FINLAYSON,G.D.,HORDLEY,S.D.,AND DREW,M.S.2002. Removing shadows from images. In Proceedings of ECCV 2002,Vol.I,823-8.36.
[7].HILLMAN,P.,HANNAH,J.,AND RENSHAW,D.2001. Alpha channel estimation in high resolution images and image sequences. In Proceedings QfCVPR 2001,Vol.1,1063-1068.
[8].MITSUNAGA,T.,YOKOYAMA,T.,AND TOTSUKA,T.1995. Autokey: Human assisted key extraction. In Proceedings of ACM SIGGRAPH1995,265-272.
[9].NARASIMHAN,S.,AND NAYAR,S.2003.Interactive deweathering of an image using physical models.IEEE Workshop on Color and Photometric Methods in Computer Vision 2003.
[10].P.GILL,W.M.,AND WRIGHT,M.1981.Practical optimization.Academic Press,Boston,MA,USA.
[11].PEREZ,P.,GANGNET,M.,AND BLAKE,A.2003.Poisson image editing.In Proceedings ofACM SIGGRAPH 2003,313-318.
[12].PERONA,P.,AND MALIK.,J.1990.Scale space and edge detection using anisotropic diffusion.IEEE Trans.Pattern Anal.Machine Intell.12（7）：629-639.
[13].QIAN,R.J.,AND SEZAN,M.I.1999.Video background replacementwithout a blue screen.In Proceedings ofICIP 1999,143-146.
[14].RuzoN,M.A.,AND ToMASI,C.2000.Alpha estimation in natural images.In Proceedings of CVPR 2000,18-25.
[15].SMITH,A.R.,AND BLINN,J.F.1996.Blue screen matting.In Proceedings of ACM SIGGRAPH 1996,259-268.