matting

091029

关键词：cut out. matting, blue screen matting, SIGGraph, keyer, Segmenttation ,蓝屏抠图,google学术搜索.

lazy snapping. Natural Image Matting .

Chroma Keying Plugin, Chroma-Key.色差键值抠图

论文标题:图像前景提取技术研究 
Research on Image Foreground Extraction 
论文作者 
论文导师 姜晓红,论文学位 硕士,论文专业 计算机应用技术 
论文单位 浙江大学,点击次数 48,论文页数 74页File Size8621K 
2008-01-30论文网 http://www.lw23.com/lunwen_384709702/ 
Foreground Extraction;; Image Composition;; Foreground Segmentation;;Foreground Matting;; Lazy Snapping;; Robust Matting;; Foreground Extraction System 
前景提取(Foreground Extraction)与图像合成(Image Composition)是图像处理中的基本操作,也是视觉特效制作中是最重要和最常用的操作。在杂志、二维图形艺术、电视、广告等领域也有广泛的应用。 前景提取根据图像中是否有半透明像素,可分为前景分割(ForegroundSegmentation)与前景抠图(Foreground Matting)两类。本论文简要介绍了图像前景提取技术的研究背景及其研究现状,并分析比较了多种算法的优缺点。本论文的主要工作包括: ●研究并实现了懒人分割系统(Lazy Snapping),它是一种交互式的图像前景提取工具。该系统将图分割算法与分水岭算法结合起来,能够提供及时的视觉反馈。该系统实现了一种直观的用户界面,为用户提供了灵活的控制和编辑能力。 ●研究并实现了鲁棒抠图算法(Robust Matting),它结合了基于采样的抠图算法和基于传播的抠图算法的优点,同时弥补了它们的缺陷。该算法使用优化颜色采样算法进行采样,并同时计算样本点的信度(Confidence),只选择具有高信度的样本点来计算估计掩膜值(Matte),然后使用Random Walk算法优化估计值。实验结果说明了该算法的优越性。 ●把多种前景分割算法和前景抠图算法进行集成,实现了一个图像前景提取应用系统。系统提供前景分割、创建提示图像(Trimap)、前景抠图等多种功能。系统集成了懒人分割(Lazy Snapping)、贝叶斯抠图(BayesMatting)、鲁棒抠图等算法。该系统具有一定的应用价值。 
Foreground extraction and image compositing are fundamental operations in image processing, and they have become crucial and frequently used operations in visual effects production. In addition, matting and compositing are used in much of today"s media, including magazines, 2D arts and graphics, television and advertising etc. According to assumption of whether there are semi-transparent pixels; foreground extraction can be divided into two categories: Forground Segmentaion and Foreground Matting. In this paper, after a brief introduction to the research background of Foreground Extraction, we first summarize the state of the arts of Foreground Extraction and Image Compositing; then we analyze and compare the pros and cons of several algorithms. Our main contributioins are as follows: We study and implement Lazy Snapping algorithm, an interactive image foreground cutout tool. Instant feedback is made possible with a novel image segmentation algorithm which combines graph cut algorithm with watershed algorithm. A set of user interface is implemented to provide flexible control and editing for the users. We study and implement Robust Matting algorithm, which combines sampling-based method and propagation-based method, whereas avoid their limitations as much as possible. We use optimized color sampling to sample foreground and background samples for unknown pixels, but most importantly, we compute confidence for these samples. Only high confidence samples are chosen to estimate matte. Then we use a Random Walker to optimize the matte. Experimental results have proved superiority of our approach over previously proposed algorithms. We also develop a foreground extraction application system, which integrates several foreground segmentation and foreground matting tools. Our system requires users to specify an original image, an optional trimap image and an optional new background image. Users can also create a trimap manually. Our system integrates Lazy Snapping, Bayes Matting, and Robust Matting currently. We expected our system to be a very useful tool.

 

微软新成果：为懒人准备的抠图技术

首先，当一张图被导入到Lazy snapping中时，软件会自动采用一种被称为“水线（watershed）”的算法对该图进行处理。 
所谓水线，通俗地说，就是把一张图像的梯度图想像成为一片凹凸不平的山地，其中，颜色变化小的区域就是山脊，而颜色变化剧烈的区域就是山洼。我们知道，每一个山洼周围必然都是一圈山脊，如果在每一个山洼的最低点打一个洞，然后通过这个洞向山洼里注水，则经过一段时间之后，相邻山洼里的水必然会越过山脊连接到一起。两个山洼之间的水连接在一起的这条线，就是水线。通过这些水线，软件就可以把图片分为大小不等的若干“碎片”。我们可以注意到，每一个区域中的颜色基本上都是相同的。

为什么要先对图片进行“水线”处理呢？因为我们知道，在计算机中，每一幅图都是由无数个像素点构成的，当软件需要分辨出图像的前景和背景时，就需要对图像中的所有像素点进行分析，这样一来工作量会成立方级数增加，大大减缓处理的速度。而采用了“水线”处理之后，图像中需要分析的就是那些被分割出的区域了，其数量比像素点要少数十倍，从而大大加快了软件的处理速度。

接下来，就该是用户需要做的工作了——通过划线，告诉计算机哪些是我们想要的前景，而哪些是我们不想要的背景。如果从像素点的角度来看，一旦我们在图像上画了一条线，则这条线经过的像素点被我们称为“种子点”，这些“种子点”所涉及到的区域，则被称为“种子区域”。接下来，我们就需要借助这些“种子区域”将图片分为“前景区域”和“背景区域”两大块。利用Graph Cut优化算法，图片上所有区域会被赋予惟一的属性，不属于“前景区域”就一定会属于“背景区域”。

在经过“水线”处理后的图片中，我们把相邻的区域连接在一起。而接下来Graph Cut优化算法要做的，就是尝试将每个非“种子区域”分别与“前景区域”（或“背景区域”）之间的通路“打断”。如果全部通路都可以被打断，则软件猜测该区域不属于“前景区域”，反之则可能属于。这样，经过一番运算后，软件就可以将图形分为“前景区域”和“背景区域”两大部分了，也就将我们所需要的前景的大致轮廓勾勒了出来。

Graph Cut 优化的准则，考虑了每一个区域的颜色与种子区域之间的颜色相似性，颜色越像“前景区域”就越可能被分在前景。同时它也考虑了相邻区域的颜色差别，颜色差别越大这两个区域越可能被分开。这个优化问题可以用图论中极大流（极小割）的方法很快解决。

对于一张结构较为简单的图形来说，如果其前景和背景的对比非常明显，且前景的形状较为简单，则经过前面的处理后，前景图形就已经被“抠”出来了。不过，如果图片的内容较为复杂，且前景和背景之间的对比度不是很明显的话，则需要对图片进行进一步的微调。

所谓进一步处理，其实就是将前景与背景之间的“边界”清晰地确定下来。由于在此之前我们已经确定了前景的大致轮廓，因此在这里我们只对前景和背景相交处的边界附近进行处理，也就是已经确定好的“前景区域”和“背景区域”之间的那一块地带。

要说明的是，在前一步操作中，软件通过“水线”算法将图像分为一块块区域以加快处理的速度。而现在，由于要对图像的边缘部分进行调整，软件处理的对象又变成了像素而不再是区域，以满足处理精度方面的要求。 
在研发过程中，人们发现，由于现有的算法是对全图进行优化，因此软件在处理过程中容易产生错误。于是研究人员开始为软件添加一些更加人性化的设计，允许用户对局部图形进行调整，使得软件的处理结果可以更加准确。随着软件的日渐完善，研究人员又为其添加了处理半透明边缘的能力，例如处理猫的胡须等，效果也非常好。至此，Lazy Snapping的雏形就已经大致完成了。

 

计算一个未归类的顶点到已知区 
域边界的距离是基于一个最近提出的新度量，称为 
Isophotic度量。对于曲面上两点之间的连线Isophotic 度量不仅考虑了连线的长度，而且还考虑了 
连线上的曲面法向量的变化。因此这种度量是一种基 
于曲面特征敏感的度量。我们根据计算机视觉研究的

three commercial keyers 
(Combustion HLS, Combustion Diamond and Primatte).

19:42 2009-11-13 相关文章，

《数字抠图技术综述.pdf》：抠图方法的介绍. 蓝屏抠图和自然图像抠图。 
蓝屏抠图主要在视频领域，影楼室内拍的很多也是蓝屏或绿屏幕(信捷抠图，阿波罗抠图). 
《keying_report.pdf》文章主要介绍的是keying，就是蓝屏抠图，介绍了不少方法,自己实现了里面的3Dkeying(primatte用的就是这种)，不过没有软件下载。 
专门介绍蓝屏的文章不多，p259-smith-Blue Screen Matting介绍的是需要拍两幅背景的情况。

《lazysnapping_siggraph04.pdf》微软研究院的论文，画几笔前景和画几笔背景就可以实现自然图像抠图。和光影魔术手的抠图和arc的segmentation操作模式很像，不知道他们是否是基于这个算法的。是基于graphcut,搜了下，graphcut好像很有用,http://www.cc.gatech.edu/cpl/projects/graphcuttextures/里的纹理比较好看。

《A bayesian approach to digital matting_Chuang-2001-ABA.pdf》 
《Alpha estimation in natural images_ruzonCvpr00.pdf》 
《p259-smith-Blue Screen Matting.pdf》 
《基于MRF的复杂图像抠图.pdf》 
《基于感知颜色空间的透明度估计方法.pdf》 
《基于感知颜色空间的自然图像抠图.pdf》 
《自然图像抠图方法讨论.pdf》 
《Image Matting.doc》 
《GrabCut数字抠图方法的研究与实现.pdf》 
《全局Poisson抠图的实现与改进.pdf》 
《p259-smith-Blue Screen Matting.pdf》 
《1673-7180(2007)10-0761-07图像与视频提取技术综述.pdf》 
能搜到的相关代码： 
https://simplechromakey.svn.sourceforge.net/svnroot/simplechromakey。 
实现了蓝屏，绿屏，红屏抠图，算法简单，效果一般（有的图扣的比较好，有的不行）。 
http://sourceforge.net/projects/imagematting/自然图像抠图，自己手动涂抹，效果部分好，部分坏，操作起来还是麻烦了些。 
www.pudn.com上有一些，充数的比较多。 
找到了<Matting-Levin-Lischinski-Weiss-CVPR06.pdf>的matlab代码，sample图的抠图效果很不错，看了那个孔雀扣的，试了 
arc的扣这张图，比较差。http://www.alphamatting.com/code.php里面也有,着网站里还有最新的2009年的论文,对不同的matting算法有比较,另一段Spectral Matting的代码:Spectral Matting

关键词：alpha matting, image matting.

什么是alpha matting.

RobustMatting:Commerically released by Digital Film Tools as a Photoshop plug-in named “EZ mask”.

11:27 2009-11-14 
早上安装了matlab试验了一把<Matting-Levin-Lischinski-Weiss-CVPR06.pdf>的代码，感觉效果还可以，不过性能极差， 
300x400左右大小的图，运行都要好几十秒。800多的图片内存好像就不足，失败了(本机内存:3G).

找到另为一篇本科论文：http://www.cs.unc.edu/~lguan/publications/Bachelar%20Thesis.doc. 
提到blue screen matting(A.Berman, A.Dadourian, and P.Vlahos. Method for removing from an image the background surrounding a selected object. U.S.Patent 6,134,346, 2000.) 
”固定颜色背景的景物提取通常是的有Petro Vlahos 等人提出和研究的蓝屏景物提取（blue screen matting）[9] 和差异景物提取（difference matting）”difference matting需要两张图(需要另外一张单独背景)

本科论文http://www.acsu.buffalo.edu/~nzhang6/0412711_zn%5B1%5D.pdf介绍了贝叶斯数字合成技术，里面提到了“ 蓝屏景物提取技术中比较著名的是Mishima 提出的Mishima 算法”(看了下是1993年的)

100621: 
^ Ashihkmin, Michael. "High Quality Chroma Key". http://www.cs.utah.edu/~michael/chroma/.