图像算法研究---背景虚化算法

背景虚化算法研究

一,背景虚化特点研究

玩单反的人经常会使用背景虚化来拍摄一些很漂亮的照片,但是,单反毕竟不是每个人都可以玩的,因此,出现了很多软件算法来实现的背景虚化效果。

我们要实现背景虚化,首先要了解单反拍出的背景虚化的照片有什么特点,只有这样,才能写出更接近真实的算法。

经过我的总结,背景虚化有如下几个特点:

1,聚焦的物体成像要清晰(也就是焦平面内要清晰);

2,焦平面之外的景物成像是模糊的;

3,距离焦平面越远,模糊程度越大,反之,越小(即模糊随着景深不同而不同);

4,焦外成像二线性问题;

现在很多手机厂商都在用图像算法做背景虚化,但是在单摄像头的情况下,效果却都不尽人意,这里举个例子来说明一下。

下面这张图是华为荣耀6Plus的效果图:

图像算法研究---背景虚化算法_第1张图片

这张图至少有三个问题:

①在人和依靠的树所在的焦平面内,人头和鞋子两个地方是模糊的,不是清晰的;

②美女的长腿与树之间的缝隙是不属于焦平面的,应该是模糊的,而不是清晰的;

③焦平面外的模糊应该是渐进的模糊,而不是均匀的,这个图明显是均匀的;

据说最新的华为手机效果不错,具体本人没有找到相应的测试,有兴趣的可以试一下;

这里我们也给一个相对而言看起来比较真实一点的测试图:

图像算法研究---背景虚化算法_第2张图片

图像算法研究---背景虚化算法_第3张图片

上面这两张图是XSHOT的原图和效果图,单看效果,图3聚焦在一两朵花上,也就是焦平面在花上,这个平面上是很清晰的,除此之外的地方,也是渐进模糊的,距离这朵花越远的地方,模糊程度也越强。

对于双摄像头的背景虚化,实际上是利用两个摄像头的位置信息,计算成像的景深等等,来结合算法实现的效果;由于采用了两个摄像头,因此,效果要比单摄像头单纯的算法实现要好,这里给出iphone7P的效果图,该图也来自网络:

图像算法研究---背景虚化算法_第4张图片

上面我们详细的说了一下背景虚化的特点,针对最后一点焦外二线性,实际上是这样的:对于单反,绝大多数镜头在全开光圈的时候,光圈都是圆形的,此时的焦外成像就代表了镜头设计的本性;当收缩光圈拍摄时表现出来的焦外成像,是镜头设计的本性和光圈形状共同作用的结果。一些镜头在全开光圈时可以表现出很好的焦外成像,但是在收缩光圈后,由于光圈的非圆形,会破坏焦外成像内容。

一般来说,好的虚化应该是按对焦点远近过渡均匀连续的,在焦外成像中没有明显的边缘残留,如图6所示;而图5中,虚化的物体的轮廓不是均匀散焦的,而是被数条线分开,形成一些类似小气泡的东西,这就是焦外二线性。

图像算法研究---背景虚化算法_第5张图片

二,背景虚化算法实现

这里我所讲的是单摄像头情况下的算法实现;

我们先给一个简单的PS流程:http://www.ps-xxw.cn/tupianchuli/5930.html

 

这个PS实现,实际上也是按照我前面所说的三个背景虚化的特点来实现的,具体大家可以试一下,感受一下;

下面说一下我这里的算法流程如下:

1,聚焦物体抠图(构建焦平面);

2,焦平面之外的背景模糊;

3,焦平面之外的背景渐进模糊变换;

4,焦外二线性;

对于1聚焦物体抠图,常用的有传统的贝叶斯抠图算法、Graph Cut、Alpha mat等,以及深度学习相关的抠图算法等等。

参考论文如下:

Interactive graph cuts for optimal boundary and region segmentation of objects in N-D images》

Shared Sampling for Real-Time Alpha Matting》

A Closed Form Solution to Natural Image Matting》

A Bayesian Approach to Digital Matting》

Learning Based Alpha Matting using Support Vector Regression》

Natural Image Matting using Deep Convolutional Neural Networks》

Deep Image Matting》

这一步骤,假设原图为S,抠图得到目标图像之后,我们需要构建一个焦平面Mask,然后对该Mask进行高斯滤波,得到一个有边缘过度的Mask;

如下图所示:

图像算法研究---背景虚化算法_第6张图片

针对2背景模糊,我们可以直接对原图进行高斯模糊,得到模糊图像G;

针对3渐进模糊,我们需要在焦平面的中心点,向外构建一个比例系数,构成一个扩散系数,距离焦平面中心点越远,扩散系数越大,对应的模糊程度也越大,这里我假设为K;

上述三点完成之后,我们做如下处理:

Output = S*Mask+(255-Mask)*G

这个公式计算出来的效果是背景模糊均匀的背景虚化效果;

如下图所示:

图像算法研究---背景虚化算法_第7张图片

要构建渐进模糊,需要两个步骤:

①我们需要先计算焦平面的中心,这个中心点计算公式如下:

图像算法研究---背景虚化算法_第8张图片

实际上也就是质心计算公式,这里我们计算出的质心为(x0,y0);

②以(x0,y0)为中心,向外计算可变半径高斯模糊,即距离中心越远的地方高斯半径越大,反之越小,具体可以参考比例系数K;

这一步得到的效果是有渐进模糊的背景虚化效果,同时,过渡区域也比较自然;

这里我给个我的测试图:

图像算法研究---背景虚化算法_第9张图片

大家可以看到这个图中,聚焦平面(一朵花)是很清晰的,聚焦平面外事渐进模糊的,有一种景深的感觉。

对于焦外二线性的效果,可以在景深比较深也就是距离焦平面比较远的地方,添加不同镜头二线性形状的光斑,与虚化后的图进行融合,至此,就更加具有真实感了。

除此之外,我们还可以对焦平面内图像内容进行清晰度增强处理,这样效果上聚焦就更明显了,给出添加清晰度后的效果图:

图像算法研究---背景虚化算法_第10张图片

具体代码就不写了,本文主要探讨方法,方法有了,代码只是水到渠成的事情。

最后,给出一个C#调用C实现的DEMO看下效果:点击打开链接

本人QQ1358009172,欢迎交流讨论图像算法!

你可能感兴趣的:(数字图像处理研究,图像滤镜艺术)