【计算机视觉】提取视频中的前景物体

前景提取和目标检测

当观察场景的是一个固定的相机，背景几乎保持不变。在这种情况下，感兴趣的元素是在场景中运动的物体。为了提取出这些前景物体，我们需要对背景建模，然后将当前帧的模型与背景模型进行比较，以检测前景物体。前景提取是智能监控应用的基础步骤。
OpenCV的video module中包含了几种较为常用的背景减除方法，其中混合高斯模型（Gaussian of Mixture Models, GMM）方法效果较好。

常用的目标检测方法为帧间差分和背景减除。
其中背景减除方法的关键在于建立一个鲁棒的背景模型（背景图像），常用的建立背景模型方法有：均值法；中值法；滑动平均滤波法；单高斯；混合高斯模型；codebook等。

背景减去法

背景减去法的含义是构建一个参考图片（纯背景），将每个新的视频帧同参考图片相减，并进行二值化，从而得到运动前景的方法。这也就意味着，背景减去法的结果是一个对非静态区域的一个高亮表示。构建参考图片最简单的方法就是将时间上连续的一系列背景图片进行平均。这种方法有很多问题，同时，它还需要一个没有前景出现，仅仅有纯背景的一段图片序列来作为训练样本。训练之后，背景的运动以及训练阶段前景的静止不运动，都被当做运动目标。另外，该方法无法应对场景中光线的逐渐变化。

混合高斯模型的原理

首先，混合高斯算法对每个像素维护多个模型（即多个滑动平均值）。因此，如果背景像素在两个值之间来回变化，那么将存储两个滑动平均值。如果新的像素值不属于其中之一，则认为它是前景值。
其次，不仅仅保存滑动平均值，还保存滑动方差。计算得到的均值和方差形成了一个高斯模型，通过它我们可以获知某个像素值属于该模型的概率。它使得确定合适的阈值变得简单，因为现在它表现为一个概率而非差异的绝对值。同时，背景中变化较明显的区域，前景物体需要的差值将大很多。
最后，当高斯模型的击中频率不够频繁，它会从当前的模型中移除。反之，如果一个像素值位于当前维护的背景模型之外（即它是一个前景像素），那么新的高斯模型将被创建。如果之后它被频繁击中，那么会成为背景的一部分。

理论

混合高斯背景建模是基于像素样本统计信息的背景表示方法，利用像素在较长时间内大量样本值的概率密度等统计信息(如模式数量、每个模式的均值和标准差)表示背景，然后使用统计差分(如3σ原则)进行目标像素判断，可以对复杂动态背景进行建模，计算量较大。
在混合高斯背景模型中，认为像素之间的颜色信息互不相关，对各像素点的处理都是相互独立的。对于视频图像中的每一个像素点，其值在序列图像中的变化可看作是不断产生像素值的随机过程，即用高斯分布来描述每个像素点的颜色呈现规律。
对于多峰高斯分布模型，图像的每一个像素点按不同权值的多个高斯分布的叠加来建模，每种高斯分布对应一个可能产生像素点所呈现颜色的状态，各个高斯分布的权值和分布参数随时间更新。当处理彩色图像时，假定图像像素点R、G、B三色通道相互独立并具有相同的方差。

OpenCV中高斯混合模型的接口

OpenCV中实现了两个版本的高斯混合背景/前景分割方法。

BackgroundSubtractorMOG

构造函数可以使用默认构造函数或带形参的构造函数：

BackgroundSubtractorMOG::BackgroundSubtractorMOG()
BackgroundSubtractorMOG::BackgroundSubtractorMOG(int history, int nmixtures, double backgroundRatio, double noiseSigma=0)

其中history为使用历史帧的数目，nmixtures为混合高斯数量，backgroundRatio为背景比例，noiseSigma为噪声权重。

调用的接口只有重载操作符()：

void BackgroundSubtractorMOG::operator()(InputArray image, OutputArray fgmask, double learningRate=0)

其中image为当前帧图像，fgmask为输出的前景mask，learningRate为背景学习速率。

BackgroundSubtractorMOG2

构造函数可以使用默认构造函数或带形参的构造函数：

BackgroundSubtractorMOG2::BackgroundSubtractorMOG2()  
BackgroundSubtractorMOG2::BackgroundSubtractorMOG2(int history,float varThreshold, bool bShadowDetection=true) 

history同上，为使用历史帧的数目；varThreshold表示马氏平方距离上使用的来判断是否为背景的阈值（此值不影响背景更新速率）；bShadowDetection表示是否使用阴影检测（如果开启阴影检测，则mask中使用127表示阴影）。

使用重载操作符()调用每帧检测函数：

void BackgroundSubtractorMOG2::operator()(InputArray image, OutputArray fgmask, double learningRate=-1)

参数意义同BackgroundSubtractorMOG中的operator()函数。

同时BackgroundSubtractorMOG2提供了getBackgroundImage()函数用以返回背景图像：

void BackgroundSubtractorMOG2::getBackgroundImage(OutputArray backgroundImage)

示例代码

int main(){  
    VideoCapture video(0);  
    Mat frame,mask,thresholdImage, output;   
    BackgroundSubtractorMOG2 bgSubtractor(20,16,true);  
    namedWindow("background");

    while(true){  
        video>>frame;  
        bgSubtractor(frame,mask,0.001);  
        imshow("background",mask);  
        char c = (char)waitKey(20);
        if( c == 27 )
            break;
    }  
    return 0;  
}  

参考资料

混合高斯背景模型及opencv实现
OpenCV中的混合高斯算法原理

转载请注明作者Jason Ding及其出处
GitCafe博客主页(http://jasonding1354.gitcafe.io/)
Github博客主页(http://jasonding1354.github.io/)
CSDN博客(http://blog.csdn.net/jasonding1354)
简书主页(http://www.jianshu.com/users/2bd9b48f6ea8/latest_articles)
百度搜索jasonding1354进入我的博客主页