opencv-背景建模

转载于:http://blog.csdn.net/angl129/article/details/29887783


背景建模

     在摄像机静止的情况下,背景减法是一种较常见的运动目标检测方法。它利用当前帧和参考帧(背景模型)之差进行运动物体的检测,如下图所示;这些运动的物体一般就是我们感兴趣的目标,即前景检测。详细的描述可参考:http://docs.opencv.org/trunk/doc/tutorials/video/background_subtraction/background_subtraction.html

opencv-背景建模_第1张图片

 

 

一、 背景建模的一般方法

     背景建模的一般方法可分为:帧差、中值滤波、高斯平均、混合高斯、Vibe和以纹理为特征的背景建模等。 http://www.cnblogs.com/xrwang/archive/2010/02/21/ForegroundDetection.html

vibe具体描述可参考: http://blog.sciencenet.cn/blog-722391-571072.html ;http://blog.csdn.net/stellar0/article/details/8777283

     其存在的主要问题有:光照的缓慢变化及突变两种情况、动态背景、相似、阴影和噪声等。不同的方法在某些方面表现的较优的性能,很少有某一方法能在各个方面都呈现出最优的情况,所以需针对不同的应用场景选择最合适的方法。在这里主要是结合Opencv的实现对混合高斯背景模型进行介绍和分析。背景混合模型中,每个像素的强度值由一个高斯混合模型来表示,通过一定的方法判断那些强度值更倾向于背景。

 

二、Opencv实现过程

    OpenCV中用于实现混合高斯前景分割的方法,主要有BackgroundSubtractorMOG和BackgroundSubtractorMOG2两个类。这2个类都继承BackgroundSubtractor类,其定义如下:

[cpp]  view plain copy
  1. class BackgroundSubtractor : public Algorithm  
  2. {  
  3. public:  
  4.      virtual ~ BackgroundSubtractor();  
  5.      virtual void operator()(InputArray image, OutputArray fgmask,double learningRate=0);  
  6.      virtual void getBackgroundImage( OutputArray backgroundImage) const;  
  7. }   

其成员函数的功能如下:

[cpp]  view plain copy
  1. 1)void BackgroundSubtractor::operator()(InputArray image, OutputArray fgmask,double learningRate=0)  

功能:计算前景掩膜(foreground mask)

参数:image-视频帧

           fgmask-输出前景掩膜,为8-bit的二进制图像

[cpp]  view plain copy
  1. 2)void BackgroundSubtractor::getBackgroundImage( OutputArray backgroundImage) const  

功能:获得背景图像

参数:backgroundImage-输出的背景图像

 

  

下面主要总结OpenCV中实现高斯混合背景建模的二个类:

1、BackgroundSubtractorMOG

1)构造函数

[cpp]  view plain copy
  1. BackgroundSubtractorMOG::BackgroundSubtractorMOG()  
[cpp]  view plain copy
  1. BackgroundSubtractorMOG::BackgroundSubtractorMOG(int history,int nmixtures,double backgroundRatio,double noiseSigma=0)  

       其构造函数有2个,若采取默认的构造函数,则对应的参数将取默认值;第二个构造函数中参数对应为:

      history—历史视频帧的长度   

      nmixtures---混合高斯的数目

      backgroundRatio---背景比例

      noiseSigma-----噪声强度

2)operator() 函数

      功能:更新背景模型并返回前景掩膜

      具体实现:

[cpp]  view plain copy
  1. void BackgroundSubtractorMOG::operator()(InputArray _image, OutputArray _fgmask, double learningRate)  
  2. {  
  3.     Mat image = _image.getMat();  
  4.     bool needToInitialize = nframes == 0 || learningRate >= 1 || image.size() != frameSize || image.type() != frameType;  
  5.   
  6.     if( needToInitialize )  
  7.         initialize(image.size(), image.type());  
  8.   
  9.     CV_Assert( image.depth() == CV_8U );  
  10.     _fgmask.create( image.size(), CV_8U );  
  11.     Mat fgmask = _fgmask.getMat();  
  12.   
  13.     ++nframes;  
  14.     learningRate = learningRate >= 0 && nframes > 1 ? learningRate : 1./min( nframes, history ); //根据学习率和帧数确定当前学习率大小  
  15.     CV_Assert(learningRate >= 0);  
  16.   
  17.     if( image.type() == CV_8UC1 )   //根据图像的通道数确定处理的函数  
  18.         process8uC1( image, fgmask, learningRate, bgmodel, nmixtures, backgroundRatio, varThreshold, noiseSigma );  
  19.     else if( image.type() == CV_8UC3 )  
  20.         process8uC3( image, fgmask, learningRate, bgmodel, nmixtures, backgroundRatio, varThreshold, noiseSigma );  
  21.     else  
  22.         CV_Error( CV_StsUnsupportedFormat, "Only 1- and 3-channel 8-bit images are supported in BackgroundSubtractorMOG" );  
  23. }  

      可看出,高斯混合背景建模具体功能主要由process8uc1()和process8uc3()两个函数实现,这两个函数的具体实现可参考OpenCV源代码目录下\sources\modules\video\src\bgfg_gaussmix.cpp文件。

 

2、BackgroundSubtractorMOG2

1)构造函数

[cpp]  view plain copy
  1. BackgroundSubtractorMOG2::BackgroundSubtractorMOG2()  
  2. BackgroundSubtractorMOG2::BackgroundSubtractorMOG2(int history,float varThreshold,bool bShadowDetection=true)  

其中第二个构造函数的参数定义如下:

   history-历史帧的长度

   varThreshold-变量的阈值

   bShadowDetection-是否进行阴影的检测

2)operator()函数

      更新背景模型并返回前景掩膜,与BackgroundSubtractorMOG类中operator()函数实现相同的功能。

     具体实现:

[cpp]  view plain copy
  1.   void BackgroundSubtractorMOG2::operator()(InputArray _image, OutputArray _fgmask, double learningRate)  
  2. {  
  3.     Mat image = _image.getMat();  
  4.     bool needToInitialize = nframes == 0 || learningRate >= 1 || image.size() != frameSize || image.type() != frameType;  
  5.   
  6.     if( needToInitialize )  
  7.         initialize(image.size(), image.type());  
  8.   
  9.     _fgmask.create( image.size(), CV_8U );  
  10.     Mat fgmask = _fgmask.getMat();  
  11.   
  12.     ++nframes;  
  13.     learningRate = learningRate >= 0 && nframes > 1 ? learningRate : 1./min( 2*nframes, history );  
  14.     CV_Assert(learningRate >= 0);  
  15.   
  16.     parallel_for_(Range(0, image.rows),  
  17.                   MOG2Invoker(image, fgmask,  
  18.                               (GMM*)bgmodel.data,  
  19.                               (float*)(bgmodel.data + sizeof(GMM)*nmixtures*image.rows*image.cols),  
  20.                               bgmodelUsedModes.data, nmixtures, (float)learningRate,  
  21.                               (float)varThreshold,  
  22.                               backgroundRatio, varThresholdGen,  
  23.                               fVarInit, fVarMin, fVarMax, float(-learningRate*fCT), fTau,  
  24.                               bShadowDetection, nShadowDetection));  
  25. }  

      该函数实现中主要是parallel_for_()函数,其中背景建模的功能的实现主要是struct MOG2Invoker : ParallelLoopBody{}这一结构体,其具体的定义参考sources\modules\video\src\bgfg_gaussmix2.cpp。

3)getBackgroundImage()函数

      获取背景图像,是该类新实现的具体功能。具体实现:

[cpp]  view plain copy
  1. void BackgroundSubtractorMOG2::getBackgroundImage(OutputArray backgroundImage) const  
  2. {  
  3.     int nchannels = CV_MAT_CN(frameType);  
  4.     CV_Assert( nchannels == 3 );  
  5.     Mat meanBackground(frameSize, CV_8UC3, Scalar::all(0));  
  6.   
  7.     int firstGaussianIdx = 0;  
  8.     const GMM* gmm = (GMM*)bgmodel.data;  
  9.     const Vec3f* mean = reinterpret_cast<const Vec3f*>(gmm + frameSize.width*frameSize.height*nmixtures);  
  10.     for(int row=0; row
  11.     {  
  12.         for(int col=0; col
  13.         {  
  14.             int nmodes = bgmodelUsedModes.at(row, col);  
  15.             Vec3f meanVal;  
  16.             float totalWeight = 0.f;  
  17.             for(int gaussianIdx = firstGaussianIdx; gaussianIdx < firstGaussianIdx + nmodes; gaussianIdx++)  
  18.             {  
  19.                 GMM gaussian = gmm[gaussianIdx];  
  20.                 meanVal += gaussian.weight * mean[gaussianIdx];  
  21.                 totalWeight += gaussian.weight;  
  22.   
  23.                 if(totalWeight > backgroundRatio)  
  24.                     break;  
  25.             }  
  26.   
  27.             meanVal *= (1.f / totalWeight);  
  28.             meanBackground.at(row, col) = Vec3b(meanVal);  
  29.             firstGaussianIdx += nmixtures;  
  30.         }  
  31.     }  
  32.   
  33.     switch(CV_MAT_CN(frameType)) //根据视频帧的类型返回相应的背景图像  
  34.     {  
  35.     case 1:  
  36.     {  
  37.         vector channels;  
  38.         split(meanBackground, channels);  
  39.         channels[0].copyTo(backgroundImage);  
  40.         break;  
  41.     }  
  42.   
  43.     case 3:  
  44.     {  
  45.         meanBackground.copyTo(backgroundImage);  
  46.         break;  
  47.     }  
  48.   
  49.     default:  
  50.         CV_Error(CV_StsUnsupportedFormat, "");  
  51.     }  
  52. }  

 

三、实例分析

以BackgroundSubtractorMOG2类为例:

[cpp]  view plain copy
  1. #include  
  2. #include  
  3. #include  
  4. #include  
  5. #include  
  6.   
  7. using namespace cv;  
  8. using namespace std;  
  9.   
  10. void helpProcess()  
  11. {  
  12.     cout<<"Opencv中背景减法的实例程序!\n";  
  13. }  
  14.   
  15. int main()  
  16. {  
  17.     helpProcess();  
  18.     VideoCapture video("Car.avi");  
  19.     Mat Frame,fgMask,bg;  
  20.     int FrameNum=0;  
  21.   
  22.     if(!video.isOpened()) {printf("读取视频失败,请确认视频目录是否正确!\n");return false;}  
  23.   
  24.     BackgroundSubtractorMOG2 bgSub;     //定义背景减法的对象,以默认构造函数进行初始化  
  25.   
  26.     while(video.read(Frame))  
  27.     {  
  28.         FrameNum++;  
  29.         cout<
  30.         bgSub(Frame,fgMask,0.001);     //背景减法获取前景掩膜  
  31.         bgSub.getBackgroundImage(bg);  //获取背景图像  
  32.           
  33.         //显示  
  34.         imshow("Foreground mask",fgMask);  
  35.         imshow("Background Image",bg);  
  36.         waitKey(10);  
  37.       
  38.     }  
  39.   
  40.     return 0;  
  41.   
  42. }  

对应运行结果:

opencv-背景建模_第2张图片

       背景建模受光照的缓慢变化及突变、阴影、图像噪声、动态背景,如晃动的树叶等等因素的影响,在不同的应用场景下,还需进行不同的处理。


你可能感兴趣的:(opencv学习笔记,背景建模)