运动目标检测——ViBe算法代码分析

运动检测（前景检测）之——ViBe

       目前前景检测的研究还是很多的，也出现了很多新的方法和思路。个人了解的大概概括为以下一些：

       帧差、背景减除（GMM、CodeBook、 SOBS、 SACON、 VIBE、 W4、多帧平均……）、光流（稀疏光流、稠密光流）、运动竞争（Motion Competition）、运动模版（运动历史图像）、时间熵……等等。如果加上他们的改进版，那就是很大的一个家族了。

       至于哪个最好，看使用环境吧，各有千秋，有一些适用的情况更多，有一些在某些情况下表现更好。这些都需要针对自己的使用情况作测试确定的。呵呵。

       推荐一个牛逼的库：http://code.google.com/p/bgslibrary/里面包含了各种背景减除的方法，可以让自己少做很多力气活。

       还有王先荣博客上存在不少的分析：

http://www.cnblogs.com/xrwang/archive/2010/02/21/ForegroundDetection.html

       本文主要关注其中的一种背景减除方法：ViBe。stellar0的博客上对ViBe进行了分析，我这里就不再啰嗦了，具体的理论可以参考：

http://blog.csdn.net/charlene_bo/article/details/62881857

http://www2.ulg.ac.be/telecom/research/vibe/

http://blog.csdn.net/stellar0/article/details/8777283

http://blog.csdn.net/yongshengsilingsa/article/details/6659859

http://www2.ulg.ac.be/telecom/research/vibe/download.html

http://www.cvchina.info/2011/12/25/vibe/

《ViBe: A universal background subtraction algorithm for video sequences》

《ViBe: a powerful technique for background detection and subtraction in video sequences》

运动目标前景检测之ViBe源代码分析

一方面为了学习，一方面按照老师和项目的要求接触到了前景提取的相关知识，具体的方法有很多，帧差、背景减除（GMM、CodeBook、 SOBS、 SACON、 VIBE、 W4、多帧平均……）、光流（稀疏光流、稠密光流）、运动竞争（Motion Competition）、运动模版（运动历史图像）、时间熵……等等。
更为具体的资料可以参考一下链接，作者做了很好的总结。点击打开链接http://blog.csdn.net/zouxy09/article/details/9622285

我只要针对作者提供的源代码，加上我的理解最代码捉了做了相关的注释，便于自己对代码的阅读和与大家的交流，如果不妥之处，稀罕大家多多提出，共同进步

ViBe.h（头文件，一般做申明函数、类使用，不做具体定义）

 

 #pragma once
 #include
 #include "opencv2/opencv.hpp"

 using namespace cv;
 using namespace std;

 #define NUM_SAMPLES 20      //每个像素点的样本个数
 #define MIN_MATCHES 2       //#min指数
 #define RADIUS 20       //Sqthere半径
 #define SUBSAMPLE_FACTOR 16 //子采样概率，决定背景更新的概率


 class ViBe_BGS
 {
 public:
     ViBe_BGS(void);  //构造函数
     ~ViBe_BGS(void);  //析构函数，对开辟的内存做必要的清理工作

     void init(const Mat _image);   //初始化
     void processFirstFrame(const Mat _image); //利用第一帧进行建模
     void testAndUpdate(const Mat _image);  //判断前景与背景，并进行背景跟新
     Mat getMask(void){return m_mask;};  //得到前景

 private:
     Mat m_samples[NUM_SAMPLES];  //每一帧图像的每一个像素的样本集
     Mat m_foregroundMatchCount;  //统计像素被判断为前景的次数，便于跟新
     Mat m_mask;  //前景提取后的一帧图像
 };

ViBe.cpp（上面所提到的申明的具体定义）

 

 

 #include
 #include
 #include "ViBe.h"

 using namespace std;
 using namespace cv;

 int c_xoff[9] = {-1,  0,  1, -1, 1, -1, 0, 1, 0};  //x的邻居点，9宫格
 int c_yoff[9] = {-1,  0,  1, -1, 1, -1, 0, 1, 0};  //y的邻居点

 ViBe_BGS::ViBe_BGS(void)
 {

 }
 ViBe_BGS::~ViBe_BGS(void)
 {

 }

 /**************** Assign space and init ***************************/
 void ViBe_BGS::init(const Mat _image)  //成员函数初始化
 {
      for(int i = 0; i < NUM_SAMPLES; i++) //可以这样理解，针对一帧图像，建立了20帧的样本集
      {
          m_samples[i] = Mat::zeros(_image.size(), CV_8UC1);  //针对每一帧样本集的每一个像素初始化为8位无符号0，单通道
      }
      m_mask = Mat::zeros(_image.size(),CV_8UC1); //初始化
      m_foregroundMatchCount = Mat::zeros(_image.size(),CV_8UC1);  //每一个像素被判断为前景的次数，初始化
 }

 /**************** Init model from first frame ********************/
 void ViBe_BGS::processFirstFrame(const Mat _image)
 {
     RNG rng;    //随机数产生器
     int row, col;

     for(int i = 0; i < _image.rows; i++)
     {
         for(int j = 0; j < _image.cols; j++)
         {
              for(int k = 0 ; k < NUM_SAMPLES; k++)
              {
                  // Random pick up NUM_SAMPLES pixel in neighbourhood to construct the model
                  int random = rng.uniform(0, 9);  //随机产生0-9的随机数，主要用于定位中心像素的邻域像素

                  row = i + c_yoff[random]; //定位中心像素的邻域像素
                  if (row < 0)   //下面四句主要用于判断是否超出边界
                      row = 0;
                  if (row >= _image.rows)
                      row = _image.rows - 1;

                  col = j + c_xoff[random];
                  if (col < 0)    //下面四句主要用于判断是否超出边界
                      col = 0;
                  if (col >= _image.cols)
                      col = _image.cols - 1;

                  m_samples[k].at(i, j) = _image.at(row, col);  //将相应的像素值复制到样本集中
              }
         }
     }
 }

 /**************** Test a new frame and update model ********************/
 void ViBe_BGS::testAndUpdate(const Mat _image)
 {
     RNG rng;

     for(int i = 0; i < _image.rows; i++)
     {
         for(int j = 0; j < _image.cols; j++)
         {
             int matches(0), count(0);
             float dist;

             while(matches < MIN_MATCHES && count < NUM_SAMPLES) //逐个像素判断，当匹配个数大于阀值MIN_MATCHES，或整个样本集遍历完成跳出
             {
                 dist = abs(m_samples[count].at(i, j) - _image.at(i, j)); //当前帧像素值与样本集中的值做差，取绝对值
                 if (dist < RADIUS)  //当绝对值小于阀值是，表示当前帧像素与样本值中的相似
                     matches++;

                 count++;  //取样本值的下一个元素作比较
             }

             if (matches >= MIN_MATCHES)  //匹配个数大于阀值MIN_MATCHES个数时，表示作为背景
             {
                 // It is a background pixel
                 m_foregroundMatchCount.at(i, j) = 0;  //被检测为前景的个数赋值为0

                 // Set background pixel to 0
                 m_mask.at(i, j) = 0;  //该像素点值也为0

                 // 如果一个像素是背景点，那么它有 1 / defaultSubsamplingFactor 的概率去更新自己的模型样本值
                 int random = rng.uniform(0, SUBSAMPLE_FACTOR);   //以1 / defaultSubsamplingFactor概率跟新背景
                 if (random == 0)
                 {
                     random = rng.uniform(0, NUM_SAMPLES);
                     m_samples[random].at(i, j) = _image.at(i, j);
                 }

                 // 同时也有 1 / defaultSubsamplingFactor 的概率去更新它的邻居点的模型样本值
                 random = rng.uniform(0, SUBSAMPLE_FACTOR);
                 if (random == 0)
                 {
                     int row, col;
                     random = rng.uniform(0, 9);
                     row = i + c_yoff[random];
                     if (row < 0)   //下面四句主要用于判断是否超出边界
                         row = 0;
                     if (row >= _image.rows)
                         row = _image.rows - 1;

                     random = rng.uniform(0, 9);
                     col = j + c_xoff[random];
                     if (col < 0)   //下面四句主要用于判断是否超出边界
                         col = 0;
                     if (col >= _image.cols)
                         col = _image.cols - 1;

                     random = rng.uniform(0, NUM_SAMPLES);
                     m_samples[random].at(row, col) = _image.at(i, j);  //模型样本值更新
                 }
             }

             else  //匹配个数小于阀值MIN_MATCHES个数时，表示作为前景
             {
                 // It is a foreground pixel
                 m_foregroundMatchCount.at(i, j)++;  //检测为前景的个数加1

                 // Set background pixel to 255
                 m_mask.at(i, j) =255;    //前景点用白色（255）表示

                 //如果某个像素点连续N次（这里为50次）被检测为前景，则认为一块静止区域被误判为运动，将其更新为背景点
                 if (m_foregroundMatchCount.at(i, j) > 50)
                 {
                     int random = rng.uniform(0, SUBSAMPLE_FACTOR);
                     if (random == 0)
                     {
                         random = rng.uniform(0, NUM_SAMPLES);
                         m_samples[random].at(i, j) = _image.at(i, j);
                     }
                 }
             }
         }
     }
 }

main.cpp（你懂的……）

 

 

 #include
 #include "ViBe.h"
 #include
 #include
 #include
 using namespace cv;
 using namespace std;

 int main(int argc, char* argv[])
 {
     Mat frame, gray, mask;
     VideoCapture capture;
     capture.open("E:\\overpass\\11.avi");    //输入视频地址

     if (!capture.isOpened())
     {
         cout<<"No camera or video input!\n"<
         return -1;
     }

     ViBe_BGS Vibe_Bgs; //定义一个背景差分对象
     int count = 0; //帧计数器，统计为第几帧

     while (1)
     {
         count++;
         capture >> frame;
         if (frame.empty())
             break;
         cvtColor(frame, gray, CV_RGB2GRAY); //转化为灰度图像

         if (count == 1)  //若为第一帧
         {
             Vibe_Bgs.init(gray);
             Vibe_Bgs.processFirstFrame(gray); //背景模型初始化
             cout<<" Training GMM complete!"<
         }
         else
         {
             Vibe_Bgs.testAndUpdate(gray);
             mask = Vibe_Bgs.getMask();    //计算前景
             morphologyEx(mask, mask, MORPH_OPEN, Mat());   //形态学处理消除前景图像中的小噪声，这里用的开运算
             imshow("mask", mask);
         }

         imshow("input", frame);

         if ( cvWaitKey(10) == 'q' )    //键盘键入q,则停止运行，退出程序
             break;
     }
   system("pause");
     return 0;
 }