学习OpenCV范例（二十四）—ViBe前景检测（二）

最近导师没给什么项目做，所以有那么一点点小时间，于是就研究起了前景检测，既然前景检测有很多种算法，那干脆就把这些模型都学起来吧，以后用到前景检测时至少还有那么几种方法可以选择，上次介绍的是GMM模型，其实GMM模型本身就是一个很不错的模型，现在也很多人在研究，并且做改进，主要是OpenCV有函数调用，用起来非常方便，当我们都在兴高采烈的讨论GMM各种好的时候，B哥不爽了，他说老子是搞前景检测的，怎么可能让你们这么嚣张，而且老子就不按照你那套路来，什么高斯模型，混合高斯模型，我统统不用，就来个简单的，气死你们，于是一挥笔，一篇著作就出来了ViBe: A Universal Background Subtraction Algorithm for Video Sequences，顿时震惊了所有人，现在就让我们一起来领略一下ViBe算法到底有什么过人之处吧。

1、原理

一讲到原理，本人就喜欢推荐其他博主的博客，因为我觉得他们都已经写得非常好了，好资源就是要被传播，被共享的，所以对于原理的问题，我一样推荐一个博客给大家。

①、背景建模或前景检测(Background Generation And Foreground Detection) 五 ViBe

这篇文章可以说是ViBe原文的精华版，对这个算法的理论基础和精髓理解的非常透彻，甚至连实验对比结果和效果图都给大家贴出来了，都是原文的图片。

也希望大家看完这篇精华版之后，有初步了解之后可以去看一下原文，原文第一部分概述了各种各样的前景检测算法，第二部分开始讲ViBe，其中作者说了一句，背景减法技术一般都要解决三个问题：1、用到什么模型，并且它的工作原理，2、如何初始化这个模型，3、随着时间的推移，如何更新这个模型，于是作者也就从这三个方面介绍了ViBe算法，最后一部分就是各种实验结果和对比。

接下来给大家推荐一个代码版本，现在的OpenCV也有ViBe库函数提供，但是是在CUDA平台下的。

②、运动检测（前景检测）之（一）ViBe

这位博主主要的代码都是用到OpenCV的Mat格式存储数据和调用数据，所以速度有点慢，于是本人做了小小的修改，快了些许，代码会在下面贴出。

同样也贴出另外一位博主的代码，没仔细看，希望有空可以研究一下

③、VIBE运动目标检测算法实现

2、代码实现

Vibe.h

#include <iostream>
#include "opencv2/opencv.hpp"

using namespace cv;
using namespace std;

#define NUM_SAMPLES 20		//每个像素点的样本个数
#define MIN_MATCHES 2		//#min指数
#define RADIUS 20		//Sqthere半径
#define SUBSAMPLE_FACTOR 16	//子采样概率


class ViBe_BGS
{
public:
	ViBe_BGS(void);
	~ViBe_BGS(void);

	void init(const Mat _image);   //初始化
	void processFirstFrame(const Mat _image);
	void testAndUpdate(const Mat _image);  //更新
	Mat getMask(void){return m_mask;};
	void deleteSamples(){delete samples;};

private:
	unsigned char ***samples;
//	float samples[1024][1024][NUM_SAMPLES+1];//保存每个像素点的样本值

/*
	Mat m_samples[NUM_SAMPLES];
	Mat m_foregroundMatchCount;*/

	Mat m_mask;
};

Vibe.cpp

#include "ViBe.h"

using namespace std;
using namespace cv;

int c_xoff[9] = {-1,  0,  1, -1, 1, -1, 0, 1, 0};  //x的邻居点
int c_yoff[9] = {-1,  0,  1, -1, 1, -1, 0, 1, 0};  //y的邻居点

ViBe_BGS::ViBe_BGS(void)
{

}
ViBe_BGS::~ViBe_BGS(void)
{

}

/**************** Assign space and init ***************************/
void ViBe_BGS::init(const Mat _image)
{
	//动态分配三维数组，samples[][][NUM_SAMPLES]存储前景被连续检测的次数
    samples=new unsigned char **[_image.rows];
	for (int i=0;i<_image.rows;i++)
	{
		samples[i]=new unsigned char *[1024];
		for (int j=0;j<_image.cols;j++)
		{
			samples[i][j]=new unsigned char [NUM_SAMPLES+1];	
			for (int k=0;k<NUM_SAMPLES+1;k++)
			{
				samples[i][j][k]=0;
			}
			
		}
		
	}
	m_mask = Mat::zeros(_image.size(),CV_8UC1);
}

/**************** Init model from first frame ********************/
void ViBe_BGS::processFirstFrame(const Mat _image)
{
	RNG rng;
	int row, col;

	for(int i = 0; i < _image.rows; i++)
	{
		for(int j = 0; j < _image.cols; j++)
		{
			for(int k = 0 ; k < NUM_SAMPLES; k++)
			{
				// Random pick up NUM_SAMPLES pixel in neighbourhood to construct the model
				int random = rng.uniform(0, 9);

				row = i + c_yoff[random];
				if (row < 0) 
					row = 0;
				if (row >= _image.rows)
					row = _image.rows - 1;

				col = j + c_xoff[random];
				if (col < 0) 
					col = 0;
				if (col >= _image.cols)
					col = _image.cols - 1;

				samples[i][j][k]=_image.at<uchar>(row, col);
			}
		}
	}
}

/**************** Test a new frame and update model ********************/
void ViBe_BGS::testAndUpdate(const Mat _image)
{
	RNG rng;

	for(int i = 0; i < _image.rows; i++)
	{
		for(int j = 0; j < _image.cols; j++)
		{
			int matches(0), count(0);
			int dist;

			while(matches < MIN_MATCHES && count < NUM_SAMPLES)
			{
				dist = abs(samples[i][j][count] - _image.at<uchar>(i, j));
				if (dist < RADIUS)
					matches++;
				count++;
			}

			if (matches >= MIN_MATCHES)
			{
				// It is a background pixel
				samples[i][j][NUM_SAMPLES]=0;

				// Set background pixel to 0
				m_mask.at<uchar>(i, j) = 0;

				// 如果一个像素是背景点，那么它有 1 / defaultSubsamplingFactor 的概率去更新自己的模型样本值
				int random = rng.uniform(0, SUBSAMPLE_FACTOR);
				if (random == 0)
				{
					random = rng.uniform(0, NUM_SAMPLES);
				    samples[i][j][random]=_image.at<uchar>(i, j);
				}

				// 同时也有 1 / defaultSubsamplingFactor 的概率去更新它的邻居点的模型样本值
				random = rng.uniform(0, SUBSAMPLE_FACTOR);
				if (random == 0)
				{
					int row, col;
					random = rng.uniform(0, 9);
					row = i + c_yoff[random];
					if (row < 0) 
						row = 0;
					if (row >= _image.rows)
						row = _image.rows - 1;

					random = rng.uniform(0, 9);
					col = j + c_xoff[random];
					if (col < 0) 
						col = 0;
					if (col >= _image.cols)
						col = _image.cols - 1;

					random = rng.uniform(0, NUM_SAMPLES);
				    samples[i][j][random]=_image.at<uchar>(i, j);
				}
			}
			else
			{
				// It is a foreground pixel
				samples[i][j][NUM_SAMPLES]++;

				// Set background pixel to 255
				m_mask.at<uchar>(i, j) = 255;

				//如果某个像素点连续N次被检测为前景，则认为一块静止区域被误判为运动，将其更新为背景点
				if(samples[i][j][NUM_SAMPLES]>50)
				{
					int random = rng.uniform(0, NUM_SAMPLES);
					if (random == 0)
					{
						random = rng.uniform(0, NUM_SAMPLES);
				        samples[i][j][random]=_image.at<uchar>(i, j);
					}
				}
			}
		}
	}
}

main.cpp

#include "ViBe.h"
#include <cstdio>

using namespace cv;
using namespace std;

int main(int argc, char* argv[])
{
	Mat frame, gray, mask;
	VideoCapture capture;
	capture.open(0);
	capture.set(CV_CAP_PROP_FRAME_WIDTH,320);
	capture.set(CV_CAP_PROP_FRAME_HEIGHT,240);
	if (!capture.isOpened())
	{
		cout<<"No camera or video input!\n"<<endl;
		return -1;
	}

	ViBe_BGS Vibe_Bgs;
	bool count =true;

	while (1)
	{
		capture >> frame;
		if (frame.empty())
			continue;

		cvtColor(frame, gray, CV_RGB2GRAY);
		if (count)
		{
			Vibe_Bgs.init(gray);
			Vibe_Bgs.processFirstFrame(gray);
			cout<<" Training ViBe complete!"<<endl;
			count=false;
		}
		else
		{
			Vibe_Bgs.testAndUpdate(gray);
			mask = Vibe_Bgs.getMask();
			morphologyEx(mask, mask, MORPH_OPEN, Mat());
			imshow("mask", mask);
		}


		imshow("input", frame);	

		if ( cvWaitKey(10) == 27 )
			break;
	}

	return 0;
}

3、实验结果

                                                                          图1、背景图

                                                                             图2、前景图

总结，这里就不再贴太多图出来了，大家可以下载代码自己去玩一玩，挺好玩的，这个算法在作者的论文中被说得各种好，各种极品，但是在我的电脑中没有体现那么神乎其神的效果，可能没有加上其他的一些预处理和后处理的缘故吧，也可能是电脑问题，但是总体来说，这个算法确实也不错，算法原理也容易理解，对Ghost区域也做了很好的处理，但是算法已经申请了专利，做做研究还是可以的，还是有很多发展空间，如果商用，那我就不知道会咋样咯。