基于camshift的运动物体跟踪分析

一、Camshfit原理

camshift利用目标的颜色直方图模型将图像转换为颜色概率分布图，初始化一个搜索窗的大小和位置，并根据上一帧得到的结果自适应调整搜索窗口的位置和大小，从而定位出当前图像中目标的中心位置。

分为三个部分：
1--色彩投影图（反向投影）：
(1).RGB颜色空间对光照亮度变化较为敏感，为了减少此变化对跟踪效果的影响，首先将图像从RGB空间转换到HSV空间。(2).然后对其中的H分量作直方图，在直方图中代表了不同H分量值出现的概率或者像素个数，就是说可以查找出H分量大小为h的概率或者像素个数，即得到了颜色概率查找表。(3).将图像中每个像素的值用其颜色出现的概率对替换，就得到了颜色概率分布图。这个过程就叫反向投影，颜色概率分布图是一个灰度图像。

2--meanshift
meanshift算法是一种密度函数梯度估计的非参数方法，通过迭代寻优找到概率分布的极值来定位目标。
算法过程为：
(1).在颜色概率分布图中选取搜索窗W
(2).计算零阶距：

计算一阶距：

计算搜索窗的质心：

(3).调整搜索窗大小
宽度为；长度为1.2s；
(4).移动搜索窗的中心到质心，如果移动距离大于预设的固定阈值，则重复2)3)4)，直到搜索窗的中心与质心间的移动距离小于预设的固定阈值，或者循环运算的次数达到某一最大值，停止计算。关于meanshift的收敛性证明可以google相关文献。

3--camshift
将meanshift算法扩展到连续图像序列，就是camshift算法。它将视频的所有帧做meanshift运算，并将上一帧的结果，即搜索窗的大小和中心，作为下一帧meanshift算法搜索窗的初始值。如此迭代下去，就可以实现对目标的跟踪。
算法过程为：
(1).初始化搜索窗
(2).计算搜索窗的颜色概率分布（反向投影）
(3).运行meanshift算法，获得搜索窗新的大小和位置。
(4).在下一帧视频图像中用(3)中的值重新初始化搜索窗的大小和位置，再跳转到(2)继续进行。

camshift能有效解决目标变形和遮挡的问题，对系统资源要求不高，时间复杂度低，在简单背景下能够取得良好的跟踪效果。但当背景较为复杂，或者有许多与目标颜色相似像素干扰的情况下，会导致跟踪失败。因为它单纯的考虑颜色直方图，忽略了目标的空间分布特性，所以这种情况下需加入对跟踪目标的预测算法。

 

二、Opencv中Camshift算法参数的分析

int cvCamShift( const CvArr* prob_image, CvRect window, CvTermCriteria criteria,CvConnectedComp* comp,CvBox2D* box=NULL );
prob_image
目标直方图的反向投影 (见 cvCalcBackProject).
window
初始搜索窗口
criteria
确定窗口搜索停止的准则
comp
生成的结构，包含收敛的搜索窗口坐标 (comp->rect 字段) 与窗口内部所有象素点的和 (comp->area 字段).
box
目标的带边界盒子。如果非 NULL, 则包含目标的尺寸和方向。
函数 cvCamShift 实现了 CAMSHIFT 目标跟踪算法([Bradski98]). 首先它调用函数 cvMeanShift 寻找目标中心，然后计算目标尺寸和方向。最后返回函数 cvMeanShift 中的迭代次数。

 

在每次cvCamshift函数返回值之后，会获取到box这个参数，有时需要把物体的方向以及范围绘制出来。

由目标的方向angle和尺度box.size.height,box.size.width，以及中心点center如何绘制目标的内接椭圆呢？

(1)计算目标在水平或者垂直状态下的内接椭圆的四个顶点

(2)对椭圆的内接顶点进行旋转变换,得到当前方向下目标的内接椭圆的四个顶点

(3)绘制内接椭圆

 

实现代码如下：

void GetVertexPoint(CvPoint vertex[],CvPoint center,int height,int width,float angle) { int x,y; if (abs(angle) > 45) { vertex[0].x = center.x - width/2; vertex[0].y = center.y; vertex[1].x = center.x + width/2; vertex[1].y = center.y; vertex[2].x = center.x; vertex[2].y = center.y + height/2; vertex[3].x = center.x; vertex[3].y = center.y - height/2; if (angle > 0) { //旋转坐标 for (int i = 0;i < 4;i++) { x = center.x + (vertex[i].x - center.x)*cos(90 - angle) - (vertex[i].y - center.y) * sin(90 - angle); y = center.y + (vertex[i].x - center.x)*sin(90 - angle) + (vertex[i].y - center.y) * cos(90 - angle); vertex[i].x = x; vertex[i].y = y; } } else { //旋转坐标 for (int i = 0;i < 4;i++) { x = center.x + (vertex[i].x - center.x)*cos(-90 - angle) - (vertex[i].y - center.y) * sin(-90 - angle); y = center.y + (vertex[i].x - center.x)*sin(-90 - angle) + (vertex[i].y - center.y) * cos(-90 - angle); vertex[i].x = x; vertex[i].y = y; } } } else { vertex[0].x = center.x - height/2; vertex[0].y = center.y; vertex[1].x = center.x + height/2; vertex[1].y = center.y; vertex[2].x = center.x; vertex[2].y = center.y + width/2; vertex[3].x = center.x; vertex[3].y = center.y - width/2; //旋转坐标 for (int i = 0;i < 4;i++) { x = center.x + (vertex[i].x - center.x)*cos(-angle) - (vertex[i].y - center.y) * sin(-angle); y = center.y + (vertex[i].x - center.x)*sin(-angle) + (vertex[i].y - center.y) * cos(-angle); vertex[i].x = x; vertex[i].y = y; } } }

 

三、Camshift算法的Opencv实现

#include "cv.h" #include "highgui.h" #include <windows.h> #include <stdio.h> #include <ctype.h> #include <iostream> using namespace std; #pragma comment(lib,"cxcore.lib") #pragma comment(lib,"cv.lib") #pragma comment(lib,"ml.lib") #pragma comment(lib,"cvaux.lib") #pragma comment(lib,"highgui.lib") #pragma comment(lib,"cvcam.lib") int backproject_mode = 0; int select_object = 0; int track_object = 0; int show_hist = 1; CvPoint origin; CvRect selection; CvRect track_window; CvBox2D track_box; CvConnectedComp track_comp; CvPoint2D32f center,center_temp,center_temperater; int hdims = 16; float hranges_arr[] = {0,180}; float* hranges = hranges_arr; int vmin = 10, vmax = 256, smin = 30; IplImage *image = 0, *hsv = 0, *hue = 0, *mask = 0, *backproject = 0, *histimg = 0; CvHistogram *hist = 0; int nWidth,nHeight;//屏幕的分辨率 //hsv转换成rgb CvScalar hsv2rgb( float hue ) { int rgb[3], p, sector; static const int sector_data[][3]= {{0,2,1}, {1,2,0}, {1,0,2}, {2,0,1}, {2,1,0}, {0,1,2}}; hue *= 0.033333333333333333333333333333333f; sector = cvFloor(hue); p = cvRound(255*(hue - sector)); p ^= sector & 1 ? 255 : 0; rgb[sector_data[sector][0]] = 255; rgb[sector_data[sector][1]] = 0; rgb[sector_data[sector][2]] = p; return cvScalar(rgb[2], rgb[1], rgb[0],0); } //320*240的屏幕转换到电脑屏幕上 void convert(int x,int y,int &p,int &q) { p = nWidth*x/320; q = nHeight*(240 - y)/240; } //先提供一个将指定窗口激活到最顶端的函数 void SetForegroundWin(HWND hWnd) { SetWindowPos(hWnd,HWND_TOPMOST,0,0,0,0,SWP_NOMOVE|SWP_NOSIZE); SetWindowPos(hWnd,HWND_NOTOPMOST,0,0,0,0,SWP_NOMOVE|SWP_NOSIZE); SetForegroundWindow(hWnd); return; } //响应鼠标事件 void on_mouse( int event, int x, int y, int flags, void* param ) { if( !image ) return; if( image->origin ) y = image->height - y; if( select_object ) { selection.x = MIN(x,origin.x); selection.y = MIN(y,origin.y); selection.width = selection.x + CV_IABS(x - origin.x); selection.height = selection.y + CV_IABS(y - origin.y); selection.x = MAX( selection.x, 0 ); selection.y = MAX( selection.y, 0 ); selection.width = MIN( selection.width, image->width ); selection.height = MIN( selection.height, image->height ); selection.width -= selection.x; selection.height -= selection.y; } switch( event ) { case CV_EVENT_LBUTTONDOWN: origin = cvPoint(x,y); selection = cvRect(x,y,0,0); select_object = 1; break; case CV_EVENT_LBUTTONUP: select_object = 0; if( selection.width > 0 && selection.height > 0 ) { track_object = -1; center=cvPoint2D32f(0.0,0.0); } break; } } int main( int argc, char** argv ) { HWND hWnd; //获取分辨率，用于坐标转换 nWidth = GetSystemMetrics(SM_CXSCREEN); nHeight = GetSystemMetrics(SM_CYSCREEN); int x,y;//鼠标的位置 CvCapture* capture = 0; if( argc == 1 || (argc == 2 && strlen(argv[1]) == 1 && isdigit(argv[1][0]))) { capture = cvCaptureFromCAM( argc == 2 ? argv[1][0] - '0' : 0 );//从摄像头获取 } else if( argc == 2 ) capture = cvCaptureFromAVI( argv[1] ); //从视频获取 if( !capture ) { cout<<"Could not initialize capturing.../n"; return 0; } cout<< "Hot keys: /n" "/tESC or s - quit tracking/n" "To initialize tracking, select the object with mouse/n" ; cvNamedWindow( "CamShift", 1 ); cvSetMouseCallback( "CamShift", on_mouse, 0 );//获取ROI区域 center_temp = center; center_temperater = center; int i = 0; while(1) { IplImage* frame = 0; int i, bin_w, c; frame = cvQueryFrame( capture ); if( !frame ) break; //分配空间 if( !image ) { image = cvCreateImage( cvGetSize(frame), 8, 3 ); image->origin = frame->origin; hsv = cvCreateImage( cvGetSize(frame), 8, 3 ); hue = cvCreateImage( cvGetSize(frame), 8, 1 ); mask = cvCreateImage( cvGetSize(frame), 8, 1 ); backproject = cvCreateImage( cvGetSize(frame), 8, 1 ); hist = cvCreateHist( 1, &hdims, CV_HIST_ARRAY, &hranges, 1 );//创建直方图 } cvCopy( frame, image, 0 ); cvCvtColor( image, hsv, CV_BGR2HSV );//转换到hsv颜色空间 if( track_object != 0) { int _vmin = vmin, _vmax = vmax; //检查数组元素是否在两个数之间 cvInRangeS( hsv, cvScalar(0,smin,MIN(_vmin,_vmax),0), cvScalar(180,256,MAX(_vmin,_vmax),0), mask ); cvSplit( hsv, hue, 0, 0, 0 ); //分离hsv图像的三通道 if( track_object < 0 ) { float max_val = 0.f; cvSetImageROI( hue, selection ); cvSetImageROI( mask, selection ); cvCalcHist( &hue, hist, 0, mask ); cvGetMinMaxHistValue( hist, 0, &max_val, 0, 0 );//获取直方图的最大阈值 cvConvertScale( hist->bins, hist->bins, max_val ? 255. / max_val : 0., 0 );//使用线性变换转换数组 cvResetImageROI( hue ); cvResetImageROI( mask ); track_window = selection; track_object = 1; } if(center.x != 0 && center.y != 0) { HWND hActive = GetForegroundWindow(); SetForegroundWin(hWnd); //激活俄罗斯方块窗口 //模拟键盘 if(i%10 == 0 ) { int x = (center.x - center_temperater.x); int y = (center.y - center_temperater.y); if (abs(x) > abs(y) ) { if (x > 0) { keybd_event(VK_RIGHT,(BYTE)0,0,0); keybd_event(VK_RIGHT,(BYTE)0,0,0); center_temperater = center; } else if(x < 0) { keybd_event(VK_LEFT,(BYTE)0,0,0); keybd_event(VK_LEFT,(BYTE)0,0,0); center_temperater = center; } } else { if (y < 0) { keybd_event(VK_DOWN,(BYTE)0,0,0); keybd_event(VK_DOWN,(BYTE)0,0,0); center_temperater = center; } else if(y > 0) { keybd_event(VK_UP,(BYTE)0,0,0); keybd_event(VK_UP,(BYTE)0,KEYEVENTF_KEYUP,0); center_temperater = center; } } } SetForegroundWin(hActive);//激活原先保存的活动窗口 i++; //记录当前中心值 center_temp = center; //实现鼠标的移动 x = nWidth*center.x/320; y = nHeight*(240 - center.y)/240; SetCursorPos(x,y); } //求反向投影 cvCalcBackProject( &hue, backproject, hist ); cvAnd( backproject, mask, backproject, 0 );//按位与 //camshift算法应用 cvCamShift( backproject, track_window, cvTermCriteria( CV_TERMCRIT_EPS | CV_TERMCRIT_ITER, 10, 1 ), &track_comp, &track_box ); track_window = track_comp.rect;//对track_window的属性判断运动 if( image->origin ) track_box.angle = -track_box.angle; cvEllipseBox( image, track_box, CV_RGB(255,0,0), 1, CV_AA, 0 ); //对中心值赋值 center = track_box.center; } if( select_object && selection.width > 0 && selection.height > 0 ) { cvSetImageROI( image, selection ); cvXorS( image, cvScalarAll(255), image, 0 ); cvResetImageROI( image ); } cvShowImage( "CamShift", image ); c = cvWaitKey(10); if( (char) c == 27 ) break; if(((char) c) == 's') { track_object = 0; break; } } cvReleaseCapture( &capture ); cvDestroyWindow("CamShift"); return 0; }