目标跟踪Camshift算法（Opencv实现）

#include "opencv2/video/tracking.hpp"

#include "opencv2/imgproc/imgproc.hpp"
#include "opencv2/highgui/highgui.hpp"
#include <iostream>
#include <ctype.h>


using namespace cv;
using namespace std;

Mat image;
bool backprojMode = false; //表示知否进入反向投影，true进入反向投影
bool selectObject = false;
int trackObject = 0; //跟踪目标数目
bool showHist = true;//是否显示直方图
Point origin;//鼠标第一次单击时的位置
Rect selection;//鼠标选择的矩形框
int vmin = 10, vmax = 256, smin = 30;
static void onMouse( int event, int x, int y, int, void* )
{
if( selectObject )
{
selection.x = MIN(x, origin.x);
selection.y = MIN(y, origin.y);
selection.width = std::abs(x - origin.x);
selection.height = std::abs(y - origin.y);


selection &= Rect(0, 0, image.cols, image.rows);
}

switch( event )
{
case CV_EVENT_LBUTTONDOWN://鼠标左键按下，选择跟踪物体
origin = Point(x,y);
selection = Rect(x,y,0,0);
selectObject = true;
break;
case CV_EVENT_LBUTTONUP://左键松开，完成选择跟踪物体
selectObject = false;
if( selection.width > 0 && selection.height > 0 )
trackObject = -1;
break;
}
}

static void ShowHelpText()
{

cout << "\n\n\t操作说明： \n"
"\t\t用鼠标框选对象来初始化跟踪\n"
"\t\tESC - 退出程序\n"
"\t\tc - 停止追踪\n"
"\t\tb - 开/关-投影视图\n"
"\t\th - 显示/隐藏-对象直方图\n"
"\t\tp - 暂停视频\n";
}

const char* keys =
{
"{1|  | 0 | camera number}"
};

int main( int argc, const char** argv )
{
ShowHelpText();
VideoCapture cap;
Rect trackWindow;
int hsize = 16;
float hranges[] = {0,180};
const float* phranges = hranges;

cap.open(0);

if( !cap.isOpened() )
{
cout << "不能初始化摄像头\n";
}

namedWindow( "Histogram", 0 );
namedWindow( "CamShift Demo", 0 );
setMouseCallback( "CamShift Demo", onMouse, 0 );
createTrackbar( "Vmin", "CamShift Demo", &vmin, 256, 0 );
createTrackbar( "Vmax", "CamShift Demo", &vmax, 256, 0 );
createTrackbar( "Smin", "CamShift Demo", &smin, 256, 0 );

Mat frame, hsv, hue, mask, hist, histimg = Mat::zeros(200, 320, CV_8UC3), backproj;
bool paused = false;


for(;;)
{
if( !paused )
{
cap >> frame;
if( frame.empty() )
break;
}


frame.copyTo(image);


if( !paused )
{
cvtColor(image, hsv, COLOR_BGR2HSV);


if( trackObject )
{
int _vmin = vmin, _vmax = vmax;

                               /*inRange()检查元素的取值范围是否在两个矩阵的像素取值之间，这里利用好了hsv的3个通道，h:0-180,s:smin-256,v：MIN(_vmin,_vmax)-

                                          MAX(_vmin, _vmax)*/

inRange(hsv, Scalar(0, smin, MIN(_vmin,_vmax)),
Scalar(180, 256, MAX(_vmin, _vmax)), mask);
int ch[] = {0, 0};
hue.create(hsv.size(), hsv.depth());
mixChannels(&hsv, 1, &hue, 1, ch, 1);


if( trackObject < 0 )
{
Mat roi(hue, selection), maskroi(mask, selection);
calcHist(&roi, 1, 0, maskroi, hist, 1, &hsize, &phranges);//计算直方图
normalize(hist, hist, 0, 255, CV_MINMAX);


trackWindow = selection;
trackObject = 1;


histimg = Scalar::all(0);
int binW = histimg.cols / hsize;
Mat buf(1, hsize, CV_8UC3);
for( int i = 0; i < hsize; i++ )
buf.at<Vec3b>(i) = Vec3b(saturate_cast<uchar>(i*180./hsize), 255, 255);
cvtColor(buf, buf, CV_HSV2BGR);

                                       //绘制直方图
for( int i = 0; i < hsize; i++ )
{
int val = saturate_cast<int>(hist.at<float>(i)*histimg.rows/255);
rectangle( histimg, Point(i*binW,histimg.rows),
Point((i+1)*binW,histimg.rows - val),
Scalar(buf.at<Vec3b>(i)), -1, 8 );
}
}


calcBackProject(&hue, 1, 0, hist, backproj, &phranges);//计算反向投影
backproj &= mask;
RotatedRect trackBox = CamShift(backproj, trackWindow,
TermCriteria( CV_TERMCRIT_EPS | CV_TERMCRIT_ITER, 10, 1 ));
if( trackWindow.area() <= 1 )
{
int cols = backproj.cols, rows = backproj.rows, r = (MIN(cols, rows) + 5)/6;
trackWindow = Rect(trackWindow.x - r, trackWindow.y - r,
trackWindow.x + r, trackWindow.y + r) &
Rect(0, 0, cols, rows);
}


if( backprojMode )
cvtColor( backproj, image, COLOR_GRAY2BGR );
ellipse( image, trackBox, Scalar(0,0,255), 3, CV_AA );
}
}
else if( trackObject < 0 )
paused = false;


if( selectObject && selection.width > 0 && selection.height > 0 )
{
Mat roi(image, selection);
bitwise_not(roi, roi);
}


imshow( "CamShift Demo", image );
imshow( "Histogram", histimg );


char c = (char)waitKey(10);
if( c == 27 )
break;
switch(c)
{
case 'b':
backprojMode = !backprojMode;
break;
case 'c':
trackObject = 0;
histimg = Scalar::all(0);
break;
case 'h':
showHist = !showHist;
if( !showHist )
destroyWindow( "Histogram" );
else
namedWindow( "Histogram", 1 );
break;
case 'p':
paused = !paused;
break;
default:
;
}
}


return 0;
}

程序流程：

1、打开摄像头

2、显示帮助信息：

3、鼠标响应：当鼠标左键按下时，保存此时的坐标origion= Pont(x,y)，并且

   selectObject=1;执行if里面的语句，selection保存鼠标选择区域，当鼠

   标松开时，selectObject=0，trackObject=-1。

4、如果没有按下暂停键”c”,图像由BGR转化为HSV，inRange()将HSV中的

   (0-180,30-256,10-256)保存在mask中,分离H通道并保存在hue中。

5、如果鼠标选择区域松开后，根据鼠标的选择区域计算直方图并且归一化到

   0-255,将selection区域保存在trackWindow中，且track Object=1。

6、绘制目标区域的方向投影的直方图：创建buf（1*16的3通道矩阵，并赋值

   为（0-168，255,255），以这个渐变的颜色作为直方图的色彩显示。）

7、计算反向投影,，就是首先计算图像中的某一特征，然后根据特征寻找图像中

   存在的特征。

8、目标跟踪：CamShift函数返回一个有方向角度的矩阵。该函数的实现首先是

   利用meanshift算法计算出要跟踪的中心，然后调整初始窗口的大小位置和方

   向角度。在camshift内部调用了meanshift算法计算目标的重心。

9、如果跟踪的矩形框的面积小于1，重新定义跟踪窗口，否则保持不变

10、转化为BGR，并绘制出椭圆形状，如果继续跟踪，转到步奏8。

 

函数解释：

1、inRange(hsv,Scalar(0,smin,MIN(_vmin,-vmax)),Scalar(180,256,MAX(_vmin,-vm

   ax)),mask):检查元素的取值范围是否在另两个矩阵的元素取值之间，返回ma

   sk验证矩阵。

2、mixChannels(&hsv,1,&hue,1.ch,1):抽取 hsv图像中的通道0

   &hsv:一系列输入图像的数组， 被拷贝的通道的来源

      1：输入数组中图像的数目

      &hue:一系列目的图像的数组， 储存拷贝的通道

      1:目的数组中图像的数目

      ch[] = {0,0}:通道索引对的数组，指示如何将输入图像的某一通道拷贝到目的

   图像的某一通道。在这里，&hsv图像的Hue(0) 通道被拷贝到&hue图像(单

   通道)的0 通道。

       1:通道索引对德数目

3、roi(hue,selection):设置hue中的感兴趣区域，如果设置了感兴趣区域，那么在使

用OpenCV函数的时候，只会对ROI区域操作，其它区域忽略。

4、maskroi(mask,selection):掩码

5、calcHist(&roi,1,0,maskroi,hist,1,&hist,&phranges):计算直方图

&roi：输入图像

1：第一个参数中存放了多少张图像

0：需要统计的通道索引

maskroi：输入图像的mask，可选的操作掩码，这里的非零掩码元素用于标记出统计直方图的数组元素数据

hist：，输出的目标直方图

1：需要计算的直方图的维度

&hist：存放每个维度的直方图尺寸的数组

&phranges：每一维数取值范围。

6、normalize(hist,hist,0,255,CV_MINMAX):归一化

7、Rectangle(histimg,Point(i*binW,histimg.rows),Point((i+1)*binW),histimg.rows-val),S

calar(buf.at<Vec3b>(i),-1,8);

C++: void rectangle(Mat& img,Point pt1, Pointpt2, const Scalar&color, intthickness=1,intlineType=8, intshift=0)

C++: void rectangle(Mat& img,Rect rec, const Scalar&color, intthickness=1, intlineType=8,intshift=0 )

img – 画矩形的对象 

pt1 – 矩形的一个顶点，左上角的.

pt2 – 另一个顶点，右下角的. 

rec – 确定矩形的另一种方式，给左上角坐标和长宽 

color – 指定矩形的颜色或亮度(灰度图像)

thickness – 矩形边框的粗细. 负值（like CV_FILLED）表示要画一个填充的矩形 

lineType – 边框线型. 

8 (or 0) - 8-connected line（8邻接)连接线。4 - 4-connected line(4邻接)连接线。CV_AA - antialiased 线条。

8、calcBackProject(&hue,1,0,hist,backProj,&phranges)

Hue：输入图像

1：输入图像的个数

0：需要统计的通道索引

Hist：输入的直方图

backProj：目标反向投影阵列，必须为单通道

Phranges：每一个维度数组的边界

9、CamShift(backProj,trackWindow,TerCriteria(CV_TERMCRIT_EPS | 

CV_TERMCRIT_ITER,10,1))

backProj:输入图像直方图的反向投影图

trackWindow:跟踪目标的初始位置矩形框

TerCriteria(CV_TERMCRIT_EPS | CV_TERMCRIT_ITER,10,1):算法结束条件