OpenCV4学习笔记(37)——CAMShift(Continuously Adaptive MeanShift)算法

在上次的笔记《OpenCV4学习笔记(36)——基于均值迁移(MeanShift)算法和直方图反向投影的目标移动跟踪》中,整理记录了一种针对目标的移动跟踪算法,主要是基于均值迁移和直方图反向投影来实现的。而今天要记录的笔记内容,依然是一种针对目标的移动跟踪算法——CAMShift目标移动跟踪算法,这种算法是基于MeanShift目标移动跟踪算法的改进。

CAMShift算法其实就是连续自适应的MeanShift算法,是对MeanShift 算法的改进,它能够自动调节搜索窗口大小来适应目标的大小,可以跟踪视频中尺寸变化的目标。

CAMShift算法相比起MeanShift算法主要具有两个改进方向:
一是CAMShift算法会根据跟踪对象的大小变化来自动调整搜索窗口大小;
二是返回的检测目标信息更加完整,不仅包含位置信息,同时还包含了角度信息,也即返回的是目标所在的最小外接旋转矩形。

在OpenCV中提供了CamShift()这个API来实现CAMShift算法,它的返回值为一个包含位置和角度的旋转矩形,其参数列表如下:

第一个参数probImage:输入的概率分布图像,也就是反向投影图像;

第二个参数window:目标位置的初始窗口;

第三个参数criteria:迁移终止条件,TermCriteria::EPS为迁移距离小于阈值时停止迁移,TermCriteria::COUNT为迁移迭代次数达到设定的最大值时停止迁移,可以两者同时使用。

下面看一下具体的代码演示:

	VideoCapture capture;
	capture.open("D:\\opencv_c++\\opencv_tutorial\\data\\images\\balltest.mp4");
	//capture.open(0);
	if (!capture.isOpened())
	{
		return 0;
	}
	//提取第一帧图像中ROI区域并将其转化为HSV图像
	Mat first_image, first_hsv, roi_image, roi_hsv;
	capture.read(first_image);
	Rect roi_rect = selectROI("first_image", first_image, false, false);
	roi_image = first_image(roi_rect).clone();
	cvtColor(roi_image, roi_hsv, COLOR_BGR2HSV);
	//计算ROI图像的直方图
	Mat roi_hist;
	int dims = 2;
	int channels[2] = { 0,1 };
	int histSize[2] = { 180,255 };
	float ranges_h[2] = { 0,180 };
	float ranges_s[2] = { 0,255 };
	const float* histRanges[2] = { ranges_h, ranges_s };
	calcHist(&roi_hsv, 1, channels, Mat(), roi_hist, dims, histSize, histRanges);
	normalize(roi_hist, roi_hist, 0, 255, NORM_MINMAX);

	Mat frame, frame_hsv;
	vector<Point2f> centers;
	while (capture.read(frame))
	{
		flip(frame, frame, 1);
		cvtColor(frame, frame_hsv, COLOR_BGR2HSV);
		//对每一帧图像进行反向投影
		Mat backProject;
		calcBackProject(&frame_hsv, 1, channels, roi_hist, backProject, histRanges);
		//进行CamShift算法,不断更新目标窗口位置;返回值为一个包含位置和角度的旋转矩形
		RotatedRect new_rect = CamShift(backProject, roi_rect, TermCriteria(TermCriteria::COUNT | TermCriteria::EPS, 10, 1));
		// //参数probImage:输入的概率分布图像,也就是反向投影图像;
		//	//参数window:目标位置的初始窗口;
		//	//参数criteria:迁移终止条件;TermCriteria::EPS为迁移距离小于阈值时停止迁移,TermCriteria::COUNT为迁移迭代次数达到设定的最大值时停止迁移,可以两者同时使用;
		ellipse(frame, new_rect, Scalar(0, 255, 0), 1, 8);			//绘制目标区域位置

		//获取当前目标中心坐标,并存入点集中;不绘制完整目标移动轨迹,如果点集中的点数量达到规定个数,就清空点集;也就是每次只绘制最近的移动轨迹
		Point2f center = new_rect.center;	
		if (centers.size() % 20 == 0)
		{
			centers.clear();
		}
		centers.push_back(center);

		if (centers.size() > 2)		//只有当目标出现移动时,也就是目标中心坐标至少有两个点时才进行绘制
		{
			for (size_t k = 1; k < centers.size(); k++)
			{
				float  flag = float(k) / float(centers.size());			//标记当前点位于当前绘制的轨迹中的位置
				//通过标记位置的不同,来绘制不同粗细的曲线,从而使绘制出的轨迹曲线有逐渐消失的效果,类似于彗星尾巴
				if (flag < 0.2)
				{
					line(frame, centers[k - 1], centers[k], Scalar(0, 255, 0), 1, LINE_AA, 0);
				}
				else if(flag >= 0.2 && flag <= 0.4)
				{
					line(frame, centers[k - 1], centers[k], Scalar(0, 255, 0), 2, LINE_AA, 0);
				}
				else if (flag >= 0.4 && flag <= 0.6)
				{
					line(frame, centers[k - 1], centers[k], Scalar(0, 255, 0), 3, LINE_AA, 0);
				}
				else if(flag >= 0.6 && flag <= 0.8)
				{
					line(frame, centers[k - 1], centers[k], Scalar(0, 255, 0), 4, LINE_AA, 0);
				}
				else if (flag >= 0.8 && flag <= 1)
				{
					line(frame, centers[k - 1], centers[k], Scalar(0, 255, 0), 5, LINE_AA, 0);
				}
			}
		}
		imshow("frame", frame);

		char ch = waitKey(20);
		if (ch == 27)
		{
			break;
		}

	}
	capture.release();

在上述代码中,首先读取视频流,然后提取第一帧图像中我们需要的ROI区域图像并将其转化到HSV色彩空间,并且计算该ROI图像的直方图。

接着读取视频流的每一帧图像,对每一帧图像都转化到HSV色彩空间进行反向投影,得到反向投影图。并对获取到的反向投影图进行CAMShift算法计算,得到在每帧图像中检测到的目标位置,以一个旋转矩形来表示。

在进行跟踪显示的时候,我们做一点视觉上的优化处理。我们不绘制移动目标的完整移动轨迹,也就是每次只绘制最近若干帧图像中的移动轨迹,并且对于轨迹的颜色是从深到浅变化,粗细程度是从粗到细变化、直至消失。这样,就把移动轨迹变成了类似于彗星拖尾的感觉。

下面看一下演示效果截图:
OpenCV4学习笔记(37)——CAMShift(Continuously Adaptive MeanShift)算法_第1张图片
这是通过鼠标来进行ROI区域的提取。

OpenCV4学习笔记(37)——CAMShift(Continuously Adaptive MeanShift)算法_第2张图片
OpenCV4学习笔记(37)——CAMShift(Continuously Adaptive MeanShift)算法_第3张图片
OpenCV4学习笔记(37)——CAMShift(Continuously Adaptive MeanShift)算法_第4张图片
OpenCV4学习笔记(37)——CAMShift(Continuously Adaptive MeanShift)算法_第5张图片
上面4张图像是视频播放过程的截图。可以看到,随着画面中球体目标的不断运动,用于标记目标位置的椭圆也不断随之运动,而且尺寸、形状也是不断变化,并且后续的运动轨迹也是符合我们的视觉要求,形成一条类似的”彗尾”。
这样我们就实现了对视频流中目标物体的移动跟踪,并进行视觉优化显示。

好了,今天的笔记内容就整理到此,谢谢阅读~

PS:本人的注释比较杂,既有自己的心得体会也有网上查阅资料时摘抄下的知识内容,所以如有雷同,纯属我向前辈学习的致敬,如果有前辈觉得我的笔记内容侵犯了您的知识产权,请和我联系,我会将涉及到的博文内容删除,谢谢!

你可能感兴趣的:(学习笔记,计算机视觉,opencv,c++)