OpenCV学习笔记(三十六)——Kalman滤波做运动目标跟踪 OpenCV学习笔记(三十七)——实用函数、系统函数、宏core OpenCV学习笔记(三十八)——显示当前FPS OpenC

OpenCV学习笔记(三十六)——Kalman滤波做运动目标跟踪  

kalman滤波大家都很熟悉,其基本思想就是先不考虑输入信号和观测噪声的影响,得到状态变量和输出信号的估计值,再用输出信号的估计误差加权后校正状态变量的估计值,使状态变量估计误差的均方差最小。具体它的原理和实现,我想也不用我在这里费口舌,但这个理论基础必须的有,必须得知道想用kalman滤波做跟踪,必须得先建立运动模型和观察模型,不是想用就能用的。如果不能建立运动模型,也就意味着你所要面对的问题不能用kalman滤波解决。

我结合一下OpenCV自带的kalman.cpp这个例程来介绍一下如何在OpenCV中使用kalman滤波吧,OpenCV已经把Kalman滤波封装到一个类KalmanFilter中了。使用起来非常方便,但那繁多的各种矩阵还是容易让人摸不着头脑。这里要知道的一点是,想要用kalman滤波,要知道前一时刻的状态估计值x,当前的观测值y,还得建立状态方程和量测方程。有了这些就可以运用kalman滤波了。

OpenCV自带了例程里面是对一个1维点的运动跟踪,虽然这个点是在2维平面中运动,但由于它是在一个圆弧上运动,只有一个自由度,角度,所以还是1维的。还是一个匀速运动,建立匀速运动模型,设定状态变量x = [ x1, x2 ] = [ 角度,角速度 ],则运动模型为

x1(k+1) = x1(k)+x2(k)*T

x2(k+1)= x2(k)

则状态转移方程为

x* = Ax + w

这里设计的噪声是高斯随机噪声,则量测方程为:

z = Cx + v

看了代码,对应上以上各项:

状态估计值x --> state

当前观测值z --> measurement

KalmanFilter类内成员变量transitionMatrix就是状态转移方程中的矩阵A

KalmanFilter类内成员变量measurementMatrix就是量测方程中矩阵C

[cpp] view plain copy
  1. Mat statePre;           //!< predicted state (x'(k)): x(k)=A*x(k-1)+B*u(k)  
  2. Mat statePost;          //!< corrected state (x(k)): x(k)=x'(k)+K(k)*(z(k)-H*x'(k))  
  3. Mat transitionMatrix;   //!< state transition matrix (A)  
  4. Mat controlMatrix;      //!< control matrix (B) (not used if there is no control)  
  5. Mat measurementMatrix;  //!< measurement matrix (H)  
  6. Mat processNoiseCov;    //!< process noise covariance matrix (Q)  
  7. Mat measurementNoiseCov;//!< measurement noise covariance matrix (R)  
  8. Mat errorCovPre;        //!< priori error estimate covariance matrix (P'(k)): P'(k)=A*P(k-1)*At + Q)*/  
  9. Mat gain;               //!< Kalman gain matrix (K(k)): K(k)=P'(k)*Ht*inv(H*P'(k)*Ht+R)  
  10. Mat errorCovPost;       //!< posteriori error estimate covariance matrix (P(k)): P(k)=(I-K(k)*H)*P'(k)  

我想就不用我再翻译了吧。相信有了以上的注释,大家都能找到它们的对应项。

使用的时候,除了初始化我刚刚初始化过的transitionMatrix和measurementMatrix外,还需要初始化processNoiseCov,measurementNoiseCov和errorCovPost

把它们初始化好之后,接下来的动作就很简单了,分两步走,第一步调用成员函数predict得到当前状态变量的估计值,第二步调用成员函数correct用观测值校正状态变量。再更新状态变量做下一次估计。听着好简单啊,代码就不上传坑爹了,在opencv2.3.1\samples\cpp\kalman.cpp中其义自见。



OpenCV学习笔记(三十七)——实用函数、系统函数、宏core

如果你想在OpenCV的基础上自己开发一些算法,我觉得core这部分内容不得不精啊,能熟练使用OpenCV的数据结构是开发的基础,又是重中之重。最近就又拌在这上头了,所以再重温一下。这次分析一下Utility and System Functions and Macros这部分,就是实用函数、系统函数和宏。

OpenCV在这部分里包含一些类似标准c++、c里面的一些东西。

系统函数有很多。有些是内存方面的操作,类似new delete之类的操作,很多都是为了防止内存溢出的函数有alignPtr、alignSize、allocate、deallocate、fastMalloc、fastFree。格式输出的函数啦format(是不是太熟悉了)。还有一些和系统相关的东西checkHardwareSupport、getNumThreads、getThreadNum、getTickCount、getTickFrequency、getCPUTickCount、setNumThreads。还有一些比较有意思的东西,比如功能类似#ifdef #endf这样的开关,也有函数setUseOptimized实现 ,相关的还有useOptimized函数。还有一个不懂的函数saturate_cast(求指点)等待各位补充。

实用函数很接近里的一些函数,很有意思,可以方便大家开发,有计算向量角度的函数fastAtan2、计算立方根的函数cubeRoot、向上取整函数cvCeil、向下取整函数cvFloor、四舍五入函数cvRound。注意cvCeil、cvFloor、cvRound和大家常用的ceil、floor、round函数略有不同,标准库函数返回值并不是int型的变量,必要时需强制转换,而OpenCV里面的取整函数返回值为int型。还有一些类似matlab里面的函数,比如cvIsInf判断自变量是否无穷大,cvIsNaN判断自变量是否Not a Number。

宏也很多,这些宏在标准c++、c里也有出现,CV_Assert是个断言,不知道和assert()有什么区别。error也是一种异常,还有Exception类这个异常类。

有了这些东西,开发起来有没有更顺手一些呢~~随着使用的深入,我会再补充一些上诉东西的使用心得



OpenCV学习笔记(三十八)——显示当前FPS 

最近做一个东西,需要实时显示,于是想在屏幕显示FPS。FPS是Frame Per Second的缩写,中文意思是每秒帧数,即帧速。FPS是测量用于保存、显示动态视频的信息数量。通俗来讲就是指动画或视频的画面数。

这就需要我在系统函数一讲里提到的getTickCount、getTickFrequency这两个函数了。前一个函数返回tick次数,后一个函数返回每秒tick次数,它们的比就是时间咯。

如果想得到一段程序的运行时间,可以套用下面的例子:

[cpp] view plain copy
  1. double t = (double)getTickCount();  
  2. // do something ...  
  3. t = ((double)getTickCount() - t)/getTickFrequency();  

以上这段程序在测试算法的时间消耗在哪里是很好的测试程序。我这里只需要稍微改写一下这个例子,得到每帧之间的时间,再用我之前在绘图函数那节讲过的putText把FPS显示到屏幕上咯。

不过有个问题还是让我感觉不舒服,就是用它做的定时不是很准,感觉时间比实际的快一些。测试较少,也不敢乱讲,欢迎大家测试并发表意见

简单的很,源程序下载地址:http://download.csdn.net/detail/yang_xian521/3957523



OpenCV学习笔记(三十九)——再谈OpenCV的数据结构,Mat是如此强大 

还是一个实时性要求的程序最近把我弄得有些上火。为了提高代码运行的速度,我也是又新啃东西学了。由于我代码里使用了vector,网上搜来搜去有人说vector慢,又有人说STL里的sort排序速度是我等常人不能企及的,有人说要少resize,这个重新分配内存非常耗时,又有人说要用swap来彻底删除不要的内存空间。带着这么多疑问,我实在不知道我程序慢的原因。于是乎阅读了《Effective STL》,这书挺深的,粗浅读读,先把自己急着弄清楚的以上各问题弄懂。再看程序,做了些优化,速度还是提高不多,头开始大了

我的解决办法是用我上一讲提到的getTickCount、getTickFrequency函数分析我代码的运行时间,遇到的问题是下面这句非常耗时

[cpp] view plain copy
  1. vectorint>>test = vectorint>>(10000, vector<int>(10, 0));  

10000*10只是我要开辟的空间,不知道怎么用reserve函数开辟, 这句运行了大概100ms。今天再看这段代码,发现我太傻了,何必要用vector>呢,完全可以用OpenCV自带的Mat来解决啊,于是把上面这句改写如下
[cpp] view plain copy
  1. Mat test1 = Mat_<int>::zeros(10000, 10);  

结果只需要0.2ms!!!同志们,STL在Mat面前都显得如此无力啊,有木有啊!我决定花费几天的时间再好好读读reference的core的部分,来吃透OpenCV的数据结构。而且感觉Mat跟STL的兼容性很好,也有push_back,pop_back这样的操作,所以啊,同志们,千万别把Mat只当做是显示图片用的,它是很强大的数据结构,用了它,可以事半功倍,谁用谁知道!~~


OpenCV学习笔记(四十)——再谈OpenCV数据结构Mat详解

我记得开始接触OpenCV就是因为一个算法里面需要2维动态数组,那时候看core这部分也算是走马观花吧,随着使用的增多,对Mat这个结构越来越喜爱,也觉得有必要温故而知新,于是这次再看看Mat。

Mat最大的优势跟STL很相似,都是对内存进行动态的管理,不需要之前用户手动的管理内存,对于一些大型的开发,有时候投入的lpImage内存管理的时间甚至比关注算法实现的时间还要多,这显然是不合适的。除了有些嵌入式场合必须使用c语言,我任何时候都强烈像大家推荐Mat。

Mat这个类有两部分数据。一个是matrix header,这部分的大小是固定的,包含矩阵的大小,存储的方式,矩阵存储的地址等等。另一个部分是一个指向矩阵包含像素值的指针

[cpp] view plain copy
  1. Mat A, C; // creates just the header parts  
  2. A = imread(argv[1], CV_LOAD_IMAGE_COLOR); // here we’ll know the method used (allocate matrix)  
  3. Mat B(A); // Use the copy constructor  
  4. C = A; // Assignment operator  

需要注意的是,copy这样的操作只是copy了矩阵的matrix header和那个指针,而不是矩阵的本身,也就意味着两个矩阵的数据指针指向的是同一个地址,需要开发者格外注意。比如上面这段程序,A、B、C指向的是同一块数据,他们的header不同,但对于A的操作同样也影响着B、C的结果。刚刚提高了内存自动释放的问题,那么当我不再使用A的时候就把内存释放了,那时候再操作B和C岂不是很危险。不用担心,OpenCV的大神为我们已经考虑了这个问题,是在最后一个Mat不再使用的时候才会释放内存,咱们就放心用就行了。

如果想建立互不影响的Mat,是真正的复制操作,需要使用函数clone()或者copyTo()

说到数据的存储,这一直就是一个值得关注的问题,Mat_对应的是CV_8U,Mat_对应的是CV_8U,Mat_对应的是CV_8S,Mat_对应的是CV_32S,Mat_对应的是CV_32F,Mat_对应的是CV_64F,对应的数据深度如下:

• CV_8U - 8-bit unsigned integers ( 0..255 )

• CV_8S - 8-bit signed integers ( -128..127 )

• CV_16U - 16-bit unsigned integers ( 0..65535 )

• CV_16S - 16-bit signed integers ( -32768..32767 )

• CV_32S - 32-bit signed integers ( -2147483648..2147483647 )

• CV_32F - 32-bit floating-point numbers ( -FLT_MAX..FLT_MAX, INF, NAN )

• CV_64F - 64-bit floating-point numbers ( -DBL_MAX..DBL_MAX, INF, NAN )

这里还需要注意一个问题,很多OpenCV的函数支持的数据深度只有8位和32位的,所以要少使用CV_64F,但是vs的编译器又会把float数据自动变成double型,有些不太爽。

还有个需要注意的问题,就是流操作符<<对于Mat的操作,仅限于Mat是2维的情况。

还有必要说一下Mat的存储是逐行的存储的。

再说说Mat的创建,方式有两种,罗列一下:1.调用create(行,列,类型)2.Mat(行,列,类型(值))。例如:

[cpp] view plain copy
  1. // make a 7x7 complex matrix filled with 1+3j.  
  2. Mat M(7,7,CV_32FC2,Scalar(1,3));  
  3. // and now turn M to a 100x60 15-channel 8-bit matrix.  
  4. // The old content will be deallocated  
  5. M.create(100,60,CV_8UC(15));  

要是想创建更高维的矩阵,要写成下面的方式
[cpp] view plain copy
  1. // create a 100x100x100 8-bit array  
  2. int sz[] = {100, 100, 100};  
  3. Mat bigCube(3, sz, CV_8U, Scalar::all(0));  

对于矩阵的行操作或者列操作,方式如下:(注意对列操作时要新建一个Mat,我想应该跟列地址不连续有关
[cpp] view plain copy
  1. // add the 5-th row, multiplied by 3 to the 3rd row  
  2. M.row(3) = M.row(3) + M.row(5)*3;  
  3. // now copy the 7-th column to the 1-st column  
  4. // M.col(1) = M.col(7); // this will not work  
  5. Mat M1 = M.col(1);  
  6. M.col(7).copyTo(M1);  

下面的东西就比较狂暴了,对于外来的数据,比如你从别的地方接受了一幅图片,但可以不是Mat结构的,而只有一个数据的指针,看看接下来的代码是如何应付的,重点哦,亲
[cpp] view plain copy
  1. void process_video_frame(const unsigned char* pixels,  
  2. int width, int height, int step)  
  3. {  
  4. Mat img(height, width, CV_8UC3, pixels, step);  
  5. GaussianBlur(img, img, Size(7,7), 1.5, 1.5);  
  6. }  

亲,有木有很简单!!!

还有一种快速初始化数据的办法,如下:

[cpp] view plain copy
  1. double m[3][3] = {{a, b, c}, {d, e, f}, {g, h, i}};  
  2. Mat M = Mat(3, 3, CV_64F, m).inv();  

也可以把原来的IplImage格式的图片直接用Mat(IplImage)的方式转成Mat结构,也可以像Matlab一样调用zeros()、ones()、eye()这样的函数进行初始化。

如果你需要提前释放数据的指针和内存,可以调用release()。

对于数据的获取,当然还是调用at(3, 3)这样的格式为最佳。其他的方法我甚少尝试,就不敢介绍了。

最后要提的一点是关于Mat的表达式,这个也非常多,加减乘除,转置求逆,我怎么记得我以前介绍过呢。那就不多说啦~


from: http://blog.csdn.net/yang_xian521/article/category/910716

你可能感兴趣的:(OpenCV,OpenCV,学习笔记,计算机视觉,图像处理)