OpenCV学习笔记（三十六）——Kalman滤波做运动目标跟踪 OpenCV学习笔记（三十七）——实用函数、系统函数、宏core OpenCV学习笔记（三十八）——显示当前FPS OpenC

OpenCV学习笔记（三十六）——Kalman滤波做运动目标跟踪  

kalman滤波大家都很熟悉，其基本思想就是先不考虑输入信号和观测噪声的影响，得到状态变量和输出信号的估计值，再用输出信号的估计误差加权后校正状态变量的估计值，使状态变量估计误差的均方差最小。具体它的原理和实现，我想也不用我在这里费口舌，但这个理论基础必须的有，必须得知道想用kalman滤波做跟踪，必须得先建立运动模型和观察模型，不是想用就能用的。如果不能建立运动模型，也就意味着你所要面对的问题不能用kalman滤波解决。

我结合一下OpenCV自带的kalman.cpp这个例程来介绍一下如何在OpenCV中使用kalman滤波吧，OpenCV已经把Kalman滤波封装到一个类KalmanFilter中了。使用起来非常方便，但那繁多的各种矩阵还是容易让人摸不着头脑。这里要知道的一点是，想要用kalman滤波，要知道前一时刻的状态估计值x，当前的观测值y，还得建立状态方程和量测方程。有了这些就可以运用kalman滤波了。

OpenCV自带了例程里面是对一个1维点的运动跟踪，虽然这个点是在2维平面中运动，但由于它是在一个圆弧上运动，只有一个自由度，角度，所以还是1维的。还是一个匀速运动，建立匀速运动模型，设定状态变量x = [ x1, x2 ] = [ 角度，角速度 ]，则运动模型为

x1（k+1） = x1（k）+x2（k）*T

x2（k+1）= x2（k）

则状态转移方程为

x* = Ax + w

这里设计的噪声是高斯随机噪声，则量测方程为：

z = Cx + v

看了代码，对应上以上各项：

状态估计值x --> state

当前观测值z --> measurement

KalmanFilter类内成员变量transitionMatrix就是状态转移方程中的矩阵A

KalmanFilter类内成员变量measurementMatrix就是量测方程中矩阵C

Mat statePre;           //!< predicted state (x'(k)): x(k)=A*x(k-1)+B*u(k)
Mat statePost;          //!< corrected state (x(k)): x(k)=x'(k)+K(k)*(z(k)-H*x'(k))
Mat transitionMatrix;   //!< state transition matrix (A)
Mat controlMatrix;      //!< control matrix (B) (not used if there is no control)
Mat measurementMatrix;  //!< measurement matrix (H)
Mat processNoiseCov;    //!< process noise covariance matrix (Q)
Mat measurementNoiseCov;//!< measurement noise covariance matrix (R)
Mat errorCovPre;        //!< priori error estimate covariance matrix (P'(k)): P'(k)=A*P(k-1)*At + Q)*/
Mat gain;               //!< Kalman gain matrix (K(k)): K(k)=P'(k)*Ht*inv(H*P'(k)*Ht+R)
Mat errorCovPost;       //!< posteriori error estimate covariance matrix (P(k)): P(k)=(I-K(k)*H)*P'(k)

我想就不用我再翻译了吧。相信有了以上的注释，大家都能找到它们的对应项。

使用的时候，除了初始化我刚刚初始化过的transitionMatrix和measurementMatrix外，还需要初始化processNoiseCov，measurementNoiseCov和errorCovPost。

把它们初始化好之后，接下来的动作就很简单了，分两步走，第一步调用成员函数predict得到当前状态变量的估计值，第二步调用成员函数correct用观测值校正状态变量。再更新状态变量做下一次估计。听着好简单啊，代码就不上传坑爹了，在opencv2.3.1\samples\cpp\kalman.cpp中其义自见。

OpenCV学习笔记（三十七）——实用函数、系统函数、宏core

如果你想在OpenCV的基础上自己开发一些算法，我觉得core这部分内容不得不精啊，能熟练使用OpenCV的数据结构是开发的基础，又是重中之重。最近就又拌在这上头了，所以再重温一下。这次分析一下Utility and System Functions and Macros这部分，就是实用函数、系统函数和宏。

OpenCV在这部分里包含一些类似标准c++、c里面的一些东西。

系统函数有很多。有些是内存方面的操作，类似new delete之类的操作，很多都是为了防止内存溢出的函数有alignPtr、alignSize、allocate、deallocate、fastMalloc、fastFree。格式输出的函数啦format（是不是太熟悉了）。还有一些和系统相关的东西checkHardwareSupport、getNumThreads、getThreadNum、getTickCount、getTickFrequency、getCPUTickCount、setNumThreads。还有一些比较有意思的东西，比如功能类似#ifdef #endf这样的开关，也有函数setUseOptimized实现 ，相关的还有useOptimized函数。还有一个不懂的函数saturate_cast（求指点）等待各位补充。

实用函数很接近里的一些函数，很有意思，可以方便大家开发，有计算向量角度的函数fastAtan2、计算立方根的函数cubeRoot、向上取整函数cvCeil、向下取整函数cvFloor、四舍五入函数cvRound。注意cvCeil、cvFloor、cvRound和大家常用的ceil、floor、round函数略有不同，标准库函数返回值并不是int型的变量，必要时需强制转换，而OpenCV里面的取整函数返回值为int型。还有一些类似matlab里面的函数，比如cvIsInf判断自变量是否无穷大，cvIsNaN判断自变量是否Not a Number。

宏也很多，这些宏在标准c++、c里也有出现，CV_Assert是个断言，不知道和assert（）有什么区别。error也是一种异常，还有Exception类这个异常类。

有了这些东西，开发起来有没有更顺手一些呢~~随着使用的深入，我会再补充一些上诉东西的使用心得

OpenCV学习笔记（三十八）——显示当前FPS 

最近做一个东西，需要实时显示，于是想在屏幕显示FPS。FPS是Frame Per Second的缩写，中文意思是每秒帧数，即帧速。FPS是测量用于保存、显示动态视频的信息数量。通俗来讲就是指动画或视频的画面数。

这就需要我在系统函数一讲里提到的getTickCount、getTickFrequency这两个函数了。前一个函数返回tick次数，后一个函数返回每秒tick次数，它们的比就是时间咯。

如果想得到一段程序的运行时间，可以套用下面的例子：

double t = (double)getTickCount();
// do something ...
t = ((double)getTickCount() - t)/getTickFrequency();

以上这段程序在测试算法的时间消耗在哪里是很好的测试程序。我这里只需要稍微改写一下这个例子，得到每帧之间的时间，再用我之前在绘图函数那节讲过的putText把FPS显示到屏幕上咯。

不过有个问题还是让我感觉不舒服，就是用它做的定时不是很准，感觉时间比实际的快一些。测试较少，也不敢乱讲，欢迎大家测试并发表意见

简单的很，源程序下载地址：http://download.csdn.net/detail/yang_xian521/3957523

OpenCV学习笔记（三十九）——再谈OpenCV的数据结构，Mat是如此强大 

还是一个实时性要求的程序最近把我弄得有些上火。为了提高代码运行的速度，我也是又新啃东西学了。由于我代码里使用了vector，网上搜来搜去有人说vector慢，又有人说STL里的sort排序速度是我等常人不能企及的，有人说要少resize，这个重新分配内存非常耗时，又有人说要用swap来彻底删除不要的内存空间。带着这么多疑问，我实在不知道我程序慢的原因。于是乎阅读了《Effective STL》，这书挺深的，粗浅读读，先把自己急着弄清楚的以上各问题弄懂。再看程序，做了些优化，速度还是提高不多，头开始大了

我的解决办法是用我上一讲提到的getTickCount、getTickFrequency函数分析我代码的运行时间，遇到的问题是下面这句非常耗时

vectorint>>test = vectorint>>(10000, vector<int>(10, 0));

10000*10只是我要开辟的空间，不知道怎么用reserve函数开辟， 这句运行了大概100ms。今天再看这段代码，发现我太傻了，何必要用vector>呢，完全可以用OpenCV自带的Mat来解决啊，于是把上面这句改写如下

Mat test1 = Mat_<int>::zeros(10000, 10);

结果只需要0.2ms！！！同志们，STL在Mat面前都显得如此无力啊，有木有啊！我决定花费几天的时间再好好读读reference的core的部分，来吃透OpenCV的数据结构。而且感觉Mat跟STL的兼容性很好，也有push_back，pop_back这样的操作，所以啊，同志们，千万别把Mat只当做是显示图片用的，它是很强大的数据结构，用了它，可以事半功倍，谁用谁知道！~~

OpenCV学习笔记（四十）——再谈OpenCV数据结构Mat详解

我记得开始接触OpenCV就是因为一个算法里面需要2维动态数组，那时候看core这部分也算是走马观花吧，随着使用的增多，对Mat这个结构越来越喜爱，也觉得有必要温故而知新，于是这次再看看Mat。

Mat最大的优势跟STL很相似，都是对内存进行动态的管理，不需要之前用户手动的管理内存，对于一些大型的开发，有时候投入的lpImage内存管理的时间甚至比关注算法实现的时间还要多，这显然是不合适的。除了有些嵌入式场合必须使用c语言，我任何时候都强烈像大家推荐Mat。

Mat这个类有两部分数据。一个是matrix header，这部分的大小是固定的，包含矩阵的大小，存储的方式，矩阵存储的地址等等。另一个部分是一个指向矩阵包含像素值的指针。

Mat A, C; // creates just the header parts
A = imread(argv[1], CV_LOAD_IMAGE_COLOR); // here we’ll know the method used (allocate matrix)
Mat B(A); // Use the copy constructor
C = A; // Assignment operator

需要注意的是，copy这样的操作只是copy了矩阵的matrix header和那个指针，而不是矩阵的本身，也就意味着两个矩阵的数据指针指向的是同一个地址，需要开发者格外注意。比如上面这段程序，A、B、C指向的是同一块数据，他们的header不同，但对于A的操作同样也影响着B、C的结果。刚刚提高了内存自动释放的问题，那么当我不再使用A的时候就把内存释放了，那时候再操作B和C岂不是很危险。不用担心，OpenCV的大神为我们已经考虑了这个问题，是在最后一个Mat不再使用的时候才会释放内存，咱们就放心用就行了。

如果想建立互不影响的Mat，是真正的复制操作，需要使用函数clone()或者copyTo()。

说到数据的存储，这一直就是一个值得关注的问题，Mat_对应的是CV_8U，Mat_对应的是CV_8U，Mat_对应的是CV_8S，Mat_对应的是CV_32S，Mat_对应的是CV_32F，Mat_对应的是CV_64F，对应的数据深度如下：

• CV_8U - 8-bit unsigned integers ( 0..255 )

• CV_8S - 8-bit signed integers ( -128..127 )

• CV_16U - 16-bit unsigned integers ( 0..65535 )

• CV_16S - 16-bit signed integers ( -32768..32767 )

• CV_32S - 32-bit signed integers ( -2147483648..2147483647 )

• CV_32F - 32-bit floating-point numbers ( -FLT_MAX..FLT_MAX, INF, NAN )

• CV_64F - 64-bit floating-point numbers ( -DBL_MAX..DBL_MAX, INF, NAN )

这里还需要注意一个问题，很多OpenCV的函数支持的数据深度只有8位和32位的，所以要少使用CV_64F，但是vs的编译器又会把float数据自动变成double型，有些不太爽。

还有个需要注意的问题，就是流操作符<<对于Mat的操作，仅限于Mat是2维的情况。

还有必要说一下Mat的存储是逐行的存储的。

再说说Mat的创建，方式有两种，罗列一下：1.调用create（行，列，类型）2.Mat（行，列，类型（值））。例如：

// make a 7x7 complex matrix filled with 1+3j.
Mat M(7,7,CV_32FC2,Scalar(1,3));
// and now turn M to a 100x60 15-channel 8-bit matrix.
// The old content will be deallocated
M.create(100,60,CV_8UC(15));

要是想创建更高维的矩阵，要写成下面的方式

// create a 100x100x100 8-bit array
int sz[] = {100, 100, 100};
Mat bigCube(3, sz, CV_8U, Scalar::all(0));

对于矩阵的行操作或者列操作，方式如下：（注意对列操作时要新建一个Mat，我想应该跟列地址不连续有关）

// add the 5-th row, multiplied by 3 to the 3rd row
M.row(3) = M.row(3) + M.row(5)*3;
// now copy the 7-th column to the 1-st column
// M.col(1) = M.col(7); // this will not work
Mat M1 = M.col(1);
M.col(7).copyTo(M1);

下面的东西就比较狂暴了，对于外来的数据，比如你从别的地方接受了一幅图片，但可以不是Mat结构的，而只有一个数据的指针，看看接下来的代码是如何应付的，重点哦，亲

void process_video_frame(const unsigned char* pixels,
int width, int height, int step)
{
Mat img(height, width, CV_8UC3, pixels, step);
GaussianBlur(img, img, Size(7,7), 1.5, 1.5);
}

亲，有木有很简单！！！

还有一种快速初始化数据的办法，如下：

double m[3][3] = {{a, b, c}, {d, e, f}, {g, h, i}};
Mat M = Mat(3, 3, CV_64F, m).inv();

也可以把原来的IplImage格式的图片直接用Mat（IplImage）的方式转成Mat结构，也可以像Matlab一样调用zeros()、ones()、eye()这样的函数进行初始化。

如果你需要提前释放数据的指针和内存，可以调用release()。

对于数据的获取，当然还是调用at(3, 3)这样的格式为最佳。其他的方法我甚少尝试，就不敢介绍了。

最后要提的一点是关于Mat的表达式，这个也非常多，加减乘除，转置求逆，我怎么记得我以前介绍过呢。那就不多说啦~

from: http://blog.csdn.net/yang_xian521/article/category/910716