光流法进行运动物体的追踪

1.光流的概念是Gibson在1950年首先提出来的。它是空间运动物体在观察成像平面上的像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。一般而言，光流是由于场景中前景目标本身的移动、相机的运动，或者两者的共同运动所产生的。其计算方法可以分为三类：

（1）基于区域或者基于特征的匹配方法；

（2）基于频域的方法；

（3）基于梯度的方法；

光流是空间运动物体在观测成像平面上的像素运动的“瞬时速度”。光流的研究是利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的“运动”。研究光流场的目的就是为了从图片序列中近似得到不能直接得到的运动场。

2.光流法的前提假设：

（1）相邻帧之间的亮度恒定；

（2）相邻视频帧的取帧时间连续，或者，相邻帧之间物体的运动比较“微小”；

（3）保持空间一致性；即，同一子图像的像素点具有相同的运动

运动场，其实就是物体在三维真实世界中的运动；

光流场，是运动场在二维图像平面上的投影。

如上图所示，H 中的像素点 (x,y) 在 I 中的移动到了 (x+u,y+v) 的位置，偏移量为 (u,v) 。

3.光流法用于目标跟踪的原理：

（1）对一个连续的视频帧序列进行处理；

（2）针对每一个视频序列，利用一定的目标检测方法，检测可能出现的前景目标；

（3）如果某一帧出现了前景目标，找到其具有代表性的关键特征点（可以随机产生，也可以利用角点来做特征点）；

（4）对之后的任意两个相邻视频帧而言，寻找上一帧中出现的关键特征点在当前帧中的最佳位置，从而得到前景目标在当前帧中的位置坐标；

（5）如此迭代进行，便可实现目标的跟踪；

4.代码

#include
#include
#include
#include
#include
#include

using namespace std;
using namespace cv；

//-----------------------------------【全局函数声明】-----------------------------------------
//  描述：声明全局函数
//-------------------------------------------------------------------------------------------------
void tracking(Mat &frame, Mat &output);
bool addNewPoints();
bool acceptTrackedPoint(int i);

//-----------------------------------【全局变量声明】-----------------------------------------
//  描述：声明全局变量
//-------------------------------------------------------------------------------------------------
string window_name = "optical flow tracking";
Mat gray; // 当前图片
Mat gray_prev; // 预测图片
vector points[2]; // point0为特征点的原来位置，point1为特征点的新位置
vector initial; // 初始化跟踪点的位置
vector features; // 检测的特征
int maxCount = 500; // 检测的最大特征数
double qLevel = 0.01; // 特征检测的等级
double minDist = 10.0; // 两特征点之间的最小距离
vector status; // 跟踪特征的状态，特征的流发现为1，否则为0
vector err;

static void help()
{

}

int main()
{

 Mat frame;
 Mat result;

 VideoCapture capture("1.avi");
 

 help();
 if (capture.isOpened()) // 摄像头读取文件开关
 {
  while (true)
  {
   capture >> frame;

   if (!frame.empty())
   {
    tracking(frame, result);
   }
   else
   {
    printf(" --(!) No captured frame -- Break!");
    break;
   }

   int c = waitKey(50);
   if ((char)c == 27)
   {
    break;
   }
  }
 }
 return 0;
}

//-------------------------------------------------------------------------------------------------
// function: tracking
// brief: 跟踪
// parameter: frame 输入的视频帧
//     output 有跟踪结果的视频帧
// return: void
//-------------------------------------------------------------------------------------------------
void tracking(Mat &frame, Mat &output)
{

 //此句代码的OpenCV3版为：
 cvtColor(frame, gray, COLOR_BGR2GRAY);
 
 frame.copyTo(output);

 // 添加特征点
 if (addNewPoints())
 {
  goodFeaturesToTrack(gray, features, maxCount, qLevel, minDist);
  points[0].insert(points[0].end(), features.begin(), features.end());
  initial.insert(initial.end(), features.begin(), features.end());
 }

 if (gray_prev.empty())
 {
  gray.copyTo(gray_prev);
 }
 // l-k光流法运动估计
 calcOpticalFlowPyrLK(gray_prev, gray, points[0], points[1], status, err);
 // 去掉一些不好的特征点
 int k = 0;
 for (size_t i = 0; i {
  if (acceptTrackedPoint(i))
  {
   initial[k] = initial[i];
   points[1][k++] = points[1][i];
  }
 }
 points[1].resize(k);
 initial.resize(k);
 // 显示特征点和运动轨迹
 for (size_t i = 0; i {
  line(output, initial[i], points[1][i], Scalar(0, 0, 255));
  circle(output, points[1][i], 3, Scalar(0, 255, 0), -1);
 }

 // 把当前跟踪结果作为下一此参考
 swap(points[1], points[0]);
 swap(gray_prev, gray);

 imshow(window_name, output);
}

//-------------------------------------------------------------------------------------------------
// function: addNewPoints
// brief: 检测新点是否应该被添加
// parameter:
// return: 是否被添加标志
//-------------------------------------------------------------------------------------------------
bool addNewPoints()
{
 return points[0].size() <= 10;
}

//-------------------------------------------------------------------------------------------------
// function: acceptTrackedPoint
// brief: 决定哪些跟踪点被接受
// parameter:
// return:
//-------------------------------------------------------------------------------------------------
bool acceptTrackedPoint(int i)
{
 return status[i] && ((abs(points[0][i].x - points[1][i].x) + abs(points[0][i].y - points[1][i].y)) > 2);
}

5.运行结果