光流(Optical flow or optic flow)是关于视域中的物体运动检测中的概念。用来描述相对于观察者的运动所造成的观测目标、表面或边缘的运动。光流法在样型识别、计算机视觉以及其他影像处理领域中非常有用,可用于运动检测、物件切割、碰撞时间与物体膨胀的计算、运动补偿编码,或者通过物体表面与边缘进行立体的测量等等。
卢卡斯-卡纳德方法是一种广泛使用的光流估计的差分方法,这个方法是由Bruce D. Lucas和Takeo Kanade发明的。它假设光流在像素点的邻域是一个常数,然后使用最小二乘法对邻域中的所有像素点求解基本的光流方程。
通过结合几个邻近像素点的信息,卢卡斯-卡纳德方法(简称为L-K方法)通常能够消除光流方程里的多义性。而且,与逐点计算的方法相比,L-K方法对图像噪声不敏感。不过,由于这是一种局部方法,所以在图像的均匀区域内部,L-K方法无法提供光流信息。
基本原理:
#include "pch.h"
#include
#include "opencv2/opencv.hpp"
#include
#include
using namespace std;
using namespace cv;
using namespace cv::xfeatures2d;
Mat frame;
int maxCornerNum = 500;
int maxTrackbarNum = 2000;
vector corners[2];
vector status;
vector err;
void detectFeature(Mat & gray);
void detectOpticalFlow(Mat& prev , Mat& gray);
int main()
{
VideoCapture cap;
cap.open("F:\\visual studio\\Image\\123.mp4");
Mat gray;
Mat prev_gray;
namedWindow("Frame", WINDOW_AUTOSIZE);
createTrackbar("最大角点数", "Frame", &maxCornerNum, maxTrackbarNum,0,0);
while (1)
{
cap >> frame;
cvtColor(frame, gray, COLOR_BGR2GRAY);
if (prev_gray.empty())
gray.copyTo(prev_gray);
detectFeature(gray);
detectOpticalFlow(prev_gray,gray);
gray.copyTo(prev_gray);
imshow("Frame", frame);
while (waitKey(1) == 27)
break;
}
}
void detectFeature(Mat & gray)
{
double qualityLevel = 0.01;
double minDistance = 10;
int blocksize = 3;
goodFeaturesToTrack(gray, corners[0], maxCornerNum, qualityLevel, minDistance, Mat(), 3);
}
void detectOpticalFlow(Mat& prev,Mat& gray)
{
calcOpticalFlowPyrLK(prev, gray, corners[0], corners[1], status, err, Size(21, 21), 3);
int k = 0;
for (int i = 0; i < corners[1].size(); i++)
{
double dist = abs(corners[1][i].x - corners[0][i].x) + abs(corners[1][i].y - corners[0][i].y);
if (dist>2 && status[i])
{
corners[1][k++] = corners[1][i];
circle(frame, corners[0][i], 1, Scalar(255, 0, 0), FILLED, LINE_AA, 0);
circle(frame, corners[1][i], 2, Scalar(0, 0, 255), FILLED, LINE_AA, 0);
line(frame, corners[0][i], corners[1][i], Scalar(0, 255, 0), 1, LINE_AA, 0);
}
}
}