十五.光流估计

光流估计
光流，顾名思义，光的流动。比如人眼感受到的夜空中划过的流星。在计算机视觉中，定义图像中对象的移动，这个移动可以是相机移动或者物体移动引起的。具体是指，视频图像的一帧中的代表同一对象(物体)像素点移动到下一帧的移动量，使用二维向量表示.

根据是否选取图像稀疏点进行光流估计，可以将光流估计分为稀疏光流和稠密光流
OpenCV中提供了光流估计的接口，包括稀疏光流估计算法cv2.calcOpticalFlowPyrLK()，和稠密光流估计cv2.calcOpticalFlowFarneback()。其中稀疏光流估计算法为Lucas-Kanade算法，该算法为1981年由Lucas和Kanade两位科学家提出的，最为经典也较容易理解的算法.
传统算法 Lucas-Kanade
为了将光流估计进行建模，Lucas-Kanade做了三个重要的假设:
亮度恒定：同一点随着时间的变化，其亮度不会发生改变。
小运动：随着时间的变化不会引起位置的剧烈变化，只有小运动情况下才能用前后帧之间单位位置变化引起的灰度变化去近似灰度对位置的偏导数。
空间一致：一个场景上邻近的点投影到图像上也是邻近点，且邻近点速度一致。因为光流法基本方程约束只有一个，而要求x，y方向的速度，有两个未知变量。所以需要连立n多个方程求解。

cv2.calcOpticalFlowPyrLK(): 参数：
prevImage 前一帧图像
nextImage 当前帧图像
prevPts 待跟踪的特征点向量
winSize 搜索窗口的大小
maxLevel 最大的金字塔层数
返回：
nextPts 输出跟踪特征点向量
status 特征点是否找到，找到的状态为1，未找到的状态为0

import numpy as np import cv2
cap = cv2.VideoCapture('test.avi')
角点检测所需参数
feature_params = dict( maxCorners = 100, qualityLevel = 0.3, minDistance = 7)
lucas kanade参数
lk_params = dict( winSize = (15,15), maxLevel = 2)
随机颜色条
color = np.random.randint(0,255,(100,3))
拿到第一帧图像
ret, oldframe = cap.read() oldgray = cv2.cvtColor(oldframe, cv2.COLORBGR2GRAY)
返回所有检测特征点，需要输入图像，角点最大数量（效率），品质因子（特征值越大的越好，来筛选）
距离相当于这区间有比这个角点强的，就不要这个弱的了
p0 = cv2.goodFeaturesToTrack(old_gray, mask = None, **feature_params)
创建一个mask
mask = np.zeroslike(oldframe)
while(True): ret,frame = cap.read() framegray = cv2.cvtColor(frame, cv2.COLORBGR2GRAY)
# 需要传入前一帧和当前图像以及前一帧检测到的角点
p1, st, err = cv2.calcOpticalFlowPyrLK(old_gray, frame_gray, p0, None, **lk_params)

# st=1表示
good_new = p1[st==1]
good_old = p0[st==1]

# 绘制轨迹
for i,(new,old) in enumerate(zip(good_new,good_old)):
    a,b = new.ravel()
    c,d = old.ravel()
    mask = cv2.line(mask, (a,b),(c,d), color[i].tolist(), 2)
    frame = cv2.circle(frame,(a,b),5,color[i].tolist(),-1)
img = cv2.add(frame,mask)

cv2.imshow('frame',img)
k = cv2.waitKey(150) & 0xff
if k == 27:
    break

# 更新
old_gray = frame_gray.copy()
p0 = good_new.reshape(-1,1,2)
cv2.destroyAllWindows() cap.release() ```

![image.png](https://img-blog.csdnimg.cn/img_convert/044f6cf445c12f942a6639713548d368.png)