【翻译：OpenCV-Python教程】光流

⚠️这篇是按4.1.0翻译的，你懂得。

⚠️除了版本之外，其他还是照旧，Optical Flow，附原文。

目标

在本章，

• 我们将理解光流的概念然后用卢卡斯-卡纳德的方法估算它。
• 我们将使用这些函数，如 cv.calcOpticalFlowPyrLK() ，来追踪特视频中的特征点。

光流

光流是图像对象在两个连续帧之间的表观运动模式，它是由对象或者是摄像头移动引起的。它是一个 2D 向量场，每个向量都是一个位移向量，表示了点从第一帧到第二帧的移动。参考以下图片(感谢提供图片: Wikipedia article on Optical Flow)。

它显示出一个球在连续5帧中的运动。这个箭头表示它的位移向量。光流在各个领域有着广泛的应用，比如：

• 运动建模
• 视频压制
• 视频稳定……

光流正常工作基于几个假设：

1. 对象的像素强度在连续帧之间不发生变化。
2. 相邻像素具有相似的运动。

假设一个像素点 I(x,y,t) 在第一帧(注意，时间作为一个新的维度，在此添加。之前我们所有的学习都仅仅围绕着图像，所以不需要时间这个维度。)。它在时间 dt 之后的下一帧，移动了一段距离(dx,dy)。既然这些像素是相同的，强度不变，我们可以说：

 

然后取右边的泰勒级数近似，去掉一般项，除以dt得到下面的方程：

 

其中：

以上的等式就被称为光流方程。在其中，我们可以已知fx和fy，它们其实就是(x和y方向的)图像梯度。类似的ft是沿着时间方向的梯度。但是 (u,v) 是未知的。我们没办法通过一个等式来解带两个未知数的方程。所以，一些方法被提出来解决该问题，其中之一就是卢卡斯-卡纳德的方法。

卢卡斯-卡纳德方法

我们已经提到过了之前的假设，所有的相邻像素点将会有相似的运动。卢卡斯-卡纳德方法取该像素点周围的一个3x3的小块。按照假设这9个点都有相同的运动。分别算出这9个点的的 (fx,fy,ft) 。所以现在我们的问题变为了，通过9个等式来算出其中两个未知数，这就变成超定了。用最小二乘拟合法得到了较好的解。下面是最终的解，它是两个等式-两个未知数问题，求解得到解。

 

(用哈里斯角检测器检查逆矩阵的相似性。它显示出拐角是更好的跟踪点。)

所以从用户的角度来看，这个想法很简单，我们给出一些点来跟踪，我们接收这些点的光流向量。但这又会有些问题，目前为止，我们处理的都是一些小幅运动，而当运动幅度很大时，它就会失败。我们使用图像金字塔来处理这个问题。当我们在往金字塔上方爬时，小幅运动就渐渐消失了，而大幅运动就变成了小幅运动。所以应用卢卡斯-卡纳德方法，我们获得了带放缩比的光流。

OpenCV里的卢卡斯-卡纳德光流

OpenCV 在一个函数中整合了所有的这些，cv.calcOpticalFlowPyrLK()。这里我们创建了一个简单的应用来追踪视频中的某些点。为了确定这些点，我们使用函数 cv.goodFeaturesToTrack()。我们取第一帧，在其中检测出一些 史-托马斯 角点，然后我们再使用卢卡斯-卡纳德光流来迭代的追踪这些点。对于函数 cv.calcOpticalFlowPyrLK() 我们传入"前一帧"，"前一点"和"下一帧"。它会返回"下一点"，以及一些代表状态的数字，这个数字1代表"下一点"被找到，否则就是0。我们在下一步继续迭代，把此时得到的"下一点"作为参数"前一点"传入。看下面的代码：

import numpy as np
import cv2 as cv
cap = cv.VideoCapture('slow.flv')
# params for ShiTomasi corner detection
feature_params = dict( maxCorners = 100,
                       qualityLevel = 0.3,
                       minDistance = 7,
                       blockSize = 7 )
# Parameters for lucas kanade optical flow
lk_params = dict( winSize  = (15,15),
                  maxLevel = 2,
                  criteria = (cv.TERM_CRITERIA_EPS | cv.TERM_CRITERIA_COUNT, 10, 0.03))
# Create some random colors
color = np.random.randint(0,255,(100,3))
# Take first frame and find corners in it
ret, old_frame = cap.read()
old_gray = cv.cvtColor(old_frame, cv.COLOR_BGR2GRAY)
p0 = cv.goodFeaturesToTrack(old_gray, mask = None, **feature_params)
# Create a mask image for drawing purposes
mask = np.zeros_like(old_frame)
while(1):
    ret,frame = cap.read()
    frame_gray = cv.cvtColor(frame, cv.COLOR_BGR2GRAY)
    # calculate optical flow
    p1, st, err = cv.calcOpticalFlowPyrLK(old_gray, frame_gray, p0, None, **lk_params)
    # Select good points
    good_new = p1[st==1]
    good_old = p0[st==1]
    # draw the tracks
    for i,(new,old) in enumerate(zip(good_new,good_old)):
        a,b = new.ravel()
        c,d = old.ravel()
        mask = cv.line(mask, (a,b),(c,d), color[i].tolist(), 2)
        frame = cv.circle(frame,(a,b),5,color[i].tolist(),-1)
    img = cv.add(frame,mask)
    cv.imshow('frame',img)
    k = cv.waitKey(30) & 0xff
    if k == 27:
        break
    # Now update the previous frame and previous points
    old_gray = frame_gray.copy()
    p0 = good_new.reshape(-1,1,2)
cv.destroyAllWindows()
cap.release()

(这段代码并没有检查下一个关键点的正确性。所以即使那些特征点从图像中消失了，光流都有可能会在它附近找到看起来很接近的点当做下一点。所以要要求跟踪中的健壮性，角点应该在特定的时间间隔被检测出来。OpenCV samples 提出这样的示例，每隔5帧检测出这些特征点。它还对光流点进行了反向检查，只选择正确的光流点。看 samples/python/lk_track.py)。

看看我们得到的结果：

OpenCV里的稠密光流

Lucas-Kanade方法计算稀疏特征集的光流(在我们的示例中，使用史-托马斯算法检测角点)。OpenCV提供了另一种计算稠密光流的算法。它为帧内所有点计算光流。它基于Gunner Farneback在2003年发表的《基于多项式展开的两帧运动估计》中解释的算法。

以下示例显示如何用以上算法找出稠密光流。我们得到一个带光流向量 (u,v) 的双通数组。我们找出他们的大小和方向。为了更好地可视性，我们对结果进行了颜色编码。方向对应于图像的色调值。大小对应于值平面。参见下面的代码：

import cv2 as cv
import numpy as np
cap = cv.VideoCapture("vtest.avi")
ret, frame1 = cap.read()
prvs = cv.cvtColor(frame1,cv.COLOR_BGR2GRAY)
hsv = np.zeros_like(frame1)
hsv[...,1] = 255
while(1):
    ret, frame2 = cap.read()
    next = cv.cvtColor(frame2,cv.COLOR_BGR2GRAY)
    flow = cv.calcOpticalFlowFarneback(prvs,next, None, 0.5, 3, 15, 3, 5, 1.2, 0)
    mag, ang = cv.cartToPolar(flow[...,0], flow[...,1])
    hsv[...,0] = ang*180/np.pi/2
    hsv[...,2] = cv.normalize(mag,None,0,255,cv.NORM_MINMAX)
    bgr = cv.cvtColor(hsv,cv.COLOR_HSV2BGR)
    cv.imshow('frame2',bgr)
    k = cv.waitKey(30) & 0xff
    if k == 27:
        break
    elif k == ord('s'):
        cv.imwrite('opticalfb.png',frame2)
        cv.imwrite('opticalhsv.png',bgr)
    prvs = next
cap.release()
cv.destroyAllWindows()

查看以下结果：

OpenCV 针对稠密光流带有更高级的示例，请看 samples/python/opt_flow.py。

额外资源

练习

1. 查看代码 samples/python/lk_track.py。试着理解代码。
2. 查看代码 samples/python/opt_flow.py。试着理解代码。

---

上篇：【翻译：OpenCV-Python教程】均值漂移和连续自适应均值漂移

下篇：【翻译：OpenCV-Python教程】背景减法