光流(Optical flow)-视频分析基础概念

光流的概念(Optical Flow)

光流是空间运动物体在观察成像平面上的像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。一般而言，光流是由于场景中前景目标本身的移动、相机的运动，或者两者的共同运动所产生的。考虑下图(图片来自维基百科)：

图中表示一个小球在连续5帧图像中的移动，箭头则表示小球的位移矢量。简单来说，光流是空间运动物体在观测成像平面上的像素运动的“瞬时速度”，光流的研究是利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的“运动”，研究光流场的目的就是为了从图片序列中近似得到不能直接得到的现实中的运动场。光流应用于诸多领域：

• 基于运动的三维重建
• 视频压缩
• 视频稳像
• 目标跟踪与行为识别等

在介绍光流的计算法之前有必要了解：光流之所以生效是依赖于这几个假设：

1. 物体的像素强度不会在连续帧之间改变；
2. 一张图像中相邻的像素具有相似的运动。

其实也很好理解，如果不满足以上条件，那么也找不到该像素在下一帧的位置，自然也无法计算出它的运动。

光流的计算方法

假设第一帧图像中的像素 I(x, y, t) 在时间 dt 后移动到第二帧图像的 (x+dx, y+dy) 处。根据上述第一条假设：灰度值不变，我们可以得到：

对等号右侧进行泰勒级数展开，消去相同项，两边都除以 dt ，得到如下方程：

其中：

上面的等式叫做光流方程。其中 f_x 和 f_y 的梯度，同样 f_t 是时间方向的梯度。但(u, v) 是不知道的。我们不能在一个等式中求解两个未知数。有几个方法可以帮我们解决这个问题，其中的一个是 Lucas-Kanade 法 。

Lucas-Kanade 法

这里就要用到上面提到的第二个假设条件，领域内的所有像素点具有相同的运动。Lucas-Kanade法就是利用一个3x3的领域中的9个像素点具有相同的运动，就可以得到9个点的光流方程(即上述公式)，用这些方程来求得(u, v) 这两个未知数，显然这是个约束条件过多的方程组，不能解得精确解，一个好的解决方法就是使用最小二乘来拟合。求解过程：

这样我们跟踪一些点就能得到这些点的光流向量，但是这里还存在尺度空间的问题，简单来讲，直到现在我们还只是处理一些很小的运动，如果是大的运动那该怎么办？图像金字塔。在图像金字塔顶层，小的运动被移除，大的运动转换成了小的运动，这样就能跟踪到了原本大的运动，重复计算图像金字塔不同层的图像的光流，我们就得到了在不同尺度空间上的光流。

参考文献

维基百科Optical flow page
OpenCV-Python官方教材
https://blog.csdn.net/zouxy09/article/details/8683859