光流法原理概述

光流的概念是Gibson在1950年首先提出来的。它是空间运动物体在观察成像平面上的像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。一般而言，光流是由于场景中前景目标本身的移动、相机的运动，或者两者的共同运动所产生的。

       简单来说，光流是空间运动物体在观测成像平面上的像素运动的“瞬时速度”。光流的研究是利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的“运动”。研究光流场的目的就是为了从图片序列中近似得到不能直接得到的运动场。

       光流法的前提假设：

（1）相邻帧之间的亮度恒定；

（2）相邻视频帧的取帧时间连续，或者，相邻帧之间物体的运动比较“微小”；

（3）保持空间一致性；即，同一子图像的像素点具有相同的运动

       这里有两个概念需要解释：

运动场，其实就是物体在三维真实世界中的运动；

光流场，是运动场在二维图像平面上的投影。

如上图所示，H中的像素点(x,y)在I中的移动到了(x+u,y+v)的位置，偏移量为(u,v)。

       光流法用于目标检测的原理：

给图像中的每个像素点赋予一个速度矢量，这样就形成了一个运动矢量场。在某一特定时刻，图像上的点与三维物体上的点一一对应，这种对应关系可以通过投影来计算得到。根据各个像素点的速度矢量特征，可以对图像进行动态分析。如果图像中没有运动目标，则光流矢量在整个图像区域是连续变化的。当图像中有运动物体时，目标和背景存在着相对运动。运动物体所形成的速度矢量必然和背景的速度矢量有所不同，如此便可以计算出运动物体的位置。需要提醒的是，利用光流法进行运动物体检测时，计算量较大，无法保证实时性和实用性。

       光流法用于目标跟踪的原理：

（1）对一个连续的视频帧序列进行处理；

（2）针对每一个视频序列，利用一定的目标检测方法，检测可能出现的前景目标；

（3）如果某一帧出现了前景目标，找到其具有代表性的关键特征点（可以随机产生，也可以利用角点来做特征点）；

（4）对之后的任意两个相邻视频帧而言，寻找上一帧中出现的关键特征点在当前帧中的最佳位置，从而得到前景目标在当前帧中的位置坐标；

（5）如此迭代进行，便可实现目标的跟踪；

       由基本光流约束方程IxVx+IyVy+It=0可知，对于二维的运动场，单靠一个像素无法确定其运动矢量（Vx,Vy）根据假设三，我们可以使用当前像素的邻域像素添加更多约束条件；如经典的Horn-Schunck光流法所加的运动平滑约束。同时，对于二维运动场，只需包含两条或以上边缘则可以解系统方程，因此在进行光流法时，先选择好跟踪的特征点，如harris角点。

       光流场是运动场在二维图像上的投影，而光流就是在图像灰度模式下，像素点的运动矢量。光流法技术的核心就是求解出运动目标的光流，即速度。根据视觉感知原理，客观物体在空间上一般是相对连续运动的，在运动过程中，投射到传感器平面上的图像实际上也是连续变化的。为此可以假设:瞬时灰度值不变，即灰度不变性原理。由此可以得到光流基本方程，灰度对时间的变化率等于灰度的空间梯度与光流速度的点积。此时需要引入另外的约束条件，从不同的角度引入约束条件，导致了不同的光流分析方法。

       光流的计算方法大致分为五类：

       基于匹配的方法、基于梯度的方法、基于频域的方法、基于相位的方法和神经动力学方法。 

       基于匹配的方法包括基于区域和基于特征两种方法，实质上是在图像序列中的各图像之间，搜索出对应的图像区域最佳拟合的位移，所得到的位移即为目标运动矢量。该类方法在视频编码中得到了广泛的应用。基于特征的方法对于目标的速度和亮度变化具有较好的鲁棒性。基于匹配的两种方法存在的主要问题是，得到的光流通常比较稀疏，要实现精确匹配比较难。

       基于梯度的方法也称为微分法，该类方法是建立在图像亮度为常数的假设基础之上的，利用序列图像亮度的时空梯度函数来计算二维速度场。由于计算简单而且效果比较好，该方法成为使用最广泛的一种光流估计方法，此类方法的最具代表性的是Horn-Schunck光流法，它计算出的光流场是在光流基本方程的基础上引入了另外一个约束条件，即全局光流平滑约束假设。后来人们根据这种思想又提出了大量的改进算法。基于梯度的光流法在使用中存在一些问题：第一，为了在计算光流方程时方便，一般会通过一阶泰勒级数逼近来线性化，因此当有大的运动矢量存在时会产生较大的误差，从而导致估计精度降低；第二，在进行预处理时，部分帧中噪声的存在、图像采集过程中的频谱混叠现象都将严重影响该类方法的计算精度。第三，在有些非连续区域(比如边缘等)，图像亮度在运动方向上的平滑性约束条件会被破坏，从而会导致计算错误。

       基于频率的方法又称为基于能量的方法，在使用该类方法的过程中，要获得均匀流场的准确的速度估计，就必须对输入的图像进行时空滤波处理，即对时间和空间的整合，但是这样会降低光流的时间和空间分辨率。基于频率的方法往往会涉及大量的计算，另外，要进行可靠性评价也比较困难。

       基于相位的方法是由Fleet和Jepson提出的，Fleet和Jepson最先提出将相位信息用于光流计算的思想。当我们计算光流的时候，相比亮度信息，图像的相位信息更加可靠，所以利用相位信息获得的光流场具有更好的鲁棒性。基于相位的光流算法的优点是：对图像序列的适用范围较宽，而且速度估计比较精确，但也存在着一些问题：第一，基于相位的模型有一定的合理性，但是有较高的时间复杂性；第二，基于相位的方法通过两帧图像就可以计算出光流，但如果要提高估计精度，就需要花费一定的时间；第三，基于相位的光流计算法对图像序列的时间混叠是比较敏感的。

       神经动力学方法是利用神经网络建立的视觉运动感知的神经动力学模型，它是对生物视觉系统功能与结构比较直接的模拟。

       下面详细介绍一下在实际中经常使用的Lucas-Kanada算法

       Lucas-Kanada即L-K光流法最初于1981年提出，该算法假设在一个小的空间邻域内运动矢量保持恒定，使用加权最小二乘法估计光流。由于该算法应用于输入图像的一组点上时比较方便，因此被广泛应用于稀疏光流场，L-K算法的提出是基于以下三个假设：  (1) 亮度恒定不变。目标像素在不同帧间运动时外观上是保持不变的，对于灰 度图像，假设在整个被跟踪期间，像素亮度不变。 (2) 时间连续或者运动是“小运动”。图像运动相对于时间来说比较缓慢，实际 应用中指时间变化相对图像中运动比例要足够小，这样目标在相邻帧间的运动就比较小。  (3) 空间一致。同一场景中同一表面上的邻近点运动情况相似，且这些点在图像上的投影也在邻近区域。

       1.对于假设条件：

  （1）亮度恒定，就是同一点随着时间的变化，其亮度不会发生改变。这是基本光流法的假定（所有光流法变种都必须满足），用于得到光流法基本方程；

   （2）小运动，这个也必须满足，就是时间的变化不会引起位置的剧烈变化，这样灰度才能对位置求偏导（换句话说，小运动情况下我们才能用前后帧之间单位位置变化引起的灰度变化去近似灰度对位置的偏导数），这也是光流法不可或缺的假定；

  （3）空间一致，一个场景上邻近的点投影到图像上也是邻近点，且邻近点速度一致。这是Lucas-Kanade光流法特有的假定，因为光流法基本方程约束只有一个，而要求x，y方向的速度，有两个未知变量。我们假定特征点邻域内做相似运动，就可以连立n多个方程求取x，y方向的速度（n为特征点邻域总点数，包括该特征点）。

       2.对于方程求解

       多个方程求两个未知变量，又是线性方程，很容易就想到用最小二乘法，事实上opencv也是这么做的。其中，最小误差平方和为最优化指标。

       3.对于前面说到了小运动这个假定，如果目标速度很快该怎么办呢？幸运的是多尺度能解决这个问题。首先，对每一帧建立一个高斯金字塔，最大尺度图片在最顶层，原始图片在底层。然后，从顶层开始估计下一帧所在位置，作为下一层的初始位置，沿着金字塔向下搜索，重复估计动作，直到到达金字塔的底层。这样搜索不仅可以解决大运动目标跟踪，也可以一定程度上解决孔径问题（相同大小的窗口能覆盖大尺度图片上尽量多的角点，而这些角点无法在原始图片上被覆盖）。