Lucas–Kanade光流算法

 简介：在计算机视觉中 ，Lucas–Kan ade光流算法是一种 两帧差分的光流估计算 法。它由Bruce D. Lucas 和 Takeo Kanade提出。

光流的概念:(Opt ical flow or optic flow)
它是一种运动模式，这 种运动模式指的是一个 物体、表面、边缘在一 个视角下由一个观察者 （比如眼睛、摄像头等 ）和背景之间形成的明 显移动。光流技术，如 运动检测和图像分割， 时间碰撞，运动补偿编 码，三维立体视差，都 是利用了这种边缘或表 面运动的技术。

二维图像的移动相对于 观察者而言是三维物体 移动的在图像平面的投 影。
有序的图像可以估计出 二维图像的瞬时图像速 率或离散图像转移。

光流算法：
它评估了两幅图像的之 间的变形，它的基本假 设是体素和图像像素守 恒。它假设一个物体的 颜色在前后两帧没有巨 大而明显的变化。基于 这个思路，我们可以得 到图像约束方程。不同 的光流算法解决了假定 了不同附加条件的光流 问题。

Lucas–Kana de算法：
这个算法是最常见，最 流行的。它计算两帧在 时间t 到t + δt之间每个每个像素 点位置的移动。 由于它是基于图像信号 的泰勒级数，这种方法 称为差分，这就是对于 空间和时间坐标使用偏 导数。
图像约束方程可以写为 I( x, y, z, t) = I( x + δ x, y + δ y, z + δ z, t + δ t)
I(x, y,z, t) 为在（x,y,z）位 置的体素。
我们假设移动足够的小 ，那么对图像约束方程 使用泰勒公式，我们可 以得到：

H.O.T. 指更高阶，在移动足够 小的情况下可以忽略。 从这个方程中我们可以 得到：

或者

我们得到：


V _x, V _y, V _z 分别是I(x,y,z ,t)的光流向量中x ，y，z的组成。 , , 和 则是图像在( x, y, z, t)这一点向相应方向的 差分。
所以

I _x V _x + I _y V _y + I _z V _z = − I _t。

写做：

这个方程有三个未知量 ，尚不能被解决，这也 就是所谓光流算法的光 圈问题。那么要找到光 流向量则需要另一套解 决的方案。而Luca s-Kanade算法 是一个非迭代的算法：

假设流(Vx,Vy, Vz)在一个大小为m *m*m(m>1)的 小窗中是一个常数，那 么从像素1... n, n = m ³中可以得到下列一组方 程：

三个未知数但是有多于 三个的方程，这个方程 组自然是个超定方程， 也就是说方程组内有冗 余，方程组可以表示为 ：

记作：

为了解决这个超定问题 ，我们采用最小二乘法 ：

or

得到：

其中的求和是从1到n 。

这也就是说寻找光流可 以通过在四维上图像导 数的分别累加得出。我 们还需要一个权重函数 W(i, j,k)， 来突出窗口中心点的坐 标。高斯函数做这项工 作是非常合适的，

这个算法的不足在于它 不能产生一个密度很高 的流向量，例如在运动 的边缘和黑大的同质区 域中的微小移动方面流 信息会很快的褪去。它 的优点在于有噪声存在 的鲁棒性还是可以的。

补充：opencv里 实现的看上去蛮复杂， 现在还不是太明白。其 中LK经典算法也是迭 代法，是由高斯迭代法 解线性方程组进行迭代 的。

参考文献：Lucas B and Kanade T. An Iterative Image Registrati on Technique with an Applicatio n to Stereo Vision. Proc. Of 7th Internatio nal Joint Conference on Artificial Intelligen ce (IJCAI), pp.674-679 .是81年发表的。

opencv中实现的 是84年发表的算法，

参考文献： Bruce D. Lucas, "Generaliz ed Image Matching by the Method of Difference s," doctoral dissertati on, tech. report , Robotics Institute, Carnegie Mellon University , July, 1984