图像金字塔LK光流法原理分析

本篇博客只讲述原理，c++代码实现请参考博客《 基于金字塔LK的光流法实现—根据论文自己实现的c++代码》。

1.LK光流法原理分析

  光流法是一种根据时域上连续图像间的相关性来描述像素在前后两帧中的瞬时速度的方法，可用来完成特征点的追踪。稀疏（Lucas–Kanade，LK）光流算法是计算机视觉中常用的一种两帧间差分的光流估计算法。
  LK光流法不是没有条件限制的，它的应用必须基于以下三个假设：
  1.灰度不变假设：在不同图像的重叠区域中，重叠像素点的灰度值是恒定不变的。这是光流法进行数学原理推导的基本。
  2.小运动：运动比较轻微时，像素位置随时间的变化不会过于剧烈。此时，前后两帧间位置的变化导致的灰度值变化可以近似为灰度对位置的偏导数。
  3.空间一致性：真实场景中相邻的区域即使投影到二维图像中，仍然是相邻的图像区域。此区域中，邻近点的速度是相同的。这个假设是很有必要的，因为LK光流法要求取x，y（x和y都是未知数）方向上的速度。一个方程无法求解两个未知数，所以可以根据空间一致性假设，利用n个临近像素点联立n方程，通过最小二乘法给出最终结果。
  假设获取上一帧和下一帧图像的时间分别为 $t$ 和 $t+dt$，某像素点在上一帧和下一帧的位置分别为$I(x,y,z,t)$和$I(x+dx,y+dy,z+dz,t+dt)$。
  根据灰度不变假设得，

          $I(x,y,z,t)=I(x+dx,y+dy,z+dz,t+dt)$

  根据小运动假设，对上式进右侧行泰勒级数展开，

    $I(x+dx,y+dy,z+dz,t+dt)=I(x,y,z,t)+\frac{\partial I}{\partial x}dx+\frac{\partial I}{\partial y}dy+\frac{\partial I}{\partial z}dz+\frac{\partial I}{\partial t}dt$

  根据以上两式可得，

             $\frac{\partial I}{\partial x}dx+\frac{\partial I}{\partial y}dy+\frac{\partial I}{\partial z}dz+\frac{\partial I}{\partial t}dt=0$

  上式两边同时除以$dt$，且令$\frac{dx}{dt}=V_x$ ，$\frac{dy}{dt}=V_y$，$\frac{dz}{dt}=V_z$得，

             $\frac{\partial I}{\partial x}{V}_x+\frac{\partial I}{\partial y}{V}_y+\frac{\partial I}{\partial z}{V}_z+\frac{\partial I}{\partial t}=0$

  在二维图像中，可以忽略$z$，只需保留$x,y,t$ 即可，其中 $\frac{\partial I}{\partial x}$ ，$\frac{\partial I}{\partial y}$ ，$\frac{\partial I}{\partial t}$ 可表示为图像在$(x,y,t)$方向的差分，令$\frac{\partial I}{\partial x}=I_x$，$\frac{\partial I}{\partial y}=I_y$，$\frac{\partial I}{\partial t}=I_t$，上式可写为如下形式：

               $I_x{V}_x+I_y{V}_y=-I_t$

  现在有两个未知数，却只有一个方程，所以根据空间一致性假设，选取$3\times 3$窗口内的9个像素点联立，建立方程式，如下，

            $\left[\begin{array}{cc}{I}_{x1}& I_{y1}\\ I_{x2}& I_{y2}\\ ⋮& ⋮\\ I_{x9}& I_{y9}\end{array}\right]\left[\begin{array}{c}{V}_x\\ V_y\end{array}\right]=\left[\begin{array}{c}-I_{t1}\\ -I_{t2}\\ ⋮\\ -I_{t9}\end{array}\right]$

令$A=\left[\begin{array}{cc}{I}_{x1}& I_{y1}\\ I_{x2}& I_{y2}\\ ⋮& ⋮\\ I_{x9}& I_{y9}\end{array}\right]$，$V=\left[\begin{array}{c}{V}_x\\ V_y\end{array}\right]$，$b=\left[\begin{array}{c}-I_{t1}\\ -I_{t2}\\ ⋮\\ -I_{t9}\end{array}\right]$，所以，这是超定方程，采用最小二乘法得，

               $A^{T}AV=A^{T}b$

              $V=(A^{T}A{)}^{-1}{A}^{T}b$

        $\left[\begin{array}{c}{V}_x\\ V_y\end{array}\right]={\left[\begin{array}{cc}\sum I_{xi}^2& \sum I_{xi}{I}_{yi}\\ & \\ \sum I_{xi}{I}_{yi}& \sum I_{yi}^2\end{array}\right]}^{-1}\left[\begin{array}{c}\sum I_{xi}{I}_{ti}\\ \\ \sum I_{yi}{I}_{ti}\end{array}\right]$

至此，该点的光流解算完毕。

2.基于图像金字塔的LK光流法原理分析

  LK光流法第二条假设针对的是小运动，如果运动速度较快时，该算法误差较大，而基于金字塔分层的LK光流法很好的解决了这一问题。
  有两帧灰度图像$I$和$J$，$I(x,y)$和$J(x,y)$分别为图像$I$和$J$上$[x,y]$位置处的灰度值。设图像$I$的像素点$u=[u_x,u_y{]}^T$匹配到图像$J$上的像素点$v=u+d=[u_x+d_x,u_y+d_y{]}^T$，可使得$I(u_x,u_y)$和$J(u_x+d_x,u_y+d_y)$误差最小。位移$d=[d_x,d_y{]}^T$被称为$u$和$v$的光流。通常在以点$u$为中心的图像区域$[2w_x+1,2w_x+1]$内，通过最小化灰度匹配误差的平方和来求解$d$。此损失函数为，

$$e(d)=e(d_x,d_y)=\sum _{x=u_x-w_x}^{u_x+w_x}\sum _{y=u_y-w_y}^{u_y+w_y}(I(x,y)-J(x+d_x,y+d_y){)}^2$$

  具体操作流程是先对图像进行金字塔分层，下层每次缩放为上层的一半，将分辨率低的图像分配在最顶层，原始图像分配在最底层。从顶层也就是分辨率最低的图片开始，递归求解到原始图片为止。设第L层的损失函数为，

$$e^L(d^L)=e^L(d_x^L,d_y^L)=\sum _{x=u_x^L-w_x}^{u_x^L+w_x}\sum _{y=u_y^L-w_y}^{u_y^L+w_y}(I^L(x,y)-J^L(x+g_x^L+d_x^L,y+g_y^L+d_y^L){)}^2$$

  其中，$g^L$代表的是像素点在第L层迭代运算中的光流初值,$d^L$代表的是像素点在第L层迭代运算中的光流误差。$d^L=[d_x^L,d_y^L]$通过标准的LK算法得到，$g^L=[g_x^L,g_y^L]$通过下式求得，该公式是递归推导。另外，设顶层的光流初值$g=[0,0{]}^T$，

              $g^{L-1}=2(g^L+d^L)$

重新定义$A(x,y)=I^L(x,y)$，$B(x,y)=J^L(x+g_x^L,y+g_y^L)$，$[p_x,p_y{]}^T=[u_x^L,u_y^L{]}^T$，$\overline{v}=[v_x,v_y{]}^T=d^L$，

$$e(\overline{v})=e(v_x,v_y)=\sum _{x=p_x-w_x}^{p_x+w_x}\sum _{y=p_y-w_y}^{p_y+w_y}(A(x,y)-B(x+v_x,y+v_y){)}^2$$

$$\frac{\partial e(\overline{v})}{\partial \overline{v}}=-2\sum _{x=p_x-w_x}^{p_x+w_x}\sum _{y=p_y-w_y}^{p_y+w_y}(A(x,y)-B(x+v_x,y+v_y))\bullet \left[\begin{array}{cc}\frac{\partial B}{\partial x}& \frac{\partial B}{\partial y}\end{array}\right]$$

对$B(x+v_x,y+v_y)$进行泰勒展开，

          $B(x+v_x,y+v_y)=B(x,y)+\left[\begin{array}{cc}\frac{\partial B}{\partial x}& \frac{\partial B}{\partial y}\end{array}\right]\overline{v}$

$$\frac{\partial e(\overline{v})}{\partial \overline{v}}\approx -2\sum _{x=p_x-w_x}^{p_x+w_x}\sum _{y=p_y-w_y}^{p_y+w_y}(A(x,y)-B(x,y)-\left[\begin{array}{cc}\frac{\partial B}{\partial x}& \frac{\partial B}{\partial y}\end{array}\right]\overline{v})\bullet \left[\begin{array}{cc}\frac{\partial B}{\partial x}& \frac{\partial B}{\partial y}\end{array}\right]$$

同时令,

              $\delta I=A(x,y)-B(x,y)$

             $\nabla I=\left[\begin{array}{c}{I}_x\\ I_y\end{array}\right]={\left[\begin{array}{cc}\frac{\partial B}{\partial x}& \frac{\partial B}{\partial y}\end{array}\right]}^T$

           $I_x(x,y)=\frac{\partial A(x,y)}{\partial x}=\frac{A(x+1,y)-A(x-1,y)}{2}$

           $I_y(x,y)=\frac{\partial A(x,y)}{\partial y}=\frac{A(x,y+1)-A(x,y-1)}{2}$

得,

$$\frac{1}{2}\frac{\partial e(\overline{v})}{\partial \overline{v}}\approx \sum _{x=p_x-w_x}^{p_x+w_x}\sum _{y=p_y-w_y}^{p_y+w_y}(\nabla I^T\overline{v}-\delta I)\nabla I^T$$

$$\frac{1}{2}[\frac{\partial e(\overline{v})}{\partial \overline{v}}{]}^T\approx \sum _{x=p_x-w_x}^{p_x+w_x}\sum _{y=p_y-w_y}^{p_y+w_y}\left(\left[\begin{array}{cc}{I}_x^2& I_x{I}_y\\ & \\ I_x{I}_y& I_y^2\end{array}\right]\overline{v}-\left[\begin{array}{c}\delta I{I}_x\\ \\ \delta I{I}_y\end{array}\right]\right)$$

$$G=\sum _{x=p_x-w_x}^{p_x+w_x}\sum _{y=p_y-w_y}^{p_y+w_y}\left[\begin{array}{cc}{I}_x^2& I_x{I}_y\\ & \\ I_x{I}_y& I_y^2\end{array}\right]$$

$$\overline{b}=\sum _{x=p_x-w_x}^{p_x+w_x}\sum _{y=p_y-w_y}^{p_y+w_y}\left[\begin{array}{c}\delta I{I}_x\\ \\ \delta I{I}_y\end{array}\right]$$

$$\frac{1}{2}[\frac{\partial e(\overline{v})}{\partial \overline{v}}{]}^T\approx G\overline{v}-\overline{b}$$

当$\frac{\partial e(\overline{v})}{\partial \overline{v}}{|}_{\overline{v}={\overline{v}}_{opt}}=0$时得,
$${\overline{v}}_{opt}=G^{-1}\overline{b}$$迭代初值$\overline{v}=[0,0{]}^T$，迭代一定次数或者光流误差小于一个设定阈值后，得到最终的$\overline{v}$，即$d^L$，第L层图像的光流为$g^L+d^L$。最终，原始图像的光流为，

$$d=g^0+d^0$$附上一张论文中的流程，


参考:
1.总结：光流–LK光流–基于金字塔分层的LK光流–中值流
2.《Pyramidal Implementation of the Lucas Kanade Feature Tracker Description of the algorithm》