SIFT Flow 笔记

论文地址: https://people.csail.mit.edu/celiu/SIFTflow/

SIFT Flow

SIFT Flow 结合了 SIFT 与 Optical flow，实现了一种在两幅图像间像素到像素的稠密匹配方法。

SIFT Flow 构成

SIFT 是在空间极值点提取特征。那么对于稠密特征 SIFT Flow ，它同样也是对于某个像素的邻域 (如16x16邻域) 分成4x4个cell，将每一个cell 的梯度方向映射到 8 个方向，形成 8 维向量。其区别是，SIFT Flow 对每一个像素都进行特征提取。那么对应一个像素即有 4x4x8 = 128 维向量。

• 文中将 128 维向量用 PCA 降维到三维，再映射到RGB空间，得到了如下所示的图像。
  

目标函数

• w( p ) 为原始图像与目标图像匹配像素之间的坐标距离。w( p ) = (u( p ), v( p )) = (x - x’ , y - y’)。
• (1) 限制匹配点的特征向量距离。
• (2) 限制匹配点的坐标距离，使其尽可能在空间上接近。
• (3) 限制 p 邻域中的 q 匹配像素与 p 的匹配像素接近，使目标图像平滑。

优化

文中采用Dual-layer loopy belief propagation，其中 Dual-layer belief propagation 如下图所示。