DeepFlow Large displacement optical flow with deep matching

该篇文章的灵感来啊源于Brox &malik(2011)在变分光流法中引入描述子匹配用于计算大位移光流的一篇文章,我们的方法名为Deep flow,将匹配算法与变分方法相结合,应用于光流的计算,是一种适应光流问题的描述子匹配算法,可以提高光流法在快速运动的表现。匹配算法建立在具有6层,交错卷积和最大池的多层架构之上,这种结构类似于深度卷积网络。 使用密集采样,它允许有效地检索准密集对应,并且在描述符匹配上享有内置的平滑效果,这是用于集成到用于光流估计的能量最小化框架的宝贵资产。
(池化https://blog.csdn.net/mao_kun/article/details/50507376)
(卷积http://www.cnblogs.com/pinard/p/6483207.html
https://www.zhihu.com/question/22298352)
(sift https://blog.csdn.net/dcrmg/article/details/52577555
1.图像预处理
 2.构建高斯金字塔(不同尺度下的图像)
 3.生成DOG尺度空间
 4.关键点搜索与定位
 5.计算特征点所在的尺度
 6.为特征点分配方向角
 7.构建特征描述子

现有的描述匹配方法通常依赖于图像的一致性,而刚性描述子(例如HOG)基于刚性运动假设,当运动位移无限小时该方法表现很好,单面对大位移情况效果很差。而我们所提出的匹配算法,匹配结果更加稠密,并且可以对形变目标匹配。该方法对快速运动匹配具有很好地效果在输出对应关系上具有平滑的效果。
主要的三个贡献:
1、稠密对应匹配
引入了描述子匹配算法,使用稠密取样,从形变样本中基于单一特征获得稠密的对应关系。
2、自平滑匹配
匹配算法基于一组非刚性形变数据,很好地产生几乎平滑的密集对应,同时计算效率上不输非刚性描述子。

稠密匹配
Sift算子是在梯度方向具有4×4空间单元的直方图获得了128维真实矢量,现在我们把sift检测算子(patch )分为四个象限,每个象限占32维。
我们的目的是匹配源描述子和目标描述子。所以我们提出优化目标描述子四个象限的位置使得相似性匹配最大化,假设四个象限中的每一个象限都能在一定范围内独立运动,使我们能有效计算出相似性。获得粗略的非刚性匹配,当使用递归寻找逐个像素点的对应关系时可以获得精细的非刚性匹配。

你可能感兴趣的:(DeepFlow Large displacement optical flow with deep matching)