论文阅读笔记-CMT跟踪算法

 首先详解作者的这篇论文Consensus-based Matching and Tracking of Keypoints for Object Tracking：

1 在第一帧用BRISK特征描述子找到目标的特征点，每个特征点都用相对于目标区域中心的相对坐标表示；

2 从第二帧开始，每一帧再用BRISK描述子找到特征点，为了跟第一帧目标的特征点匹配上，对每一个特征点求其和第一帧中每一个特征点的欧氏距离，并用最近与次最近的比值作为标度来判断该特征点与第一帧哪个目标特征点最匹配，匹配成功后记录该特征点的索引；

3 与2并行，采用光流法，由上一帧的目标特征点来预测当前帧的特征点，这些特征点索引值不变；

4 综合2和3，取并集，同一个特征点索引不一致的，以2为准，融合后记录这些特征点的在图像中的绝对坐标值；

5 由当前帧的绝对坐标值减去第一帧的相对坐标值即可得到当前帧目标中心坐标。为了解决目标区域缩放和角度旋转，在做差时，为特征点在第一帧的相对坐标乘上缩放因子和旋转矩阵。

6 各个关键点得到的中心坐标位置可能不一致，我们认为大部分是对的，所以用投票（聚类）机制，票数最高的位置就是中心位置。

7 得到中心位置后，我们来找一下目标区域四个边角的位置，方法为:由中心坐标+第一帧目标区域边角的相对坐标乘以缩放因子和旋转矩阵。

 

注：旋转角度和缩放因子都选用中值

选用BRISK特征的原因：该特征具有旋转和尺度不变性，并且是二进制表示，方便计算欧氏距离。

 

接着作者又在15年CVPR上发表了clusteringof adaptive correspondences for deformable object tracking，

是cmt算法的补充，首先是对静态全局搜索即上述第2步除了之前最小次最小比值限制外又加了一个对最小距离的限制条件（公式1）；然后就是该篇论文最主要的贡献，提出了一种非相似性测量方法（公式2），具体方法为：对任意两个关键点，其在第一帧对应的关键点经旋转缩放变换（变换因子为H）后得到变换后的坐标，对变换后的坐标做差，差值小于设定阈值（本文取阈值为20），则聚类到目标群里，否则聚类为非目标群；最后，为了消除上一篇论文关键点匹配过程中出现的歧义（如当前帧的右眼可能会和初始帧的左眼匹配上），再进行一轮关键点匹配，但此时，匹配时对初始帧并不做全局检索，而只考虑初始帧里聚类到目标群里的那些关键点.

 注：在非相似性测量方法中，取两个点进行相减，原因在于跟踪方法中，第一帧的坐标是相对坐标（相对目标中心），而后每帧用的是绝对坐标，两个点相减，才能减去相对和绝对坐标之间的差值，并且两点成线，相对于单点变换前后做差，两点做差后，对目标位移旋转等影响的耐受性更好。