论文学习笔记——Fast Odometry and Scene Flow from RGB-D Cameras based on Geometric Clustering...

基于稀疏特征点匹配的视觉里程计技术

1、需要通过多帧优化来消除奇异点的干扰。
2、一般这种方法不能实现稠密场景流，但是存在可以估计多钢体运动的扩展方法，这些方法中需要足够多的特征点来估计运动，这在三维场景的二维投影结果中，只占小区域的物体是无法保证的

直接产生稠密运动估计的方法(dense direct methods)

1、传统的代价函数惩罚：灰度误差、负的或正的深度误差、点面误差或特征空间中的可选误差。
2、和稀疏的特征点匹配为基础的方法的主要不同是，它们不需要进行匹配，而是在优化的过程中进行更新。
3、为了克服不能够建模的因素的影响实现鲁棒性，这类方法采用组合多代价函数，并且利用具有鲁棒性的代价，例如：Huber，Tukey或者Cauchy
4、这种方法在输入图片中仅仅有少部分运动部分的情况下效果很好，但在运动部分很大时不能很好工作。

背景分割

本文方法最大的缺陷就是将聚类的结果中每个类别假设为钢体，因为聚类过程中唯一的分类指标是像素点的空间相似度，总是有些钢体中的像素实际上是属于另一个钢体。

为什么用k-means做像素点在3D坐标中的聚类

1、一个物理基础是：空间中的近点更可能属于一个钢体。
2、利用图像金字塔很容易实现（粗糙到精细），只要在一张给定图片上实现聚类，那么图像金字塔中其余图像的聚类很容易实现，这是通过之前已经计算的k-means空间坐标实现的。这样不仅仅可以提高效率，而且能够在不同的图像级别中保证聚类结果的一致性。
3、很适合在帧序列间传递信息，即通过和可以有效的将聚类中心从映射到

聚类中聚类中心个数的选择

1、如果个数太多会使一个聚类产生的钢体中的像素点个数太少，不能够保证估计的运动有较好的鲁棒性
。
2、如果个数太少会使不同类别的物体被划分到同一个钢体。
3、本文实验中采用经验值24个聚类中心，未来的方法中可以使用更优秀的方法，例如自适应的聚类中心个数，来减少类别冗余，或者在一个钢体的残差太大时产生新的聚类中心。

鲁棒的里程计

里程计通过构建一个稠密优化问题来最小化连续RGB-D帧对之间的光照和几何残差，这是通过计算光照和几何残差的Cauchy M-estimator实现的，优化问题如下：


其中M为中深度不为空的像素的个数，用来调整光照和几何残差的影响，c表示F的拐点可以用来调整使估计结果对高残差有更高(低)的鲁棒性
此处预设权重的作用：1、如果前一帧中该像素被判定为运动，则降低其权重。2、给远距离的像素（更可能为场景中的静态部分）更大的权重。

场景流和背景分割

本文中的分割是在k-means聚类的基础上，经过鲁棒的历程记包装图片后，场景流仍然具有较高的光照和几何残差，而背景具有较低的光照和几何残差，理论上以残差为分割标准足以将图片分为静态和动态部分，但是在实际中这个过程是更加复杂的，因为残差并不总能很好的反映图像的对齐程度。
1、强度和深度图像很难完美地配准，这意味着可能有部分场景流（背景）像素匹配为背景（场景流）像素的强度，因此，即使有些聚类类别很好地对齐了，但是仍然会表现高的残差。
2、闭合像素即使是被很好地对齐了，也会有很高的残差。
3、深度估计误差随深度成比例增大，因此距离相机远的聚类类别往往比距离较近的类别有更高的残差。
解决以上三个问题的方案分为两步：
1、每个聚类类别都计算一个鲁棒的残差度量（感觉类似于归一化）
2、基于平均残差、几何残差和之前的分割结果够造最小化问题

场景流估计和里程计重定义

之前的工作已经得到了一个向量，其中的每个维度记录着将一个聚类类别判断为动态（场景流）的概率，接下来就进行场景流估计和里程计重定义
在以聚类为单位将图片分类成动态（场景流）和静态（背景）的过程中，此处用一个概率区域分割，而不是用简单的阈值分割，即大于2/3的聚类判断为场景流，小于1/3的聚类判断为北京，而在1/3和2/3之间的聚类将同时作用于场景流估计和里程计重定义。
每个运动钢体运动估计（里程计）的计算和里程计的重定义，都是通过解决类似计算里程计时的最优化问题来解决，式子如下：

与里程计计算中的最小化问题的不同：

• 累加个数：此处为每个聚类中像素的个数，而里程计计算时为图片中深度不为空的像素的个数
• 预设权重策略：此处是在图片被分割的基础上进行的优化问题，所以预设权重应该具有惩罚闭合像素区域和不连续区域（时间或空间梯度高）强化平滑区域的作用，这样来实现更加精确的解决方案