MAGSAC：Marginalizing Sample Consensus

边缘化采样一致性

摘要

本文提出了一种称为阈值一致性（σ-consensus）的方法，以消除RANSAC中人为设定内点阈值的需求。该方法边缘化噪声，而不是估计噪声σ。该方法通过加权最小二乘法，求解最优模型，而最小二乘法的权重由数据为内点的边缘概率确定。本文提出了一种新的评估模型的质量函数，由于该函数不需要使用变量σ，因此也就不需要确定内点集，以评估模型的质量。同时，本文也提出了一种新的基于边缘化的迭代停止条件。通过采用阈值一致性，MAGSAC不需要人为定义内点阈值，且能显著提高鲁棒估计的精度。该方法在对极几何和单应矩阵的估计问题上，在公共数据集的测试中，几何估计的精度高于当前最优的算法。另外，如果把阈值一致性估计方法作为后处理的方法，应用在RANSAC中，即使仅仅使用一次，也能在很多视觉问题上明显提高估计的精度，同时也不会增加很多的计算量。本文的源码https://github.com/danini/magsac。

主要贡献

本文的主要贡献为：
1、提出了一种阈值一致性算法，该算法不在需要人为设定内点阈值，而仅仅需要知道内点阈值的最大可能值；
2、提出了一种新的模型质量评估函数，由于该函数与内点阈值无关，因此不必求解内点集以评估模型；
3、提出了一种新的迭代终止条件，以适配本文的估计方法。

算法流程

PS：本文要解决的问题是，传统的RANSAC方法，通常需要人为设定一个内点阈值，以求取一个内点集，进而对模型的质量进行评估，因此内点阈值会很大程度影响模型的评估，进而影响算法估计的精度。本文的做法是：将内点的阈值σ看作一个随机变量，由于模型的质量评估函数Q是关于σ的函数，因此Q也可以看作是一个随机变量，我们通过求解Q的期望，能够获取模型质量的平均值Q*，而求解该期望的过程，就是边缘化掉σ的过程。另一方面，当我们求解得到一个模型，通常我们会使用内点集中所有点，对模型进行一个优化（通常称为“局部优化”），但是在本文的方法中，由于不存在内点阈值σ，因此也就无法判断一个点是否为内点，亦即无法得到内点集，本文采取的做法是，虽然无法判断一个点是否为内点，但是通过边缘化σ，可以求解一个点为内点得概率，将其作为权重进行加权最小二乘法优化，从而对模型进行优化。最后，由于迭代次数的估计也和内点阈值σ有关，同样通过边缘化σ的方法，求解新的迭代次数。下面对这一方法作具体的介绍：
相对于传统的RANSAC方法，本文的方法主要从三方面进行改进：模型质量评估、模型局部优化、迭代条件。

1、 模型质量评估

模型质量函数Q(θ, σ, P)是内点阈值σ的函数。现将内点阈值σ看作一个密度函数为f(σ)的随机变量，则Q(θ, σ, P)也为一个随机变量，可以通过该随机变量的期望Q∗作为模型质量的评估，即：

由于对σ的分布，我们没有任何先验信息，因此我们假设σ服从均匀分布。
此时：

我们假设内点的误差分布为一个卡方分布g(r | σ)（由于在求解内点误差时，往往采用二范数，即各维的平方和，如果假设各维数据服从独立的高斯分布，那么总无法将服从卡方分布），同时野点服从均匀分布。此时，模型的似然函数为：

如果采用该似然函数的对数作为模型质量函数Q，则可得：

由于边缘化掉了参数σ，因此该函数与σ无关。

2、 模型优化

给一个初始的模型θ，我们希望进一步优化得到θσ，通常情况下，这是通过采用所有的内点进行模型估计得到。然而，由于本文的方法中，没有指定的σ，因此也无法得到内点集。然而，每个点为内点的概率确是可以求取的：

通过边缘化掉σ，可以得到：

将该概率作为每个点的权重，进行加权最小二乘拟合，可进一步优化模型。

3、迭代条件

传统的RANSAC迭代次数依赖于内点率，而内点率依赖于内点阈值σ，因此，迭代次数也依赖于σ，即：

通过边缘化掉σ，可以求解新的迭代次数：

主要结果

本文将阈值一致性的方法应用在单应矩阵估计，及对极几何估计问题上，以验证算法的有效性。主要的实验结果如下：

图1. 合成数据集上单应矩阵估计结果。对比的方法包括：RANSAC, MSAC, LO-RANSAC, LO-MSAC。后缀”+σ”表示在该方法的输出结果上采用了阈值一致性进行后处理。图a-c展示了在0.95置信度下拟合误差随σ的变化。图d展示了平均的算法耗时（单位为s）。图e-f展示了使用真实内点率在置信度为0.999情况下的结果。

表1. 二视图对极几何估计精度。测试数据集包括：基本矩阵估计数据集（kusvod2，AdelaideRMF，Multi-H），单应矩阵估计数据集（homogr，EVD）和本质矩阵估计数据集（strecha）。该实验总共使用了545对图像。前三列分别为：数据集、求解问题、图像对数和属性。其他行显示了实验的平均结果（每对图片运行100次的平均结果），实验取置信度为95%。带”+σ”的列表示的将阈值一致性应用在其坐标的方法上的结果。每列的第一行为平均几何误差，第二、三行分别为平均处理时间和需要的样本数量。几何误差对于基本矩阵和本质矩阵估计问题来说，采用Sampson距离均方差，对于单应矩阵，采用重投影均方差。

Abstract
A method called, σ-consensus, is proposed to eliminate the need for a user-defined inlier-outlier threshold in RANSAC. Instead of estimating the noise σ, it is marginalized over a range of noise scales. The optimized model is obtained by weighted least-squares fitting where the weights come from the marginalization over σ of the point likelihoods of being inliers. A new quality function is proposed not requiring σ and, thus, a set of inliers to determine the model quality. Also, a new termination criterion for RANSAC is built on the proposed marginalization approach. Applying σ-consensus, MAGSAC is proposed with no need for a user-defined σ and improving the accuracy of robust estimation significantly. It is superior to the state-of-the-art in terms of geometric accuracy on publicly available real-world datasets for epipolar geometry (F and E) and homography estimation. In addition, applying σ-consensus only once as a post-processing step to the RANSAC output always improved the model quality on a wide range of vision problems without noticeable deterioration in processing time, adding a few milliseconds.