随机抽样一致性算法

随机抽样一致性算法(RANSAC)

作者:王先荣
    本文翻译自维基百科,英文原文地址是:http://en.wikipedia.org/wiki/ransac,如果您英语不错,建议您直接查看原文。
    RANSAC是“RANdom SAmple Consensus(随机抽样一致)”的缩写。它可以从一组包含“局外点”的观测数据集中,通过迭代方式估计数学模型的参数。它是一种不确定的算法——它有一定的概率得出一个合理的结果;为了提高概率必须提高迭代次数。该算法最早由Fischler和Bolles于1981年提出。
    RANSAC的基本假设是:
(1)数据由“局内点”组成,例如:数据的分布可以用一些模型参数来解释;
(2)“局外点”是不能适应该模型的数据;
(3)除此之外的数据属于噪声。
    局外点产生的原因有:噪声的极值;错误的测量方法;对数据的错误假设。
    RANSAC也做了以下假设:给定一组(通常很小的)局内点,存在一个可以估计模型参数的过程;而该模型能够解释或者适用于局内点。

本文内容
1 示例
2 概述
3 算法
4 参数
5 优点与缺点
6 应用
7 参考文献
8 外部链接

一、示例
    一个简单的例子是从一组观测数据中找出合适的2维直线。假设观测数据中包含局内点和局外点,其中局内点近似的被直线所通过,而局外点远离于直线。简单的最小二乘法不能找到适应于局内点的直线,原因是最小二乘法尽量去适应包括局外点在内的所有点。相反,RANSAC能得出一个仅仅用局内点计算出模型,并且概率还足够高。但是,RANSAC并不能保证结果一定正确,为了保证算法有足够高的合理概率,我们必须小心的选择算法的参数。

左图:包含很多局外点的数据集       右图:RANSAC找到的直线(局外点并不影响结果)


二、概述
    RANSAC算法的输入是一组观测数据,一个可以解释或者适应于观测数据的参数化模型,一些可信的参数。
    RANSAC通过反复选择数据中的一组随机子集来达成目标。被选取的子集被假设为局内点,并用下述方法进行验证:
    1.有一个模型适应于假设的局内点,即所有的未知参数都能从假设的局内点计算得出。
    2.用1中得到的模型去测试所有的其它数据,如果某个点适用于估计的模型,认为它也是局内点。
    3.如果有足够多的点被归类为假设的局内点,那么估计的模型就足够合理。
    4.然后,用所有假设的局内点去重新估计模型,因为它仅仅被初始的假设局内点估计过。
    5.最后,通过估计局内点与模型的错误率来评估模型。
    这个过程被重复执行固定的次数,每次产生的模型要么因为局内点太少而被舍弃,要么因为比现有的模型更好而被选用。


三、算法
    伪码形式的算法如下所示:
输入:
data —— 一组观测数据
model —— 适应于数据的模型
n —— 适用于模型的最少数据个数
k —— 算法的迭代次数
t —— 用于决定数据是否适应于模型的阀值
d —— 判定模型是否适用于数据集的数据数目
输出:
best_model —— 跟数据最匹配的模型参数(如果没有找到好的模型,返回null)
best_consensus_set —— 估计出模型的数据点
best_error —— 跟数据相关的估计出的模型错误

iterations = 0
best_model = null
best_consensus_set = null
best_error = 无穷大
while ( iterations < k )
    maybe_inliers = 从数据集中随机选择n个点
    maybe_model = 适合于maybe_inliers的模型参数
    consensus_set = maybe_inliers

    for ( 每个数据集中不属于maybe_inliers的点 )
        if ( 如果点适合于maybe_model,且错误小于t )
            将点添加到consensus_set
    if ( consensus_set中的元素数目大于d )
        已经找到了好的模型,现在测试该模型到底有多好
        better_model = 适合于consensus_set中所有点的模型参数
        this_error = better_model究竟如何适合这些点的度量
        if ( this_error < best_error )
            我们发现了比以前好的模型,保存该模型直到更好的模型出现
            best_model =  better_model
            best_consensus_set = consensus_set
            best_error =  this_error
    增加迭代次数
返回 best_model, best_consensus_set, best_error

    RANSAC算法的可能变化包括以下几种:
    (1)如果发现了一种足够好的模型(该模型有足够小的错误率),则跳出主循环。这样可能会节约计算额外参数的时间。
    (2)直接从maybe_model计算this_error,而不从consensus_set重新估计模型。这样可能会节约比较两种模型错误的时间,但可能会对噪声更敏感。

四、参数
    我们不得不根据特定的问题和数据集通过实验来确定参数t和d。然而参数k(迭代次数)可以从理论结果推断。当我们从估计模型参数时,用p表示一些迭代过程中从数据集内随机选取出的点均为局内点的概率;此时,结果模型很可能有用,因此p也表征了算法产生有用结果的概率。用w表示每次从数据集中选取一个局内点的概率,如下式所示:
    w = 局内点的数目 / 数据集的数目
    通常情况下,我们事先并不知道w的值,但是可以给出一些鲁棒的值。假设估计模型需要选定n个点,wn是所有n个点均为局内点的概率;1 − wn是n个点中至少有一个点为局外点的概率,此时表明我们从数据集中估计出了一个不好的模型。 (1 − wn)k表示算法永远都不会选择到n个点均为局内点的概率,它和1-p相同。因此,
    1 − p = (1 − wn)k
    我们对上式的两边取对数,得出
    
    值得注意的是,这个结果假设n个点都是独立选择的;也就是说,某个点被选定之后,它可能会被后续的迭代过程重复选定到。这种方法通常都不合理,由此推导出的k值被看作是选取不重复点的上限。例如,要从上图中的数据集寻找适合的直线,RANSAC算法通常在每次迭代时选取2个点,计算通过这两点的直线maybe_model,要求这两点必须唯一。
    为了得到更可信的参数,标准偏差或它的乘积可以被加到k上。k的标准偏差定义为:
    
五、优点与缺点
    RANSAC的优点是它能鲁棒的估计模型参数。例如,它能从包含大量局外点的数据集中估计出高精度的参数。RANSAC的缺点是它计算参数的迭代次数没有上限;如果设置迭代次数的上限,得到的结果可能不是最优的结果,甚至可能得到错误的结果。RANSAC只有一定的概率得到可信的模型,概率与迭代次数成正比。RANSAC的另一个缺点是它要求设置跟问题相关的阀值。
    RANSAC只能从特定的数据集中估计出一个模型,如果存在两个(或多个)模型,RANSAC不能找到别的模型。


六、应用
    RANSAC算法经常用于计算机视觉,例如同时求解相关问题与估计立体摄像机的基础矩阵。


七、参考文献

  • Martin A. Fischler and Robert C. Bolles (June 1981). "Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography". Comm. of the ACM 24: 381–395.doi:10.1145/358669.358692.
  • David A. Forsyth and Jean Ponce (2003). Computer Vision, a modern approach. Prentice Hall. ISBN 0-13-085198-1.
  • Richard Hartley and Andrew Zisserman (2003). Multiple View Geometry in Computer Vision (2nd ed.). Cambridge University Press.
  • P.H.S. Torr and D.W. Murray (1997). "The Development and Comparison of Robust Methods for Estimating the Fundamental Matrix". International Journal of Computer Vision 24: 271–300. doi:10.1023/A:1007927408552.
  • Ondrej Chum (2005). "Two-View Geometry Estimation by Random Sample and Consensus". PhD Thesis.http://cmp.felk.cvut.cz/~chum/Teze/Chum-PhD.pdf
  • Sunglok Choi, Taemin Kim, and Wonpil Yu (2009). "Performance Evaluation of RANSAC Family". In Proceedings of the British Machine Vision Conference (BMVC). http://www.bmva.org/bmvc/2009/Papers/Paper355/Paper355.pdf.

八、外部链接

  • RANSAC Toolbox for MATLAB. A research (and didactic) oriented toolbox to explore the RANSAC algorithm inMATLAB. It is highly configurable and contains the routines to solve a few relevant estimation problems.
  • Implementation in C++ as a generic template.
  • RANSAC for Dummies A simple tutorial with many examples that uses the RANSAC Toolbox for MATLAB.
  • 25 Years of RANSAC Workshop

九、后话

    本文在翻译的过程中参考了沈乐君的文章《随机抽样一致性算法RANSAC源程序和教程》。Ziv Yaniv已经用C++实现了RANSAC,您可以点击这里下载源程序。

不过,如果时间允许的话,我打算自己动手用C#去实现RANSAC算法,原因有两个:

    (1)熟悉算法的最佳途径是自己去实现它;

    (2)方便使用.net的同志们利用RANSAC。

    感谢您耐心看完我的蹩脚翻译,希望对您有所帮助。

RANSAC C++ examples

 

 

1. RANSAC algorithm


MRPT comprises a generic C++ implementation of this robust model fit algorithm.
For a theoretical description of the algorithm, refer to this Wikipedia article and the cites herein.

See also the excellent MATLAB toolkit by Kovesi, on which MRPT's implementation is strongly based.

Note: In MRPT 0.9.4 a new RANSAC implementation was introduced which can be used to fit a model using both RANSAC and a simple genetic-like modification of RANSAC. Refer to the template class mrpt::math::ModelSearch.
 

2. C++ Examples


A few sample applications of RANSAC are provided with MRPT. The generic implementation can be found in the class mrpt::math::RANSAC_template, whose main method is:

01 static bool mrpt::math::RANSAC_Template< NUMTYPE >::execute (
02     const CMatrixTemplateNumeric< NUMTYPE > & data,
03     TRansacFitFunctor                         fit_func,
04     TRansacDistanceFunctor                    dist_func,
05     TRansacDegenerateFunctor                  degen_func,
06     const double                              distanceThreshold,
07     const unsigned int                        minimumSizeSamplesToFit,
08     mrpt::vector_size_t                     & out_best_inliers,
09     CMatrixTemplateNumeric< NUMTYPE >       & out_best_model,
10     bool                                      verbose = false,
11     const double                              prob_good_sample = 0.999,
12     const size_t                              maxIter = 2000
13     

For the complete documentation of this class, please see mrpt::math::RANSAC_Template<>.

A complete example of how to use this templatized version can be found in: http://mrpt.googlecode.com/svn/trunk/samples/ransac-demo-plane3D/

There exist as well other application-specific methods (like the N-planes detector), which instantiate the generic template to offer a more user-friendly interface for each specific problem. See mrpt::math::ransac_detect_3D_planes and the "RANSAC detectors" module, part of the library mrpt-base.
 

 

2.1 Fit a 3D plane


The source for this example can be found in: http://mrpt.googlecode.com/svn/trunk/samples/ransac-demo-plane3D

This is the resulting fit plane. Average execution time for 300 inliers and 100 outliers is 0.5 milliseconds on a Pentium M @ 2.0Ghz.
 



2.2 Fit a number of 3D planes


The source for this example can be found in http://mrpt.googlecode.com/svn/trunk/samples/ransac-demo-applications.
The method tries to identify an unknown number of planes in a point cloud, given a threshold for considering a point as an inlier and a minimum number of inliers to consider a plane hypothesis as valid. Average execution time for 3 planes x 300 inliers and 300 outliers is 60ms on a Pentium M @ 2.0Ghz.



2.3 Fit a number of 2D lines


The source for this example can be found in http://mrpt.googlecode.com/svn/trunk/samples/ransac-demo-applications.
These are the resulting fit lines.


 

2.4. Data association with RANSAC

See: Example:ransac-data-association.

 

Applications[edit]

The RANSAC algorithm is often used in computer vision, e.g., to simultaneously solve the correspondence problem and estimate the fundamental matrixrelated to a pair of stereo cameras.

我的数学之美(一)——RANSAC算法详解

    博客分类: 
  • 图像识别、机器学习、数据挖掘
算法 C C++ C# J#
给定两个点p1与p2的坐标,确定这两点所构成的直线,要求对于输入的任意点p3,都可以判断它是否在该直线上。初中解析几何知识告诉我们,判断一个点在直线上,只需其与直线上任意两点点斜率都相同即可。实际操作当中,往往会先根据已知的两点算出直线的表达式(点斜式、截距式等等),然后通过向量计算即可方便地判断p3是否在该直线上。 

生产实践中的数据往往会有一定的偏差。例如我们知道两个变量X与Y之间呈线性关系,Y=aX+b,我们想确定参数a与b的具体值。通过实验,可以得到一组X与Y的测试值。虽然理论上两个未知数的方程只需要两组值即可确认,但由于系统误差的原因,任意取两点算出的a与b的值都不尽相同。我们希望的是,最后计算得出的理论模型与测试值的误差最小。大学的高等数学课程中,详细阐述了最小二乘法的思想。通过计算最小均方差关于参数a、b的偏导数为零时的值。事实上,在很多情况下,最小二乘法都是线性回归的代名词。 

遗憾的是,最小二乘法只适合与误差较小的情况。试想一下这种情况,假使需要从一个噪音较大的数据集中提取模型(比方说只有20%的数据时符合模型的)时,最小二乘法就显得力不从心了。例如下图,肉眼可以很轻易地看出一条直线(模式),但算法却找错了。 



RANSAC算法的输入是一组观测数据(往往含有较大的噪声或无效点),一个用于解释观测数据的参数化模型以及一些可信的参数。RANSAC通过反复选择数据中的一组随机子集来达成目标。被选取的子集被假设为局内点,并用下述方法进行验证: 

  • 有一个模型适应于假设的局内点,即所有的未知参数都能从假设的局内点计算得出。
  • 用1中得到的模型去测试所有的其它数据,如果某个点适用于估计的模型,认为它也是局内点。
  • 如果有足够多的点被归类为假设的局内点,那么估计的模型就足够合理。
  • 然后,用所有假设的局内点去重新估计模型(譬如使用最小二乘法),因为它仅仅被初始的假设局内点估计过。
  • 最后,通过估计局内点与模型的错误率来评估模型。
  • 上述过程被重复执行固定的次数,每次产生的模型要么因为局内点太少而被舍弃,要么因为比现有的模型更好而被选用。


整个过程可参考下图: 



关于算法的源代码,Ziv Yaniv曾经写一个不错的C++版本,我在关键处增补了注释: 
C代码   收藏代码
  1. #include   
  2. #include "LineParamEstimator.h"  
  3.   
  4. LineParamEstimator::LineParamEstimator(double delta) : m_deltaSquared(delta*delta) {}  
  5. /*****************************************************************************/  
  6. /* 
  7.  * Compute the line parameters  [n_x,n_y,a_x,a_y] 
  8.  * 通过输入的两点来确定所在直线,采用法线向量的方式来表示,以兼容平行或垂直的情况 
  9.  * 其中n_x,n_y为归一化后,与原点构成的法线向量,a_x,a_y为直线上任意一点 
  10.  */  
  11. void LineParamEstimator::estimate(std::vector &data,   
  12.                                                                     std::vector<double> ¶meters)  
  13. {  
  14.     parameters.clear();  
  15.     if(data.size()<2)  
  16.         return;  
  17.     double nx = data[1]->y - data[0]->y;  
  18.     double ny = data[0]->x - data[1]->x;// 原始直线的斜率为K,则法线的斜率为-1/k  
  19.     double norm = sqrt(nx*nx + ny*ny);  
  20.       
  21.     parameters.push_back(nx/norm);  
  22.     parameters.push_back(ny/norm);  
  23.     parameters.push_back(data[0]->x);  
  24.     parameters.push_back(data[0]->y);          
  25. }  
  26. /*****************************************************************************/  
  27. /* 
  28.  * Compute the line parameters  [n_x,n_y,a_x,a_y] 
  29.  * 使用最小二乘法,从输入点中拟合出确定直线模型的所需参量 
  30.  */  
  31. void LineParamEstimator::leastSquaresEstimate(std::vector &data,   
  32.                                                                                             std::vector<double> ¶meters)  
  33. {  
  34.     double meanX, meanY, nx, ny, norm;  
  35.     double covMat11, covMat12, covMat21, covMat22; // The entries of the symmetric covarinace matrix  
  36.     int i, dataSize = data.size();  
  37.   
  38.     parameters.clear();  
  39.     if(data.size()<2)  
  40.         return;  
  41.   
  42.     meanX = meanY = 0.0;  
  43.     covMat11 = covMat12 = covMat21 = covMat22 = 0;  
  44.     for(i=0; i
  45.         meanX +=data[i]->x;  
  46.         meanY +=data[i]->y;  
  47.   
  48.         covMat11    +=data[i]->x * data[i]->x;  
  49.         covMat12    +=data[i]->x * data[i]->y;  
  50.         covMat22    +=data[i]->y * data[i]->y;  
  51.     }  
  52.   
  53.     meanX/=dataSize;  
  54.     meanY/=dataSize;  
  55.   
  56.     covMat11 -= dataSize*meanX*meanX;  
  57.         covMat12 -= dataSize*meanX*meanY;  
  58.     covMat22 -= dataSize*meanY*meanY;  
  59.     covMat21 = covMat12;  
  60.   
  61.     if(covMat11<1e-12) {  
  62.         nx = 1.0;  
  63.             ny = 0.0;  
  64.     }  
  65.     else {      //lamda1 is the largest eigen-value of the covariance matrix   
  66.                //and is used to compute the eigne-vector corresponding to the smallest  
  67.                //eigenvalue, which isn't computed explicitly.  
  68.         double lamda1 = (covMat11 + covMat22 + sqrt((covMat11-covMat22)*(covMat11-covMat22) + 4*covMat12*covMat12)) / 2.0;  
  69.         nx = -covMat12;  
  70.         ny = lamda1 - covMat22;  
  71.         norm = sqrt(nx*nx + ny*ny);  
  72.         nx/=norm;  
  73.         ny/=norm;  
  74.     }  
  75.     parameters.push_back(nx);  
  76.     parameters.push_back(ny);  
  77.     parameters.push_back(meanX);  
  78.     parameters.push_back(meanY);  
  79. }  
  80. /*****************************************************************************/  
  81. /* 
  82.  * Given the line parameters  [n_x,n_y,a_x,a_y] check if 
  83.  * [n_x, n_y] dot [data.x-a_x, data.y-a_y] < m_delta 
  84.  * 通过与已知法线的点乘结果,确定待测点与已知直线的匹配程度;结果越小则越符合,为 
  85.  * 零则表明点在直线上 
  86.  */  
  87. bool LineParamEstimator::agree(std::vector<double> ¶meters, Point2D &data)  
  88. {  
  89.     double signedDistance = parameters[0]*(data.x-parameters[2]) + parameters[1]*(data.y-parameters[3]);   
  90.     return ((signedDistance*signedDistance) < m_deltaSquared);  
  91. }  


RANSAC寻找匹配的代码如下: 
C代码   收藏代码
  1. /*****************************************************************************/  
  2. template<class T, class S>  
  3. double Ransac::compute(std::vector ¶meters,   
  4.                                                       ParameterEsitmator *paramEstimator ,   
  5.                                                     std::vector &data,   
  6.                                                     int numForEstimate)  
  7. {  
  8.     std::vector leastSquaresEstimateData;  
  9.     int numDataObjects = data.size();  
  10.     int numVotesForBest = -1;  
  11.     int *arr = new int[numForEstimate];// numForEstimate表示拟合模型所需要的最少点数,对本例的直线来说,该值为2  
  12.     short *curVotes = new short[numDataObjects];  //one if data[i] agrees with the current model, otherwise zero  
  13.     short *bestVotes = new short[numDataObjects];  //one if data[i] agrees with the best model, otherwise zero  
  14.       
  15.   
  16.               //there are less data objects than the minimum required for an exact fit  
  17.     if(numDataObjects < numForEstimate)   
  18.         return 0;  
  19.         // 计算所有可能的直线,寻找其中误差最小的解。对于100点的直线拟合来说,大约需要100*99*0.5=4950次运算,复杂度无疑是庞大的。一般采用随机选取子集的方式。  
  20.     computeAllChoices(paramEstimator,data,numForEstimate,  
  21.                                         bestVotes, curVotes, numVotesForBest, 0, data.size(), numForEstimate, 0, arr);  
  22.   
  23.        //compute the least squares estimate using the largest sub set  
  24.     for(int j=0; j
  25.         if(bestVotes[j])  
  26.             leastSquaresEstimateData.push_back(&(data[j]));  
  27.     }  
  28.         // 对局内点再次用最小二乘法拟合出模型  
  29.     paramEstimator->leastSquaresEstimate(leastSquaresEstimateData,parameters);  
  30.   
  31.     delete [] arr;  
  32.     delete [] bestVotes;  
  33.     delete [] curVotes;   
  34.   
  35.     return (double)leastSquaresEstimateData.size()/(double)numDataObjects;  
  36. }  


在模型确定以及最大迭代次数允许的情况下,RANSAC总是能找到最优解。经过我的实验,对于包含80%误差的数据集,RANSAC的效果远优于直接的最小二乘法。 

RANSAC可以用于哪些场景呢?最著名的莫过于图片的拼接技术。优于镜头的限制,往往需要多张照片才能拍下那种巨幅的风景。在多幅图像合成时,事先会在待合成的图片中提取一些关键的特征点。计算机视觉的研究表明,不同视角下物体往往可以通过一个透视矩(3X3或2X2)阵的变换而得到。RANSAC被用于拟合这个模型的参数(矩阵各行列的值),由此便可识别出不同照片中的同一物体。可参考下图: 







另外,RANSAC还可以用于图像搜索时的纠错与物体识别定位。下图中,有几条直线是SIFT匹配算法的误判,RANSAC有效地将其识别,并将正确的模型(书本)用线框标注出来: 

 


References[edit]

  • Martin A. Fischler and Robert C. Bolles (June 1981). "Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography". Comm. of the ACM 24 (6): 381–395. doi:10.1145/358669.358692.
  • David A. Forsyth and Jean Ponce (2003). Computer Vision, a modern approach. Prentice Hall. ISBN 0-13-085198-1.
  • Richard Hartley and Andrew Zisserman (2003). Multiple View Geometry in Computer Vision (2nd ed.). Cambridge University Press.
  • P.H.S. Torr and D.W. Murray (1997). "The Development and Comparison of Robust Methods for Estimating the Fundamental Matrix". International Journal of Computer Vision 24 (3): 271–300. doi:10.1023/A:1007927408552.
  • Ondrej Chum (2005). "Two-View Geometry Estimation by Random Sample and Consensus". PhD Thesis
  • Sunglok Choi, Taemin Kim, and Wonpil Yu (2009). "Performance Evaluation of RANSAC Family". In Proceedings of the British Machine Vision Conference (BMVC).

External links[edit]

  • RANSAC Toolbox for MATLAB. A research (and didactic) oriented toolbox to explore the RANSAC algorithm in MATLAB. It is highly configurable and contains the routines to solve a few relevant estimation problems.
  • Implementation in C++ as a generic template.
  • RANSAC for Dummies A simple tutorial with many examples that uses the RANSAC Toolbox for MATLAB.
  • 25 Years of RANSAC Workshop
  • Source code for RANSAC in MATLAB
  • Ransac.js Javascript implementation with visual representation of the iterations (Example of 2D Line fitting).
  • ransac.py Python implementation for Scipy/Numpy.


你可能感兴趣的:(C++,Machine,learning,computer,vision)