最初的目的是想做全景图像拼接,一开始找了OpenCV中自带的全景拼接的样例,用的是Stitcher类,可以很方便的实现全景拼接,而且效果很好,但是不利于做深入研究。
Stitcher类使用方法请查OpenCV API:http://docs.opencv.org/2.4.4/modules/refman.html,搜索Stitcher
使用OpenCV中自带的Stitcher类的全景图像拼接样例下载:http://download.csdn.net/detail/masikkk/5661075
图像拼接及源码下载参见此篇博文:基于SIFT特征的全景图像拼接
后来想用OpenCV中自带的SIFT特征检测器进行特征检测和拼接,但还是有隔靴搔痒的感觉,接触不到SIFT算法的本质,
看到网上大多数都是使用RobHess的SIFT源码,自己也下载了一份进行了分析。
RobHess的SIFT源码下载地址:http://robwhess.github.io/opensift/
一些SIFT算法和全景拼接测试用图下载,包含牛津大学网站上提供的测试图:http://download.csdn.net/detail/masikkk/5702749
一开始也是感觉比较乱,不知道怎么用,接触了一段时间后比较清晰了,下面说一下RobHess的SIFT源码中的几个文件都是做什么用的,方便刚接触的同学学习。
(1) imgfeatures.h和imgfeatures.c文件
imgfeatures.h中有SIFT特征点结构struct feature的定义,这个结构很重要,后面都要用到,除此之外还有一些特征点的导入导出以及特征点绘制函数的声明。
对应的imgfeatures.c文件中是特征点的导入导出以及特征点绘制函数的实现。
imgfeatures.h和imgfeatures.c的源码分析在这里:RobHess的SIFT源码分析:imgfeatures.h和imgfeatures.c文件
里面有特征点结构struct feature的详细说明。
(2) utils.h和utils.c文件
这两个文件中是一些图像基本操作的函数,包括:
1、获取某位置的像素点
2、设置某位置的像素点(8位,32位和64位),
3、计算两点之间的距离的平方
4、在图片某一点画一个“X”
5、将两张图片合成为一个(在特征匹配中用到),高是二者之和,宽是二者的较大者。
(3) sift.h和sift.c文件
这两个是最重要的,里面的内容说白了很简单,就是两个特征点检测函数sift_features()和 _sift_features(),
sift_features()是用默认参数进行特征点检测, _sift_features()允许用户输入各种检测参数,其实sift_features()中也是再次调用_sift_features()函数。
所以,你只需提供原图像和存储特征点的数组以及其他一些检测参数,然后调用sift_features()或 _sift_features()就可完成SIFT特征点检测。
但是这两个文件分析起来也是最复杂的。
sift.h中有默认的各种特征检测中用到的参数的宏定义,sift.c中是检测函数的实现,是最核心的一个文件,里面的一些未暴露接口的本地函数就有31个之多。
仔细分析完后发现大神就是大神,程序写的条理非常清楚,尤其是函数_sift_features()的函数体,从头到尾的几部分正好对应SIFT算法的几个步骤,
把一些细节全部放在子函数中,非常清楚明了。
关于SIFT算法的原理,可以参加下面几篇文章,写的都不错:
小魏的SIFT原理与源码分析系列文章:【OpenCV】SIFT原理与源码分析
zddmail的SIFT算法详解,讲的不错,尤其一些细节讲的与众不同:SIFT算法详解
Rachel-Zhang的SIFT算法分析:SIFT特征提取分析
July的经典算法研究系列中的SIFT算法分析:经典算法研究系列:九、图像特征提取与匹配之SIFT算法
以及July的教你一步一步实现SIFT算法:九之再续:教你一步一步用c语言实现sift算法、上
tornadomeet的SIFT算法分析:特征点检测学习_1(sift算法)
以及这篇博客中的SIFT算法分析:SIFT 特征提取算法总结
还有这篇结合RobHess源码的SIFT算法分析:SIFT算法研究
还有我觉得讲的挺详细的一篇文章:http://download.csdn.net/detail/masikkk/5661453
或者你也可以直接读David.Lowe发表的英文原版论文:
David.Lowe1999年发表在ICCV的SIFT论文:http://download.csdn.net/detail/masikkk/5661441
David.Lowe2004年发表在IJCV的SIFT改进论文:http://download.csdn.net/detail/masikkk/5661447
sift.h和sift.c的源码分析在这里:RobHess的SIFT源码分析:sift.h和sift.c文件
(4) minpq.h和minpq.c文件
这两个文件中实现了最小优先级队列(Minimizing Priority Queue),也就是小顶堆,在k-d树的建立和搜索过程中要用到。
(5) kdtree.h和kdtree.c文件
这两个文件中实现了k-d树的建立以及用BBF(Best Bin First)算法搜索匹配点的函数。
如果你需要对两个图片中的特征点进行匹配,就要用到这两个文件。
关于k-d树算法的讲解,可参考这篇文章:k-d tree算法
以及这篇:k-d tree算法的研究
还有这篇,里面讲解了k-d树,BBF和RANSAC:SIFT特征点匹配与消除错配:BBF,RANSAC
以及July的一篇:从K近邻算法、距离度量谈到KD树、SIFT+BBF算法
kdtree.h和kdtree.c的源码分析在这里:RobHess的SIFT源码分析:kdtree.h和kdtree.c文件
(6) xform.h和xform.c文件
这两个文件中实现了RANSAC算法(RANdom SAmple Consensus 随机抽样一致)。
RANSAC算法可用来筛选两个图像间的SIFT特征匹配并计算变换矩阵。
你可以单纯利用RANSAC算法筛选两个图像间的SIFT特征匹配,以得到更好的匹配结果,
见此文:利用RANSAC算法筛选SIFT特征匹配
或者想要进行全景拼接时,利用RANSAC算法计算两个图像间的变换矩阵。
关于RANSAC算法的讲解,可参考这篇文章:随机抽样一致 RANSAC
以及这篇,里面有用RANSAC算法解决线性回归问题的例子:我的数学之美(一)——RANSAC算法详解
以及这篇,里面讲解了k-d树,BBF和RANSAC:SIFT特征点匹配与消除错配:BBF,RANSAC
xform.h和xform.c的源码分析在这里:RobHess的SIFT源码分析:xform.h和xform.c文件
(7) 其他文件:dspfeat.c,match.c,siftfeat.c
这几个文件中是一些使用SIFT算法的小例子:
dspfeat.c文件可以从预先保存的特征点文件中读取特征点并显示在图片上。
match.c文件可以检测两个图像中的特征点并进行匹配。
siftfeat.c文件利用SIFT算法检测特征点,有一些控制台操作提示。