高翔Slambook第七讲代码解读（特征点提取）

前言：小白创建了一个微信公众号，主要面向学习视觉的小伙伴，分享一些学习过程中的感受和一些技术文章。公众号里文章也会更新在CSDN中，不过由于工作量较大，会出现一段时间的延时，感兴趣的小伙伴可以关注公众号第一时间接受消息。

---

作者：小白

公众号：小白学视觉

---

作为一个视觉SLAM的入门学徒，高翔的书我看了一遍，视频也跟了一遍，代码在自己的电脑上也跑过，但总觉得跟啥都没学没有太大区别。

于是乎决定开始看代码。由于不是计算机专业的本科，看代码比较生疏所以一直以来都是在逃避在敷衍，现在一看确实不落实到代码层面是干脆不行的。高翔的slambook前几讲都是相对比较基础的内容，直到第七讲视觉里程计才有相对切实的应用，那么我准备从第七讲的代码开始下手。

第七讲共五个程序：特征点提取、三种位姿估计方式：2d-2d、3d-2d、3d-3d，和三角化测量。

其中特征点提取是剩余所有程序的一个基础，也作为一个封装好的函数进行调用，那么不妨先从特征点提取这个基础程序开始看。

由于我代码基础较为薄弱，自学能力也较弱，所以本篇内容写得相对基础与啰嗦。对特征点提取这里稔熟于心的同学可以取干别的了，不必在这里浪费时间~

首先，明确一下特征点提取的目的与步骤：

• 目的：在每张图像中找到“区分度较高”的像素点，这里“区分度较高”具体为FAST角点。

• 步骤：高翔的代码注释写的也很全面，步骤基本上可以分为

1. 读取图像

2. 初始化存储特征点数据的变量

3. 提取每张图像的FAST角点

4. 计算每张图像每个FAST角点的BRIEF描述子

5. 根据刚刚计算好的BRIEF描述子，对两张图的角点进行匹配

6. 筛去匹配度较差的角点配对

7. 绘制匹配结果

好了，在把高翔的注释抄了一遍之后，咱们来开始看代码。

#include 
#include 
#include 
#include 

using namespace std;
using namespace cv;

int main ( int argc, char** argv )
{
   if ( argc != 3 )
   {
       cout<<"usage: feature_extraction img1 img2"< keypoints_1, keypoints_2;
   Mat descriptors_1, descriptors_2;
   Ptr detector = ORB::create();
   Ptr descriptor = ORB::create();
   // Ptr detector = FeatureDetector::create(detector_name);
   // Ptr descriptor = DescriptorExtractor::create(descriptor_name);
   Ptr matcher  = DescriptorMatcher::create ( "BruteForce-Hamming" );

   //-- 第一步:检测 Oriented FAST 角点位置
   detector->detect ( img_1,keypoints_1 );
   detector->detect ( img_2,keypoints_2 );

   //-- 第二步:根据角点位置计算 BRIEF 描述子
   descriptor->compute ( img_1, keypoints_1, descriptors_1 );
   descriptor->compute ( img_2, keypoints_2, descriptors_2 );

   Mat outimg1;
   drawKeypoints( img_1, keypoints_1, outimg1, Scalar::all(-1), DrawMatchesFlags::DEFAULT );
   imshow("ORB特征点",outimg1);

   //-- 第三步:对两幅图像中的BRIEF描述子进行匹配，使用 Hamming 距离
   vector matches;
   //BFMatcher matcher ( NORM_HAMMING );
   matcher->match ( descriptors_1, descriptors_2, matches );

   //-- 第四步:匹配点对筛选
   double min_dist=10000, max_dist=0;

   //找出所有匹配之间的最小距离和最大距离, 即是最相似的和最不相似的两组点之间的距离
   for ( int i = 0; i < descriptors_1.rows; i++ )
   {
       double dist = matches[i].distance;
       if ( dist < min_dist ) min_dist = dist;
       if ( dist > max_dist ) max_dist = dist;
   }
   
   printf ( "-- Max dist : %f \n", max_dist );
   printf ( "-- Min dist : %f \n", min_dist );

   //当描述子之间的距离大于两倍的最小距离时,即认为匹配有误.但有时候最小距离会非常小,设置一个经验值30作为下限.
   std::vector< DMatch > good_matches;
   for ( int i = 0; i < descriptors_1.rows; i++ )
   {
       if ( matches[i].distance <= max ( 2*min_dist, 30.0 ) )
       {
           good_matches.push_back ( matches[i] );
       }
   }

   //-- 第五步:绘制匹配结果
   Mat img_match;
   Mat img_goodmatch;
   drawMatches ( img_1, keypoints_1, img_2, keypoints_2, matches, img_match );
   drawMatches ( img_1, keypoints_1, img_2, keypoints_2, good_matches, img_goodmatch );
   imshow ( "所有匹配点对", img_match );
   imshow ( "优化后匹配点对", img_goodmatch );
   waitKey(0);

   return 0;
}

小绿的基础比较薄弱，所以代码部分任何令我产生新鲜感的部分我都会摘出来进行一些解读，咱们边走边瞧。

argc参数

if ( argc != 3 )
   {
       cout<<"usage: feature_extraction img1 img2"<

这里argc存储了传入程序的参数个数，由于第一个参数默认是程序本身，又传入了两张图片，因此参数个数为3个。

imread函数与cv::Mat类

Mat img_1 = imread ( argv[1], CV_LOAD_IMAGE_COLOR );
Mat img_2 = imread ( argv[2], CV_LOAD_IMAGE_COLOR );

创建了两个Mat类型的变量img_1和img_2，分别使用imread函数将argv[1]和argv[2]所指向的两个参数按照彩色图像的方式读入，并存储到img_1和img_2中。其中，Mat类型是OpenCV定义的一个类，其维度不需要像定义一个二维数组变量一样去明确指定，而是会适应你去初始化时所需要的维度。这里img_1和img_2存储了两张图像的颜色信息，其维度为2维，大小为480*640（这里存储数据的矩阵维度并非480*640，而是480*(640*3)，因为要存储每个像素点的BGR信息，因此每个像素的信息对应1行和3列）。

KeyPoint类与vector容器

vector keypoints_1, keypoints_2;

首先，这里定义了两个vector容器keypoints_1和 keypoints_2，存放的对象则是KeyPoint类型的。可以看出这两个容器是准备存放两张图像所提取出的特征点的。那么对于特征点，我们知道最起码需要确定他在图像中的位置，进而如果需要使用改进BRIEF去计算其描述子，我们还需知道其方向，等等。那么现在可以来看一下KeyPoint类型的对象分别有哪些成员变量：

• angle：角度，表示关键点的方向。为了保证方向不变形，SIFT算法通过对关键点周围邻域进行梯度运算，求得该点方向。

• class_id：当要对图片进行分类时，我们可以用class_id对每个特征点进行区分，未设定时为-1，需要靠自己设定。

• octave：代表是从金字塔哪一层提取的得到的数据。

• pt：关键点的坐标。

• response：响应程度，代表该点强壮大小。

• size：该点直径的大小。

之后我们便可以调用函数来提取每个图像中的特征点信息，并存放于两个vcetor容器中。

三个智能指针cv::Ptr

Ptr detector = ORB::create();
Ptr descriptor = ORB::create();
Ptr matcher  = DescriptorMatcher::create ( "BruteForce-Hamming" );

网上都说“FeatureDetetor是虚类，通过定义FeatureDetector的对象可以使用多种特征检测方法。通过create()函数调用”。这里定义了三个智能指针cv::Ptr，而什么是虚类，我也不是很明白，而且确实一时半会也搞不透，不如先当做一个黑箱放在这。

//-- 第一步:检测 Oriented FAST 角点位置
   detector->detect ( img_1,keypoints_1 );
   detector->detect ( img_2,keypoints_2 );

   //-- 第二步:根据角点位置计算 BRIEF 描述子
   descriptor->compute ( img_1, keypoints_1, descriptors_1 );
   descriptor->compute ( img_2, keypoints_2, descriptors_2 );

进而，我们能通过刚定义的detector中的detect函数，将img中的像素进行分析处理，并将提取出的特征点存于keypoints容器中；之后再使用刚定义的descriptor中的compute函数，对每张img中keypoints所对应的每个像素点进行描述子的计算，并存于Mat类变量descriptor中。

DrawKeypoints函数

Mat outimg1;
drawKeypoints( img_1, keypoints_1, outimg1, Scalar::all(-1), DrawMatchesFlags::DEFAULT );
imshow("ORB特征点",outimg1);

这里首先定义了一个Mat类变量outimg1，顾名思义是要将特征点在img1上画出来并存为一个新的图像来进行展示。调用了drawKeypoints函数使用默认值将img_1与keypoints_1中存储的特征点进行圈画，存于outimg1后用imshow函数呈现。

DMatch类

vector matches;
matcher->match ( descriptors_1, descriptors_2, matches );

这里又定义了一个容器，存储的对象类型为cv::DMatch。DMatch类型的变量用来存储特征点之间的匹配情况，每个变量有四个成员对象：queryIdx、trainIdx、imgIdx、distance。在不考虑图像下标imgIdx时，queryIdx与trainIdx构成了一组匹配好的特征点分别在两张图像内的索引，分别是所选中的特征点在所对应的keypoints容器中对应的标号。Distance代表配好对的特征点之间的距离，这里使用汉明距离，距离越小越好。

进而，使用matcher中的match函数，将存有描述子信息的Mat类变量descriptors_1与descriptors_2进行相似度匹配，并存于matches容器中。

drawMatches函数

Mat img_match;
drawMatches ( img_1, keypoints_1, img_2, keypoints_2, matches, img_match );

这里调用drawMatches函数对两张图像img_1、img_2以及其之间的特征点配对进行连线与拼接，将左右两张图拼接成一张图并存入Mat类型对象img_match中。

至此，高翔ch7中的feature_extraction.cpp中的代码我已经梳理差不多了。能读懂的地方读懂了，读不太懂的地方百度了，实在不懂的地方当做黑箱日后再学了。我们来看一下程序的运行结果。

图1 img_1与该帧图像中提取的FAST特征点                  

图2 使用暴力匹配后的特征点配对情况

图3 对特征点对距离distance进行筛选后的优化配对结果

小绿今天就先写到这里，写完深知自己的代码文凭极低，很多最基本的东西还需要百度，但其实自己很菜的话还是可以带给大家更好的亲和度，总之希望自己能一点点进步吧。第一次公众号发文，未免生疏，日后请多多包涵！