OpenCV中feature2D学习——自定义角点检测函数
概述
除了之前文章所说的利用Harris进行角点检测和利用Shi-Tomasi方法进行角点检测外，也可以自己制作角点检测的函数：使用cornerEigenValsAndVecs()函数和minMaxLoc()函数结合来模拟Harris角点检测，或者使用cornerMinEigenVal()函数和minMaxLoc()函数结合来模拟Shi-Tomasi角点检测，最后特征点选取的判断条件要根据实际情况进行选择。
cornerEigenValsAndVecs()函数
（1）函数原型
cornerEigenValsAndVecs()函数在角点检测中计算扫描图像块的特征向量与特征值，其函数原型如下：
C++: void cornerEigenValsAndVecs(InputArray src, OutputArray dst, int blockSize, int ksize, int borderType=BORDER_DEFAULT ); C: void cvCornerEigenValsAndVecs(const CvArr* image, CvArr* eigenvv, int block_size, int aperture_size=3 );
（2）函数参数
函数参数说明如下：
src：输入单通道8-bit或者浮点类型图像。
dst：用来存储结果的图像，大小与输入图像一致并且为CV_32FC(6)类型。
blockSize：邻域大小。
ksize：Sobel算子当中的核大小，只能取1、3、5、7（具体可参考这里：Sobel()）。
borderType：像素扩展的方法，因为在滤波处理的过程中会扩展图像边缘，每扩张一个边界像素，都需要计算出该像素点在原图中的位置，这个功能被提炼出来就变成了borderInterpolate()函数。该函数输入一个点坐标，返回他在原图中的坐标，关于这个函数的详细解释，参考：
1、在OpenCV中圖像邊界擴展 copyMakeBorder 的實現_人人IT網
2、borderInterpolate解释_Halley_新浪博客
（3）函数功能
对于每个像素点p，该函数考虑一个blockSize*blockSize的邻域S(p)，它在邻域上计算导数的协方差矩阵：
其中导数是使用Sobel()算子计算得到的。
随后，函数计算矩阵M的特征值和特征向量，并将它们以(λ1, λ2, x1, y1, x2,y2)的形式存储在目标图像dst中。其中λ1, λ2是M未经过排序的特征值；x1, y1是对应于λ1的特征向量；x2, y2是对应于λ2的特征向量。该函数的输出能够用于鲁棒的边缘或角点检测。
cornerMinEigenVal()函数
（1）函数原型
cornerMinEigenVal()函数在角点检测中计算梯度矩阵的最小特征值，其函数原型如下：
C++: void cornerMinEigenVal(InputArray src, OutputArray dst, int blockSize, int ksize=3, int borderType=BORDER_DEFAULT ); C: void cvCornerMinEigenVal(const CvArr* image, CvArr* eigenval, int block_size, int aperture_size=3 );
（2）函数参数
函数参数说明中除了dst必须为CV_32FC1类型以外，其它与cornerEigenValsAndVecs()函数的一致。
（3）函数功能
功能与cornerEigenValsAndVecs()函数相似，但是它只计算导数协方差矩阵的最小特征值，按照cornerEigenValsAndVecs()函数给定的特征值λ1, λ2来说就是min(λ1, λ2)。
代码示例
（1）采用cornerEigenValsAndVecs()函数和minMaxLoc()函数结合来模拟Harris角点检测的代码示例如下：
/**
* @使用cornerEigenValsAndVecs()函数模拟Harris角点检测
* @author holybin
*/
#include "opencv2/highgui/highgui.hpp"
#include "opencv2/imgproc/imgproc.hpp"
#include <iostream>
#include <stdio.h>
#include <stdlib.h>
using namespace cv;
using namespace std;
/// 全局变量
Mat src;
Mat srcGray, srcCopy; //srcCopy用于绘图，srcGray用于检测角点
Mat dstHarris; //dstHarris用于存储角点检测的结果
Mat resHarris; //resHarris用于存储特征点选择后的结果
/// 各类阈值
int HarrisQualityLevel = 50;
int maxQualityLevel = 100;
double HarrisMinVal = 0.0;
double HarrisMaxVal = 0.0;
char* HarrisWindow = "My Harris corner detector";
/// 角点检测函数声明
void HarrisFunction( int, void* );
int main( int argc, char** argv )
{
/// 载入图像并灰度化
src = imread("D:\\opencv_pic\\house_small.jpg", 1 );
cvtColor( src, srcGray, CV_BGR2GRAY );
/// 设置参数
int blockSize = 3;
int apertureSize = 3;
/// 使用cornerEigenValsAndVecs()函数检测角点
dstHarris = Mat::zeros( srcGray.size(), CV_32FC(6) );
resHarris = Mat::zeros( srcGray.size(), CV_32FC1 );
cornerEigenValsAndVecs( srcGray, dstHarris, blockSize, apertureSize, BORDER_DEFAULT );
/// 特征点选择
for( int j = 0; j < srcGray.rows; j++ )
{
for( int i = 0; i < srcGray.cols; i++ )
{
// 两个特征值
float* lambda = dstHarris.ptr<float>( j, i);
float lambda1 = lambda[0];
float lambda2 = lambda[1];
// 会报错!!!//
//float lambda1 = dstHarris.at<float>( j, i, 0);
//float lambda2 = dstHarris.at<float>( j, i, 1);
resHarris.at<float>(j,i) = lambda1*lambda2 - 0.04*pow( ( lambda1 + lambda2 ), 2 );
}
}
minMaxLoc( resHarris, &HarrisMinVal, &HarrisMaxVal, 0, 0, Mat() );
/// 创建窗口和滑动条
namedWindow( HarrisWindow, CV_WINDOW_AUTOSIZE );
createTrackbar( "Quality:", HarrisWindow, &HarrisQualityLevel, maxQualityLevel, HarrisFunction );
HarrisFunction( 0, 0 );
waitKey(0);
return(0);
}
/// 角点检测函数实现
void HarrisFunction( int, void* )
{
/// 深度拷贝原图像用于绘制角点
srcCopy = src.clone();
if( HarrisQualityLevel < 1 )
HarrisQualityLevel = 1;
/// 角点满足条件则绘制
for( int j = 0; j < srcGray.rows; j++ )
{
for( int i = 0; i < srcGray.cols; i++ )
{
if( resHarris.at<float>(j,i) > HarrisMinVal + ( HarrisMaxVal - HarrisMinVal )*HarrisQualityLevel/maxQualityLevel )
circle( srcCopy, Point(i,j), 2, Scalar( 0,0,255 ), -1, 8, 0 );
}
}
imshow( HarrisWindow, srcCopy );
cout<<"Harris Quality Level: "<<HarrisQualityLevel<<endl;
}
实验结果：
这里需要注意这里floatlambda1 = dstHarris.at<float>( j, i, 0);使用at方式访问Mat的数据会报错：
所以我改成了采用指针的形式float* lambda = dstHarris.ptr<float>( j, i);。结果显示当Quality Level增大时，满足条件被保留的角点数目越来越少。
（2）采用cornerMinEigenVal()函数和minMaxLoc()函数结合来模拟Shi-Tomasi角点检测的代码示例如下：
/**
* @使用cornerMinEigenVal()函数模拟Shi-Tomasi角点检测
* @author holybin
*/
#include "opencv2/highgui/highgui.hpp"
#include "opencv2/imgproc/imgproc.hpp"
#include <iostream>
#include <stdio.h>
#include <stdlib.h>
using namespace cv;
using namespace std;
/// 全局变量
Mat src;
Mat srcGray, srcCopy; //srcCopy用于绘图，srcGray用于检测角点
Mat dstShiTomasi; //dstShiTomasi用于存储角点检测的结果
/// 各类阈值
int ShiTomasiQualityLevel = 50;
int maxQualityLevel = 100;
double ShiTomasiMinVal;
double ShiTomasiMaxVal;
char* ShiTomasiWindow = "My Shi-Tomasi corner detector";
/// 角点检测函数声明
void ShiTomasiFunction( int, void* );
int main( int argc, char** argv )
{
/// 载入图像并灰度化
src = imread("D:\\opencv_pic\\house_small.jpg", 1 );
cvtColor( src, srcGray, CV_BGR2GRAY );
/// 设置参数
int blockSize = 3;
int apertureSize = 3;
/// 使用cornerMinEigenVal()函数检测角点
dstShiTomasi = Mat::zeros( srcGray.size(), CV_32FC1 );
cornerMinEigenVal( srcGray, dstShiTomasi, blockSize, apertureSize, BORDER_DEFAULT );
minMaxLoc( dstShiTomasi, &ShiTomasiMinVal, &ShiTomasiMaxVal, 0, 0, Mat() );
/// 创建窗口和滑动条
namedWindow( ShiTomasiWindow, CV_WINDOW_AUTOSIZE );
createTrackbar( " Quality:", ShiTomasiWindow, &ShiTomasiQualityLevel, maxQualityLevel, ShiTomasiFunction );
ShiTomasiFunction( 0, 0 );
waitKey(0);
return(0);
}
/// 角点检测函数实现
void ShiTomasiFunction( int, void* )
{
/// 深度拷贝原图像用于绘制角点
srcCopy = src.clone();
if( ShiTomasiQualityLevel < 1 )
ShiTomasiQualityLevel = 1;
/// 角点满足条件则绘制
for( int j = 0; j < srcGray.rows; j++ )
{
for( int i = 0; i < srcGray.cols; i++ )
{
if( dstShiTomasi.at<float>(j,i) > ShiTomasiMinVal + ( ShiTomasiMaxVal - ShiTomasiMinVal )*ShiTomasiQualityLevel/maxQualityLevel )
circle( srcCopy, Point(i,j), 2, Scalar( 255,0,0 ), -1, 8, 0 );
}
}
imshow( ShiTomasiWindow, srcCopy );
cout<<"Shi-Tomasi Quality Level: "<<ShiTomasiQualityLevel<<endl;
}
实验结果：
结果显示当QualityLevel增大时，满足条件被保留的角点数目越来越少。