Harris角点检测
1、主要思想：
如果像素周围显示存在多于一个方向的边，我们认为该点为兴趣点。该点就称为角点。
我们把图像域中点 x x 上的对称半正定矩阵 MI=MI(x) M I = M I ( x ) 定义为：
MI=∇I∇IT=[IxIy][IxIy]=[I2xIxIyIxIyI2y] M I = ∇ I ∇ I T = [ I x I y ] [ I x I y ] = [ I x 2 I x I y I x I y I y 2 ]
其中 ∇I ∇ I 为包含导数 Ix I x 和 Iy I y 的图像梯度， MI M I 的秩为1，特征值为 λ1=|∇I|2 λ 1 = | ∇ I | 2 和 λ2=0 λ 2 = 0
现在对于图像的每一个像素，我们可以计算出该矩阵
选择权重矩阵 W W （通常为高斯滤波器 Gσ G σ ），我们可以得到卷积
MI¯¯¯¯¯¯¯=W∗MI M I ¯ = W ∗ M I
该卷积的目的是得到 MI M I 在周围像素上的局部平均。计算出的矩阵 MI¯¯¯¯¯¯¯ M I ¯ 称为Harris矩阵。 W W 的宽度决定了在像素 x x 周围的感兴趣区域。
（1） λ1 λ 1 和 λ2 λ 2 都是很大的整数，则该 x x 点为角点
（2） λ1 λ 1 很大， λ2≈0 λ 2 ≈ 0 ，则该区域存在一个边
（3）如果 λ1≈λ2≈0 λ 1 ≈ λ 2 ≈ 0 ，该区域内为空。
指示函数： det(MI¯¯¯¯¯¯¯)−ktrace(MI¯¯¯¯¯¯¯)2=λ1λ2−k(λ1+λ2)2 d e t ( M I ¯ ) − k t r a c e ( M I ¯ ) 2 = λ 1 λ 2 − k ( λ 1 + λ 2 ) 2
为了去除加权常数 k k ，我们通常使用商数：
det(MI¯¯¯¯¯¯¯)trace(MI¯¯¯¯¯¯¯)2 d e t ( M I ¯ ) t r a c e ( M I ¯ ) 2
通常，两个（相同大小）像素块 I1(x) I 1 ( x ) 和 I2(x) I 2 ( x ) 的相关矩阵定义为：
c(I1,I2)=∑xf(I1(x),I2(x)) c ( I 1 , I 2 ) = ∑ x f ( I 1 ( x ) , I 2 ( x ) )
对于互相关矩阵，函数 f(I1,I2)=I1I2 f ( I 1 , I 2 ) = I 1 I 2 ， c(I1,I2) c ( I 1 , I 2 ) 的值越大，像素块 I1 I 1 和 I2 I 2 的相似度越高。
归一化的互相关矩阵是互相关矩阵的一种变形，可以定义为：
ncc(I1,I2)=1n−1∑x(I1(x)−μ1)σ1⋅(I2(x)−μ2)σ2 n c c ( I 1 , I 2 ) = 1 n − 1 ∑ x ( I 1 ( x ) − μ 1 ) σ 1 ⋅ ( I 2 ( x ) − μ 2 ) σ 2
该方法对图像亮度变化具有稳健性
2、实现步骤
（1）利用水平与竖直差分算子对图像进行卷积操作，计算得到相应的 fx f x 、 fy f y ，根据实对称矩阵 M M 的组成，计算对应元素的值。
（2）利用高斯函数对矩阵 M M 进行平滑操作，得到新的 M M 矩阵，步骤1和2可以改变顺序，也可以先对图像进行高斯滤波，再求相应方向上梯度大小。
（3）对每一像素和给定的邻域窗口，计算局部特征结果矩阵 M M 的特征值和响应函数 C(i,j)=det(M)−k(trace(M))2 C ( i , j ) = d e t ( M ) − k ( t r a c e ( M ) ) 2 。
（4）选取响应函数 C C 的阈值，根据非极大值抑制原理，同时满足阈值及某邻域内的局部极大值为候选角点。
#include "opencv2/highgui/highgui.hpp"
#include "opencv2/imgproc/imgproc.hpp"
#include
#include
#include
using namespace cv;
using namespace std;
void CornerHarris(const Mat& srcImage, Mat& result,
int blockSize, int kSize, double k)
{
Mat src;
srcImage.copyTo(src);
result.create(src.size(), CV_32F);
int depth = src.depth();
// 检测掩膜尺寸
double scale = (double)(1 << ((kSize > 0 ?
kSize : 3) - 1)) * blockSize;
if (depth == CV_8U)
scale *= 255.;
scale = 1. / scale;
// sobel滤波
Mat dx, dy;
Sobel(src, dx, CV_32F, 1, 0, kSize, scale, 0);
Sobel(src, dy, CV_32F, 0, 1, kSize, scale, 0);
Size size = src.size();
cv::Mat cov(size, CV_32FC3);
int i, j;
// 求解水平与竖直梯度
for (i = 0; i < size.height; i++){
float *covData = (float*)(cov.data + i*cov.step);
const float *dxData = (const float*)(dx.data + i*dx.step);
const float *dyData = (const float*)(dy.data + i*dy.step);
for (j = 0; j < size.width; j++)
{
float dx_ = dxData[j];
float dy_ = dyData[j];
covData[3 * j] = dx_*dx_;
covData[3 * j + 1] = dx_*dy_;
covData[3 * j + 2] = dy_*dy_;
}
}
// 计算窗口内求和
boxFilter(cov, cov, cov.depth(),
Size(blockSize, blockSize), Point(-1, -1), false);
// 判断图像连续性
if (cov.isContinuous() && result.isContinuous())
{
size.width *= size.height;
size.height = 1;
}
else
size = result.size();
// 计算响应函数
for (i = 0; i < size.height; i++)
{
// 获取图像矩阵指针
float *resultData = (float*)(result.data + i*result.step);
const float *covData = (const float*)(cov.data + i*cov.step);
for (j = 0; j < size.width; j++)
{
// 焦点响应生成
float a = covData[3 * j];
float b = covData[3 * j + 1];
float c = covData[3 * j + 2];
resultData[j] = a*c - b*b - k*(a + c)*(a + c);
}
}
}
int main()
{
cv::Mat srcImage = cv::imread("sea.jpg");
if (!srcImage.data)
return -1;
cv::imshow("srcImage", srcImage);
cv::Mat srcGray, result;
cvtColor(srcImage, srcGray, COLOR_BGR2GRAY);
result = Mat::zeros(srcImage.size(), CV_32FC1);
// 角点检测参数
int blockSize = 2;
int apertureSize = 3;
double k = 0.04;
// 角点检测
// cornerHarris( srcGray, result, blockSize, apertureSize, k, BORDER_DEFAULT );
CornerHarris(srcGray, result, blockSize, apertureSize, k);
// 矩阵归一化
normalize(result, result, 0, 255, NORM_MINMAX, CV_32FC1, Mat());
convertScaleAbs(result, result);
// 绘图角点检测结果
for (int j = 0; j < result.rows; j++)
{
for (int i = 0; i < result.cols; i++)
{
if ((int)(result.at(j, i)) > 150)
{
circle(srcImage, Point(i, j), 5, Scalar(0), 2, 8, 0);
}
}
}
cv::imshow("result", srcImage);
cv::waitKey(0);
return 0;
}
#include "opencv2/highgui.hpp"
#include "opencv2/imgproc.hpp"
#include #include "opencv2/highgui/highgui.hpp"
#include "opencv2/imgproc/imgproc.hpp"
#include for(int j=0;jint val = input.at(i,j);
result.at(i,j)[0]=val;
result.at(i,j)[1]=val;
result.at(i,j)[1]=255-val;
}
}
return result;
}
int main()
{
cv::Mat srcImage = cv::imread("images/hourse.PNG");
if (!srcImage.data)
return -1;
cv::imshow("srcImage", srcImage);
cv::Mat srcGray, result;
cvtColor(srcImage, srcGray, COLOR_BGR2GRAY);
result = Mat::zeros(srcImage.size(), CV_32FC1);
// 角点检测参数
int blockSize = 3;//2 3 4 5 6 7
int apertureSize = 3;//3 5 7 9
double k = 0.04;
// 角点检测
// cornerHarris( srcGray, result, blockSize, apertureSize, k, BORDER_DEFAULT );
CornerHarris(srcGray, result, blockSize, apertureSize, k);
//cornerHarris(srcGray, result, blockSize, apertureSize, k);
// 矩阵归一化
normalize(result, result, 0, 255, NORM_MINMAX, CV_32FC1, Mat());
convertScaleAbs(result, result);
Mat tmp = result.clone();
// 绘图角点检测结果
for (int j = 0; j < result.rows; j++)
{
for (int i = 0; i < result.cols; i++)
{
cout<< (int)(result.at(j, i)) <<" ";
if ((int)(result.at(j, i)) > 100)
{
circle(srcImage, Point(i, j), 5, Scalar(0), 2, 8, 0);
}
}
cout<"result", srcImage);
tmp.convertTo(tmp,CV_8UC1);
heatmap = getHeatMap(result);
imshow("heatmap",heatmap);
ParamColorMap p;
p.img = tmp;
p.iColormap = 0;
imshow("Gray image",tmp);
namedWindow(winName);
createTrackbar("colormap", winName,&p.iColormap,1,TrackColorMap,(void*)&p);
setTrackbarMin("colormap", winName, COLORMAP_AUTUMN);
setTrackbarMax("colormap", winName, COLORMAP_PARULA+1);
setTrackbarPos("colormap", winName, -1);
TrackColorMap(0, (void*)&p);
cout << "Press a key to exit" << endl;
cv::waitKey(0);
return 0;
}
/*
cv::Mat getHeatMap(cv::Mat input) // input is of type CV_8UC1, return is of type CV_8UC3
{
cv::Mat result(input.rows, input.cols, CV_8UC3);
for (int yy = 0; yy < input.rows; ++yy)
{
for (int xx = 0; xx < input.cols; ++xx)
{
int pixelValue = input.at(yy, xx);
if (pixelValue < 128) {
result.at(yy, xx) = cv::Vec3b(0, 0 + 2*pixelValue, 255 - 2 * pixelValue);
} else {
result.at(yy, xx) = cv::Vec3b(0 + 2*pixelValue, 255 - 2 * pixelValue, 0);
}
}
}
return result;
}
*/
#include "opencv2/highgui/highgui.hpp"
#include "opencv2/imgproc/imgproc.hpp"
#include for(int j=0;jint val = input.at(i,j);
result.at(i,j)[0]=val;
result.at(i,j)[1]=val;
result.at(i,j)[1]=255-val;
}
}
return result;
}
int main()
{
cv::Mat srcImage = cv::imread("images/object.jpg");
if (!srcImage.data)
return -1;
cv::imshow("srcImage", srcImage);
cv::Mat srcGray, result;
cvtColor(srcImage, srcGray, COLOR_BGR2GRAY);
result = Mat::zeros(srcImage.size(), CV_32FC1);
// 角点检测参数
int blockSize = 3;//2 3 4 5 6 7
int apertureSize = 3;//3 5 7 9
double k = 0.04;
// 角点检测
// cornerHarris( srcGray, result, blockSize, apertureSize, k, BORDER_DEFAULT );
CornerHarris(srcGray, result, blockSize, apertureSize, k);
//cornerHarris(srcGray, result, blockSize, apertureSize, k);
// 矩阵归一化
normalize(result, result, 0, 255, NORM_MINMAX, CV_32FC1, Mat());
convertScaleAbs(result, result);
Mat tmp = result.clone();
// 绘图角点检测结果
for (int j = 0; j < result.rows; j++)
{
for (int i = 0; i < result.cols; i++)
{
cout<< (int)(result.at(j, i)) <<" ";
if ((int)(result.at(j, i)) > 120)
{
circle(srcImage, Point(i, j), 5, Scalar(0), 2, 8, 0);
}
}
cout<"result", srcImage);
tmp.convertTo(tmp,CV_8UC1);
ParamColorMap p;
p.img = tmp;
p.iColormap = 0;
imshow("Gray image",tmp);
namedWindow(winName);
createTrackbar("colormap", winName,&p.iColormap,1,TrackColorMap,(void*)&p);
setTrackbarMin("colormap", winName, COLORMAP_AUTUMN);
setTrackbarMax("colormap", winName, COLORMAP_PARULA+1);
setTrackbarPos("colormap", winName, -1);
TrackColorMap(0, (void*)&p);
cout << "Press a key to exit" << endl;
cv::waitKey(0);
return 0;
}