Opencv 基本操作七 提取两幅图像的重叠区域
使用opencv提取连个图像的重叠区域，其本质就是提取两个图像的特征点，然后对两个图像的特征点进行匹配，根据匹配的特征点计算出透视变换矩阵H，然后根据H即可提取出两个图像的重叠区域。这里要注意的是，普通的opencv库没有包含opencv-contrib，无法使用xfeatures2d.hpp里面的SURF、SIFT算法提取图像的特征点。故此，需要自行编译opencv（将opencv-contrib加到动态库中），或者下载别人编译好的opencv。
1、包含opencv-contrib的opencv
win10下vs2019编译的opencv470：https://download.csdn.net/download/a486259/87355761
win10下vs2019编译的opencv453+cuda：
https://download.csdn.net/download/a486259/81328226
2、核心步骤
提取图像重叠区域的关键步骤为，加载图像、提特征点、特征点匹配、计算透视变换矩阵、计算重叠区域、提取重叠区域。
2.1 加载图像
stringstream fmt1, fmt2;
fmt1 << "IMG_20221231_160033.jpg";
Mat left = imread(fmt1.str());//左侧：图片路径
fmt2 << "IMG_20221231_160037.jpg";
Mat right = imread(fmt2.str());//右侧：图片路径
Size msize = { 512, 512 };//left.size();//
resize(left, left, msize);
resize(right, right, msize);
2.2 提取图像特征点
创建surf对象，提取两个图像的特征点和特征描述符
Ptr<SURF>surf; //可以容纳800个特征点
surf = SURF::create(800);//参数 查找的海森矩阵 create 海森矩阵阀值
vector<KeyPoint>key1, key2;//特征点
Mat c, d;//特征点描述符
//提取特征点
surf->detectAndCompute(left, Mat(), key2, d);
surf->detectAndCompute(right, Mat(), key1, c);
2.2 提取图像特征点
使用暴力匹配器匹配两个图像中的特征描述符，匹配结果存入 vector
BFMatcher matcher; //暴力匹配器
vector<DMatch>matches;//DMatch 点和点之间的关系
//使用暴力匹配器匹配特征点，找到存来
matcher.match(d, c, matches);
//3、筛选特征点
//排序 从小到大
sort(matches.begin(), matches.end());
//保留最优的特征点对象
vector<DMatch>good_matches;//最优
//设置比例
int ptrPoint = std::max(50, (int)(matches.size() * 0.15));
for (int i = 0; i < ptrPoint; i++)
{
good_matches.push_back(matches[i]);
}
//4、最佳匹配的特征点连成线
Mat outimg;
drawMatches(left, key2, right, key1, good_matches, outimg,
Scalar::all(-1), Scalar::all(-1),
vector<char>(), DrawMatchesFlags::NOT_DRAW_SINGLE_POINTS);
2.3 计算透视变换矩阵
提取vector
//5、计算透视变换矩阵
//提取已匹配的特征点
vector<Point2f>imagepoint1, imagepoint2;
for (int i = 0; i < good_matches.size(); i++)
{
imagepoint1.push_back(key1[good_matches[i].trainIdx].pt);
imagepoint2.push_back(key2[good_matches[i].queryIdx].pt);
}
//透视转换
Mat H = findHomography(imagepoint1, imagepoint2, cv::RANSAC);
cout << "H:::" << H << endl;
2.4 计算透视角点
根据H矩阵计算出透视角点，并将透视检点绘制为mask
//定义四个角点坐标。
Point2f obj_corners[4] = { cv::Point(0,0),cv::Point(left.cols, 0), cv::Point(left.cols, left.rows), cv::Point(0, left.rows) };
Point scene_corners2[4]; //在srcImage1上画线
//获取透视变化的角点
for (int i = 0; i < 4; i++)
{
double x = obj_corners[i].x;
double y = obj_corners[i].y;
double Z = 1. / (H.at<double>(2, 0) * x + H.at<double>(2, 1) * y + H.at<double>(2, 2));
double X = (H.at<double>(0, 0) * x + H.at<double>(0, 1) * y + H.at<double>(0, 2)) * Z;
double Y = (H.at<double>(1, 0) * x + H.at<double>(1, 1) * y + H.at<double>(1, 2)) * Z;
scene_corners2[i] = cv::Point(cvRound(X), cvRound(Y));
}
//使用drawContours将透视检点绘制为mask（超出图像大小的区域不可见）
Mat roi = Mat::zeros(left.size(), CV_8UC1);
vector<vector<Point>> contour;
vector<Point> pts;
pts.push_back(scene_corners2[0]);
pts.push_back(scene_corners2[1]);
pts.push_back(scene_corners2[2]);
pts.push_back(scene_corners2[3]);
contour.push_back(pts);
drawContours(roi, contour, 0, Scalar::all(255), -1);
2.5 截取重叠区域
截取两个图像的重叠区域并绘图展示
//截取第一个图的重复区域
Mat dstimg1;
left.copyTo(dstimg1, roi);
Mat roi_left_by = get_by(roi);
//截取第二个图的重复区域
Mat dstimg2 = Mat::zeros(left.size(), CV_8UC3);
warpPerspective(right, dstimg2, H, left.size());
//对roi进行逆变换，得到在右图的重叠区域
Mat roi_right;
warpPerspective(roi, roi_right, H, left.size(), WARP_INVERSE_MAP);
Mat roi_right_by = get_by(roi_right);
imshow("outimg", outimg);
imshows("ss", {left,dstimg1,roi_left_by+ left ,right,dstimg2,roi_right_by+ right }, 3);
waitKey();
3、完整示例
3.1 完整代码
其中Mattool.hpp的内容在3.2章
#include 3.2 Matutils.hpp
这是进行图像处理中通用的函数库
#ifndef __Matutils__
#define __Matutils__
#pragma once
#include 3.3 测试效果
两个图像的特征点匹配关系
算法提取出的重叠区域（中间列），第一例为两个原图，最后一列为重叠区域在原图中的效果。
