sift+图像匹配 算法
在初次使用sift时，有可能会报错：module ‘cv2.cv2‘ has no attribute ‘xfeatures2d‘
这是因为sift算法申请了专利，在大于某一版本的时候无法调用，解决方案：
先安装指定版本的opencv，再安装opencv-contrib-python，两步都要执行
pip install opencv_python==3.4.2.16
pip install opencv-contrib-python==3.4.2.16sift算法的原理我们不在这里做过多赘述，有想了解的可以去看我的另一篇博客，这里我们直接分析源码，在源码部分会做出注释。
1.sift + BFMatxh匹配算法
def sift_image_match(i,img1, img2, img1_, img2_):
# sift
sift = cv2.xfeatures2d.SIFT_create() # 创建一个sift对象
keypoints_1, descriptors_1 = sift.detectAndCompute(img1, None) # 寻找img1关键点和描述子
keypoints_2, descriptors_2 = sift.detectAndCompute(img2, None) # 寻找img2关键点合描述子（这里的描述子其实就每个特征点的128维向量）
#print(descriptors_1.shape)
print(len(keypoints_1), len(keypoints_2))
#
# feature matching
bf = cv2.BFMatcher(cv2.NORM_L1, crossCheck=True) # 图像匹配，创建一个匹配器这里选用的是BFMatcher匹配算法
matches = bf.match(descriptors_1,descriptors_2) # 输入特征点描述子来计算匹配点对
matches = sorted(matches, key=lambda x: x.distance) # 根据匹配点对之间的相似度来将点对排序
img3 = cv2.drawMatches(img1_, keypoints_1, img2_, keypoints_2, matches[:50], img2, flags=2) #使用drawMatcher函数来绘制两张图之间匹配点之间的连线
name = str(i)+".png"
# plt.imshow(img3)
# plt.savefig('res.png')
# plt.show()
cv2.imwrite(name, img3)
# cv2.imshow('a', img3)
# cv2.waitKey(0)
return len(matches)
def image_process(img1_path, img2_path):
img1_ = cv2.imread(img1_path) # plane
img2_ = cv2.imread(img2_path) # satellite
img1__shape = img1_.shape
# print(img1__shape) # (1080, 1920, 3)
img2_ = cv2.resize(img2_, (img1__shape[1], img1__shape[0]))
img1 = cv2.cvtColor(img1_, cv2.COLOR_BGR2GRAY) # 图像匹配算法一般都是基于灰度图像来计算的，因此通过cvtColor函数将BGR图像转换为灰度图
img2 = cv2.cvtColor(img2_, cv2.COLOR_BGR2GRAY)
return img1, img2, img1_, img2_2.sift + FLANN匹配算法
def sift_image_match(i,img1, img2, img1_, img2_):
# sift
sift = cv2.xfeatures2d.SIFT_create() # 创建一个sift对象
keypoints_1, descriptors_1 = sift.detectAndCompute(img1, None) # 寻找img1关键点和描述子
keypoints_2, descriptors_2 = sift.detectAndCompute(img2, None) # 寻找img2关键点合描述子（这里的描述子其实就每个特征点的128维向量）
#print(descriptors_1.shape)
print(len(keypoints_1), len(keypoints_2))
# feature matching
# FLANN匹配器参数设置
FLANN_INDEX_KDTREE = 0
index_params = dict(algorithm=FLANN_INDEX_KDTREE, trees=5)
search_params = dict(checks=50)
# 声明FLANN匹配器
flann = cv2.FlannBasedMatcher(index_params, search_params)
matches = flann.knnMatch(descriptors_1, descriptors_2, k=2) # k表示返回k近邻个匹配点，这里我们选2，即最近邻和次近邻
matchesMask = [[0, 0] for i in range(len(matches))]
for i, (m, n) in enumerate(matches): # matches是KeyPoint型变量，由关键点的k近邻的集合构成，m,n是与原图像最相邻的两个匹配
if m.distance < 0.8 * n.distance: # m表示最近邻，n表示次近邻，当m和n的相似性满足该判别关系的时候,执行
matchesMask[i] = [1, 0] #将最近邻掩码设1，即可以绘制
drawpara = dict(singlePointColor=(0, 255, 0), matchColor=(255, 0, 0), matchesMask=matchesMask, flags=2)
img3 = cv.drawMatchesKnn(image1, key1, image2, key2, matches, None, **drawpara)#使用drawMatchesKnn函数来绘制两张图之间匹配点之间的连线
name = str(i)+".png"
# plt.imshow(img3)
# plt.savefig('res.png')
# plt.show()
cv2.imwrite(name, img3)
# cv2.imshow('a', img3)
# cv2.waitKey(0)
return len(matches)
def image_process(img1_path, img2_path):
img1_ = cv2.imread(img1_path) # plane
img2_ = cv2.imread(img2_path) # satellite
img1__shape = img1_.shape
# print(img1__shape) # (1080, 1920, 3)
img2_ = cv2.resize(img2_, (img1__shape[1], img1__shape[0]))
img1 = cv2.cvtColor(img1_, cv2.COLOR_BGR2GRAY) # 图像匹配算法一般都是基于灰度图像来计算的，因此通过cvtColor函数将BGR图像转换为灰度图
img2 = cv2.cvtColor(img2_, cv2.COLOR_BGR2GRAY)
return img1, img2, img1_, img2_这里要注意BF算法和FLANN返回值的差别，虽然二者返回的都是KeyPoint类型，但BF返回的就只最相似的，FLANN返回的则是K近邻，需要通过添加额外的判断语句来进行筛选，例如：
if m.distance < cof * n.distancecof值越大，我们发现，对距离相差不大的K近邻越不敏感，即不容易筛掉；cof越小，会删掉较多值相差不大的匹配点，lowe认为相邻越近的点越容易造成错配，称为坏点。因此cof取得稍小一点会比较好，但这个要根据实验结果来定，不是越小越好
2. sift + FLANN + Ransac
这里的Ransac算法是为了删除一些错配的点，通过findFunfamentalMat()函数实现
import cv2
import os
import numpy as np
import matplotlib.pyplot as plt
# read images
def sift_image_match(i1,img1, img2, img1_, img2_):
# sift
sift = cv2.xfeatures2d.SIFT_create() #
keypoints_1, descriptors_1 = sift.detectAndCompute(img1, None) # 寻找关键点和描述子
keypoints_2, descriptors_2 = sift.detectAndCompute(img2, None)
#print(descriptors_1.shape)
#
# feature matching
bf = cv2.BFMatcher(cv2.NORM_L1, crossCheck=True) # 图像匹配
bfmatches = bf.match(descriptors_1,descriptors_2)
bfmatches_co = bfmatches
# FLANN匹配器参数设置
FLANN_INDEX_KDTREE = 0
index_params = dict(algorithm=FLANN_INDEX_KDTREE, trees=5)
search_params = dict(checks=50)
# 声明FLANN匹配器
flann = cv2.FlannBasedMatcher(index_params, search_params)
matches = flann.knnMatch(descriptors_1, descriptors_2, k=2) # k表示返回k近邻个匹配点，这里我们选2，即最近邻和次近邻
pts1 = []
pts2 = []
for i, (m, n) in enumerate(matches): # matches是KeyPoint型变量，由关键点的k近邻的集合构成
if m.distance < 0.8 * n.distance: # m表示最近邻，n表示次近邻，当m和n的相似性满足该判别关系的时候,执行
pts1.append(keypoints_1[m.queryIdx].pt) # queryIdx表示当先图像中的查询点的索引， .pt方法是从KeyPoint类型中获取坐标值（这里的kp[]是KeyPoint类型）
pts2.append(keypoints_2[m.trainIdx].pt) # trainIdx表示匹配图中与查询点匹配的点的索引
pts1 = np.int32(pts1)
pts2 = np.int32(pts2)
# 根据匹配点对计算基础矩阵，该函数会通过ransac算法筛选错配点
F, mask = cv2.findFundamentalMat(pts1, pts2, cv2.FM_LMEDS)
# 寻找内部点，即为筛选后的匹配点
pts1 = pts1[mask.ravel() == 1]
pts2 = pts2[mask.ravel() == 1]
assert len(pts1) == len(pts2)
print(len(keypoints_1), len(pts2))
bfmatches = sorted(bfmatches, key=lambda x: x.distance) #为匹配点按相似度排序
#img3 = cv2.drawMatches(img1_, keypoints_1, img2_, keypoints_2, bfmatches[:5], img2, flags=2)
# for i, bfm in enumerate(bfmatches):
# print(keypoints_1[bfm.queryIdx].pt)
# print(keypoints_2[bfm.trainIdx].pt)
# if i == 5:
# break
for bfm, pt1, pt2 in zip(bfmatches,pts1, pts2): #这里bfmatches是KeyPoint类型，bfm是cv2.DMatch类型，包含queryIdx， \
#trainIdx，idx, distance四个属性
keypoints_1[bfm.queryIdx].pt = tuple(pt1) #将筛选后的点坐标赋给原来的bfmatches中的点，这样我们在drawMatches时就仅剩筛选之后的点了
keypoints_2[bfm.trainIdx].pt = tuple(pt2)
# for i, bfm in enumerate(bfmatches):
# print(keypoints_1[bfm.queryIdx].pt)
# print(keypoints_2[bfm.trainIdx].pt)
# if i == 5:
# break
img3 = cv2.drawMatches(img1_, keypoints_1, img2_, keypoints_2, bfmatches[:5], img2, flags=2)
name = str(i1)+"_1.png"
cv2.imwrite(name, img3)
return len(matches)相关链接：https://blog.csdn.net/qq_36622009/article/details/104919996
https://blog.csdn.net/weixin_44072651/article/details/89262277