SIFT算法 特征匹配

一、SIFT算法

参考链接 【OpenCV】SIFT原理与源码分析

DOG尺度空间构造（Difference of Gaussian）

首先是对原特征图下采样可以得到金字塔形状的多分辨率空间，作为特征金字塔，该特征金字塔可以方便提取出不同尺度的特征（感觉这里也可以叫多尺度空间）

多尺度空间：利用高斯核对图像进行卷积操作，不同的高斯核参数$\sigma$对应不同的形状，相当于多尺度空间。利用高斯核对图像做卷积操作就是高斯模糊，卷积和形状越矮越扁，模糊程度就越大。关键特征在不断模糊的过程中相对其他位置应该是更容易保留下来的，因此在后面对特征图做差时可以形成极值点。

分别对每层特征金字塔中的特征图，用不同的高斯核进行卷积操作，就得到了高斯特征金字塔，再对相邻的两层作差，进一步得到DOG金字塔

关键点搜索与定位

关键特征在不同的高斯模糊下更容易保留，在DOG特征图中表现为极值点。
关键点搜索：也比较复杂

提高定位精度：曲线拟合

方向赋值、关键点描述

方向赋值与与关键点描述，与HOG特征类似，需要计算每个点的梯度，计算梯度直方图，最后得到的特征向量。

二、特征匹配

Feature Matching + Homography to find Objects
SIFT图像匹配及其python实现

对两个简单图像进行特征匹配，并利用随机抽样一致（RANSAC）滤除错误匹配


Python 代码

img = cv2.imread('./rl2_s.png')
img2 = cv2.imread('./rl_s.png')
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
gray2 = cv2.cvtColor(img2, cv2.COLOR_BGR2GRAY)

# # SURF或SIFT特征
# sift = cv2.xfeatures2d.SIFT_create()
surf = cv2.xfeatures2d.SURF_create(400)
# surf.setExtended(True)
kp1, des1 = surf.detectAndCompute(gray, mask=None)
kp2, des2 = surf.detectAndCompute(gray2, mask=None)

anot1 = cv2.drawKeypoints(gray, kp1, None)
anot2 = cv2.drawKeypoints(gray2, kp2, None)
plt.subplot(121)
plt.imshow(anot1)
plt.subplot(122)
plt.imshow(anot2)

# # MATCH
matcher = cv2.BFMatcher()
raw_matches = matcher.knnMatch(des1, des2, k=2)
good_matches = []
for m1, m2 in raw_matches:
    #  如果最接近和次接近的比值大于一个既定的值，那么我们保留这个最接近的值，认为它和其匹配的点为good_match
    if m1.distance < 0.85 * m2.distance:
        good_matches.append([m1])
# good_matches = sorted(raw_matches, key=lambda x: x[0].distance)[:300]

# # RANSAC
assert len(good_matches) > 4, "Too few matches."
kp1_array = np.float32([kp1[m[0].queryIdx].pt for m in good_matches]).reshape(-1, 1, 2)
kp2_array = np.float32([kp2[m[0].trainIdx].pt for m in good_matches]).reshape(-1, 1, 2)
H, status = cv2.findHomography(kp1_array, kp2_array, cv2.RANSAC, ransacReprojThreshold=4)
good_matches = [good_matches[i] for i in range(len(good_matches)) if status[i] == 1]
imgOut = cv2.warpPerspective(gray2, H, (gray.shape[1], gray.shape[0]), flags=cv2.INTER_LINEAR + cv2.WARP_INVERSE_MAP)
print(H)  # 变换矩阵H，透视变换？
# plt.figure()
# plt.imshow(imgOut)
# cv2.findFundamentalMat()  # 用于3D

matches = cv2.drawMatchesKnn(anot1, kp1, anot2, kp2, good_matches, None, flags = 2)

plt.figure()
plt.imshow(matches)

plt.show()