OpenCV-Python教程:36.SIFT（尺度不变特征变换）

理论

前几节，我们看到了Harris角点检测。他们是跟旋转无关的，也就是说即使图像旋转了，我们还是可以找到相同的角。这是因为在旋转的图像里角还是角。但是如果尺度发生变化呢？一个角可能就不是角了，比如，下面的图像，当一个角在小图的窗口里是角，可是放大以后，在同样窗口里就是平的了。所以Harris角不是尺度不变的。

所以在2004年，D.Lowe，提出了新的算法，SIFT，尺度不变特征变换，分解出关键点。

在SIFT算法里主要有四步：

1.尺度空间极值检测

从上面的图像可以知道我们不能用同样的窗口在不同尺度下去检测关键点。对于小角是可以的，但是要检测大角我们需要大的窗口。我们使用尺度空间过滤。用多个σ值来找LoG（高斯-拉普拉斯算子)，LoG由于σ的变换来在不同大小下检测点，σ相当于尺度参数。比如在上面的图像里，σ小的高斯核给小角的值高而高σ的高斯核和大角符合的好。所以，我们可以找到尺度和空间的局部最大值，由(x, y, σ)列表给出，表示在σ尺度下的潜在关键点（x，y）。

但是这个LoG有点成本，所以SIFT算法使用了不一样的高斯算子，用来近似LoG。不同的高斯算子是图像两个不同σ的不同高斯模糊的出来的，这两个σ 一个是σ一个是kσ。这个过程是在图像金字塔的不同级别做的。看下图：

当找到了这个DoG，会在尺度和空间里找图像的局部最大值。比如，图像里的一个像素和他周围的8个像素比较，同样还有上一层和下一层的9个像素，如果它是局部最大值，它就是个潜在关键点，这就表明这个关键点最好被显示在这一尺度。

至于不同的参数，论文里给出了经验数据，层数是4，尺度级别5，初始化σ=1.6， k=√2 

2. 关键点本地化

当潜在关键点位置被找到了，需要被精化得到更准确的结果，他们使用了泰勒展开得到极值更准确的位置，如果这个极值的强度比阈值小（论文里是0.03），就被抛弃，这个阈值在OpenCV里被叫做对比度阈值

DoG对于边缘有更高的响应，所以边缘得被去掉，这里用了一个和Harris角点检测类似的方法。他们使用2x2的Hessian矩阵来计算主要的弯曲，我们在Harris角点检测里知道对于边缘，一个特征值比另一个大，所以这里他们用了简单的函数

如果这个比率比阈值大，（在OpenCV里叫做边缘阈值，）关键点就被抛弃，这个值在论文里给的是10.

所以它会消除掉任何低对比度的关键点和边缘关键点，剩下的就是强点。

3.方向分配

现在给每个关键点分配一个方向以达到图像旋转不变。根据尺度取关键点位置周围的一个邻居，在这个区域内计算梯度和方向。创建一个覆盖306度的有30个bin的方向直方图。（用梯度幅值和关键点的尺度乘以1.5的σ值的圆形窗口高斯权重计算出权重），取直方图里的最高值，任何高于它的80%的值都用来计算方向，这创建同样位置和尺度而不同方向的关键点。

4.关键点描述

现在创建了关键点描述，取一个关键点周围16x16的邻居，它被分成16个4x4的块。对于每个小块，创建8bin的方向直方图，所以一个总共128bin的值就得到了。除此之外，还要对一些光线变化，旋转等因素的考虑来达到健壮性。

5.关键点匹配

两个图像之间的关键点匹配是识别他们周围的邻居，但有些情况下，第二近的可能和第一近的特别靠近，可能是由于噪点或者别的原因导致。这种情况下，取最近的和第二近的比率。如果他们的比率大于0.8，就被拒绝，这会消除90%的错误匹配，只会丢掉5%的正确匹配。

所以这就是SIFT算法了，记住，这个算法是有专利的，所以这个算法在OpenCV里是在非免费模块里。

OpenCV里的SIFT

所以现在让我们看看OpenCV里的SIFT。让我们开始关键点检测并画出他们，首先我们有一个SIFT对象的结构，我们可以把不同参数传给它。

import cv2
import numpy as np

img = cv2.imread('home.jpg')
gray= cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)

sift = cv2.SIFT()
kp = sift.detect(gray,None)

img=cv2.drawKeypoints(gray,kp)

cv2.imwrite('sift_keypoints.jpg',img)

sift.detect()函数找到图像的关键点，你可以传一个掩图给它，如果你只想在图像的一个部分内搜索的话。每个关键点是一个特殊的结构，这些结构有很多属性，比如(x,y)坐标，有意义的邻居的大小，指定它们方向的角度，指定关键点力量的响应等。

OpenCV也提供了cv2.drawKeyPoints()函数来在关键点的位置画上小圆圈，如果你传入一个标志位，cv2.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS，它会画一个和关键点大小一样的圆，还会显示出它的方向。

img=cv2.drawKeypoints(gray,kp,flags=cv2.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS)

cv2.imwrite('sift_keypoints.jpg',img)

现在计算描述，OpenCV提供了两个方法：

1.由于你已经找到关键点了，你可以调用sift.computer()来计算我们找到的关键点的描述，比如： kp, des = sift.compute(gray, kp)

2.如果你没找关键点，直接用sift.detectAndCompute()一次直接找到关键点和描述。

sift=cv2.SIFT()
kp,des=sift.detectAndCompute(gray,None)

这里kp是关键点的列表，des是形状数组