计算机视觉--局部图像描述子：Harris角点检测算法、SIFT(尺度不变特征变换)
所需准备
库：PCV、VLfeat、Graphivz等库的安装教程
一、Harris角点检测算法
Harris角点检测算法是一个极简单的角点检测算法。该算法的主要思想是，如果像素周围显示存在多于一个方向的边，我们认为该点为兴趣点，该点便称为角点。
角点检测算法基本原理
人眼对角点的识别通常是在一个局部的小区域或小窗口完成的。使用一个固定窗口在图像上进行任意方向上的滑动，比较滑动前与滑动后两种情况，如果滑动前后窗口内区域的灰度发生了较大的变化，那么就认为在窗口内遇到了角点；如果滑动前后窗口内区域的灰度没有发生变化那么窗口内就不存在角点。
角点：局部窗口沿各方向移动，均产生明显变化的点；图像局部曲率突变的点。
→窗口向任意方向的移动都导致图像灰度的明显变化
数学表达
将图像窗口平移[u,v]产生的灰度定义为E(u,v)
我们记矩阵M的特征值为λ1，λ2
然后定义一个角点响应函数R
R=detM-k（traceM）²
detM=λ1×λ2
traceM=λ1+λ2
Harris角点的优点
- 计算简单
- 提取的点特征均匀且合理
- 稳定：Harris算子对图像旋转、亮度变化、噪声影响和视点变换不敏感
Harris 算子的局限性 - 对尺度很敏感，不具有尺度不变性
- 提取的角点精度是像素级的
- 需要设计角点匹配算法
代码实现
from pylab import *
from PIL import Image
from PCV.localdescriptors import harris
from PCV.tools.imtools import imresize
im1 = array(Image.open("9.jpg").convert("L"))
im2 = array(Image.open("12.jpg").convert("L"))
im1 = imresize(im1, (im1.shape[1]//2, im1.shape[0]//2))
im2 = imresize(im2, (im2.shape[1]//2, im2.shape[0]//2))
wid = 5
harrisim = harris.compute_harris_response(im1, 5)
filtered_coords1 = harris.get_harris_points(harrisim, wid+1)
d1 = harris.get_descriptors(im1, filtered_coords1, wid)
harrisim = harris.compute_harris_response(im2, 5)
filtered_coords2 = harris.get_harris_points(harrisim, wid+1)
d2 = harris.get_descriptors(im2, filtered_coords2, wid)
print ('starting matching')
matches = harris.match_twosided(d1, d2)
figure()
gray()
harris.plot_matches(im1, im2, filtered_coords1, filtered_coords2, matches)
show()
二、SIFT（尺度不变特征变换）
SIFT算法可以解决的问题：
• 目标的旋转、缩放、平移（RST）
• 图像仿射/投影变换（视点viewpoint）
• 弱光照影响（illumination）
• 部分目标遮挡（occlusion）
• 杂物场景（clutter）
• 噪声
SIFT算法实现
SIFT算法的实质可以归为在不同尺度空间上查找特征点（关键点）的问题。
主要有三个流程：
1、提取关键点；
2、对关键点附加 详细的信息（局部特征），即描述符；
3、通过特征点（附带上特征向量的关键点）的两两比较找出相互匹配的若干对特征点，建立景物间的对应关系。
尺度不变性
尺度空间理论最早于1962年提出，其主要思想是通过对原始图像进行尺度变换，获得图像多尺度下的空间表示。从而实现边缘、角点检测和不同分辨率上的特征提取，以满足特征点的尺度不变性。
尺度空间中各尺度图像的模糊程度逐渐变大，能够模拟人在距离目标由近到远时目标在视网膜上的形成过程。
尺度越大图像越模糊
显示带有特征的图像
def plot_features(im,locs,circle=False):
""" show image with features. input: im (image as array),
locs (row, col, scale, orientation of each feature)
输入：im（数组图像），locs（每个特征的行、列、尺度和朝向） """
def draw_circle(c,r):
t = arange(0,1.01,.01)*2*pi
x = r*cos(t) + c[0]
y = r*sin(t) + c[1]
plot(x,y,'b',linewidth=2)
imshow(im)
if circle:
[draw_circle([p[0],p[1]],p[2]) for p in locs]
else:
plot(locs[:,0],locs[:,1],'ob')
axis('off')
Harris和sift特征匹配处理 结果对比
寻找特征点
# 添加中文字体支持
from matplotlib.font_manager import FontProperties
font = FontProperties(fname=r"c:\windows\fonts\SimSun.ttc", size=14)
imname = '../mydata/test1.jpg'
im = array(Image.open(imname).convert('L'))
sift.process_image(imname, 'test1.sift')
l1, d1 = sift.read_features_from_file('test1.sift')
figure()
gray()
subplot(131)
sift.plot_features(im, l1, circle=False)
title(u'SIFT特征',fontproperties=font)
subplot(132)
sift.plot_features(im, l1, circle=True)
title(u'用圆圈表示SIFT特征尺度',fontproperties=font)
# 检测harris角点
harrisim = harris.compute_harris_response(im)
subplot(133)
filtered_coords = harris.get_harris_points(harrisim, 6, 0.1)
imshow(im)
plot([p[1] for p in filtered_coords], [p[0] for p in filtered_coords], '*')
axis('off')
title(u'Harris角点',fontproperties=font)
show()