【OpenCV-Python】教程:4-7 BRIEF( Binary Robust Independent Elementary Features)特征

OpenCV Python BRIEF ( Binary Robust Independent Elementary Features)

【目标】

  • 学习 BRIEF 算法理论

【理论】

我们知道SIFT使用128维向量作为描述符。因为它使用的是浮点数,所以需要512字节。类似地,SURF也需要最少256字节(对于64维)。为数千个特性创建这样的向量需要大量内存,这对于资源受限的应用程序是不可行的,特别是对于嵌入式系统,内存消耗大,匹配的时间长。

但这些维度在实际匹配时可能不是都需要。我们可以使用PCA、LDA等多种方法对数据进行压缩。甚至还使用其他方法,如使用LSH ( 局域敏感哈希) 来将这些浮点数中的 SIFT 描述符转换为二进制串。这些二进制字符串使用汉明距离来匹配特征。这提供了更好的加速,因为寻找汉明距离只是应用异或和位计数,这在具有SSE指令的现代cpu中非常快。但在这里,我们需要先找到描述符,然后才能应用哈希,这并不能解决我们最初的内存问题。

这时,BRIEF 浮现在眼前。它提供了直接查找二进制字符串的快捷方式,而无需查找描述符。它需要平滑的图像块,并以唯一的方式选择一组 n d ( x , y ) n_d (x,y) nd(x,y)位置对(在论文中解释)。然后对这些位置对进行像素强度比较。例如,设某一个位置对为 p p p q q q,如果 I ( p ) < I ( q ) I(p) < I(q) I(p)<I(q),则其结果为1,否则为0。这适用于所有的 n d n_d nd位置对,以获得一个 n d n_d nd维位串。

  • 点对选择

设我们在特征点的邻域块大小为 S × S S×S S×S 内选择 n d n_d nd个点对 ( p , q ) (p,q) (p,q),Calonder的实验中测试了5种采样方法:

1)在图像块内平均采样;
2) p p p q q q都符合 ( 0 , 1 25 S 2 ) (0, \frac{1}{25} S^2) (0,251S2)的高斯分布;
3) p p p符合 ( 0 , 1 25 S 2 ) (0, \frac{1}{25}S^2) (0,251S2)的高斯分布,而 q q q符合 ( 0 , 1 100 S 2 ) (0, \frac{1}{100}S^2) (0,1001S2)的高斯分布;
4)在空间量化极坐标下的离散位置随机采样
5)把 p p p固定为 ( 0 , 0 ) (0,0) (0,0) q q q在周围平均采样

【OpenCV-Python】教程:4-7 BRIEF( Binary Robust Independent Elementary Features)特征_第1张图片

这个 n d n_d nd可以是 128 128 128 256 256 256 512 512 512OpenCV支持所有这些,但默认情况下,它将是 256 256 256 (OpenCV以字节表示, 所以这些值将是16,32和64)。一旦你得到了这个,你就可以用汉明距离来匹配这些描述符。

重要的一点是 BRIEF 是一个特征描述符,它不提供任何查找特征的方法。所以你必须使用任何其他的特征检测器,如SIFT, SURF等。本文推荐使用CenSurE,这是一种快速检测器,BRIEF 对 CenSurE 点的效果甚至比 SURF 点要好。

简而言之,BRIEF是一种更快的特征描述符计算和匹配方法。它还提供了高识别率,除非有大的平面内旋转。

  • 优点:

计算速度快

  • 缺点:

对噪声敏感
不具备旋转不变性
不具备尺度不变性

  • STAR(CenSurE) in OpenCV

STAR 是源自 CenSurE 的特征检测器。但与CenSurE不同的是,Star使用正方形、六边形和八边形等多边形来接近圆形,而Star模拟的是带有2个重叠正方形的圆形:1个垂直,1个旋转45度。这些多边形是双层的。它们可以被看作是带有粗边框的多边形。边界和封闭区域的权重是相反的。与其他尺度空间探测器相比,该探测器具有更好的计算特性,并且能够实时实现。与SIFT和SURF相比,它们在次采样像素处发现极值,从而在更大的尺度上降低精度,CenSurE在金字塔的所有尺度上使用全空间分辨率创建特征向量。

【代码】

【OpenCV-Python】教程:4-7 BRIEF( Binary Robust Independent Elementary Features)特征_第2张图片

import numpy as np 
import cv2 
from matplotlib import pyplot as plt

img = cv2.imread("assets/blox.jpg")

# fast检测
fast_kp = cv2.FastFeatureDetector_create()

# brief 描述子
brief = cv2.xfeatures2d.BriefDescriptorExtractor.create()

# 特征点检测
kp = fast_kp.detect(img, None)
print(len(kp))

# 计算特征
kp, des = brief.compute(img, kp)
print(len(kp))

# 画关键点
img2 = cv2.drawKeypoints(img, kp, None, color=(255,0,0), flags=0)
print(brief.descriptorSize())

star = cv2.xfeatures2d.StarDetector_create()
star_kp = star.detect(img, None)
img3 = cv2.drawKeypoints(img, star_kp, None, color=(255, 0, 0), flags=0)
print(len(star_kp))


cv2.imshow("fastkpafter", img2)
cv2.imshow("starkp", img3)
cv2.waitKey(0)
cv2.destroyAllWindows()

【接口】

  • BriefDescriptorExtractor_create
cv.xfeatures2d.BriefDescriptorExtractor_create(	[, bytes[, use_orientation]]	) ->	retval
  • bytes: 描述符的长度(字节),16, 32, 64
  • use_orientation: 是否使用方向,默认不使用

其他见

【OpenCV-Python】教程:4-4 SIFT (Scale-Invariant Feature Transform) 介绍_黄金旺铺的博客-CSDN博客

【OpenCV-Python】教程:4-5 SURF (Speeded-Up Robust Features) 介绍_黄金旺铺的博客-CSDN博客

【OpenCV-Python】教程:4-6 FAST (Features from Accelerated Segment Test)算法角点检测_黄金旺铺的博客-CSDN博客

【参考】

  1. OpenCV官方文档
  2. Michael Calonder, Vincent Lepetit, Christoph Strecha, and Pascal Fua, “BRIEF: Binary Robust Independent Elementary Features”, 11th European Conference on Computer Vision (ECCV), Heraklion, Crete. LNCS Springer, September 2010.
  3. LSH (Locality Sensitive Hashing) at wikipedia.
  4. BriefDescriptorExtractor Class Reference

你可能感兴趣的:(#,OpenCV-Python,教程,opencv,python,计算机视觉,BRIEF)