姓名：张庆庆
学号：19021211151
嵌牛导读：计算机视觉领域（cv）主要目标是智能的处理图像，其中图像描述领域最关键的便是特征的提取以及更人性化的提取目标图片中人类所更关注的特点，学好特征提取就是为学好图像描述打好重要的基础。
嵌牛鼻子：特征提取 图像描述
嵌牛提问：如何学好图像描述的重要基础
转载源：OpenCV+Python特征提取算法与图像描述符之SIFT / SURF / ORB -
嵌牛正文：
有许多用于特征检测和提取的算法，我们将会对其中大部分进行介绍。OpenCV最常使用的特征检测和提取算法有：
Harris：该算法用于检测角点；
SIFT：该算法用于检测斑点；
SURF：该算法用于检测角点；
FAST：该算法用于检测角点；
BRIEF：该算法用于检测斑点；
ORB：该算法代表带方向的FAST算法与具有旋转不变性的BRIEF算法；
通过以下方法进行特征匹配：
暴力(Brute-Force)匹配法；
基于FLANN匹配法；
可以采用单应性进行空间验证。
特征提取算法比较
算法效果比较博文
计算速度： ORB>>SURF>>SIFT（各差一个量级）
旋转鲁棒性： SURF>ORB~SIFT（表示差不多）
模糊鲁棒性： SURF>ORB~SIFT
尺度变换鲁棒性： SURF>SIFT>ORB（ORB并不具备尺度变换性）
基本概念
特征向量
用于表示和量化图像的数字列表，简单理解成将图片转化为一个数字列表表示。特征向量中用来描述图片的各种属性的向量称为特征矢量。
特征描述符（特征描述子）Descriptor
参考
是一种算法和方法，输入1个图像，返回多个特征向量（主要用来处理图像的局部，往往会把多个特征向量组成一个一维的向量）。主要用于图像匹配（视觉检测），匹配图像中的物品。
SIFT特征算法与DoG尺度空间
SIFT论文
原理
opencv官网解释
实质是在不同的尺度空间上查找关键点(特征点)，并计算出关键点的方向。SIFT所查找到的关键点是一些十分突出，不会因光照，仿射变换和噪音等因素而变化的点，如角点、边缘点、暗区的亮点及亮区的暗点等。
SIFT
尺度不变特征转换(Scale-invariant feature transform或SIFT)是一种电脑视觉的算法用来侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量。
其应用范围包含物体辨识、机器人地图感知与导航、影像缝合、3D模型建立、手势辨识、影像追踪和动作比对。
尺度空间
对现实中物体的描述一定要在一个十分重要的前提下进行，这个前提就是对自然界建模时的尺度。当用一个机器视觉系统分析未知场景时，计算机没有办法预先知道图像中物体的尺度，因此我们需要同时考虑图像在多尺度下的描述，获知感兴趣物体的最佳尺度。图像的尺度空间表达指的是图像的所有尺度下的描述。
DoG尺度空间
DoG空间极值点
特征点方向归一化
计算特征点描述子
SIFT算法分解为如下四步：
尺度空间极值检测：搜索所有尺度上的图像位置。通过高斯微分函数来识别潜在的对于尺度和旋转不变的兴趣点。
关键点定位：在每个候选的位置上，通过一个拟合精细的模型来确定位置和尺度。关键点的选择依据于它们的稳定程度。
方向确定：基于图像局部的梯度方向，分配给每个关键点位置一个或多个方向。所有后面的对图像数据的操作都相对于关键点的方向、尺度和位置进行变换，从而提供对于这些变换的不变性。
关键点描述：在每个关键点周围的邻域内，在选定的尺度上测量图像局部的梯度。这些梯度被变换成一种表示，这种表示允许比较大的局部形状的变形和光照变化。
sift=cv2.xfeatures2d.SIFT_create()'''
SIFT_create([, nfeatures[, nOctaveLayers[, contrastThreshold[, edgeThreshold[, sigma]]]]]) -> retval
. @param nfeatures The number of best features to retain. The features are ranked by their scores
. (measured in SIFT algorithm as the local contrast)
.
. @param nOctaveLayers The number of layers in each octave. 3 is the value used in D. Lowe paper. The
. number of octaves is computed automatically from the image resolution.
.
. @param contrastThreshold The contrast threshold used to filter out weak features in semi-uniform
. (low-contrast) regions. The larger the threshold, the less features are produced by the detector.
.
. @param edgeThreshold The threshold used to filter out edge-like features. Note that the its meaning
. is different from the contrastThreshold, i.e. the larger the edgeThreshold, the less features are
. filtered out (more features are retained).
.
. @param sigma The sigma of the Gaussian applied to the input image at the octave \#0. If your image
. is captured with a weak camera with soft lenses, you might want to reduce the number.
'''keypoints,descriptor=sift.detectAndCompute(img_gray,None)'''
detectAndCompute(image, mask[, descriptors[, useProvidedKeypoints]]) -> keypoints, descriptors
. Detects keypoints and computes the descriptors
算法分成了两步，第一步特征提取，第二步计算描述符
''''''
keypoints数据结构
pt, 坐标
size, 特征直径
angle, 特征方向
response, 特征强度
octave,该特征在金字塔的第几层被找到
class_id
'''
KeyPoint数据结构解析
img=cv2.imread('laugh.jpg')img_large=cv2.imread('laugh_large.jpg')gray=cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)gray_large=cv2.cvtColor(img_large,cv2.COLOR_BGR2GRAY)sift=cv2.xfeatures2d.SIFT_create()keypoints,descriptor=sift.detectAndCompute(gray,None)keypoints2,descriptor2=sift.detectAndCompute(gray_large,None)img=cv2.drawKeypoints(image=img,outImage=img,keypoints=keypoints,flags=cv2.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS,color=(0,0,255))img_large=cv2.drawKeypoints(image=img_large,outImage=img_large,keypoints=keypoints2,flags=cv2.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS,color=(0,0,255))cv2.imshow('sift',img)cv2.imshow('sift_large',img_large)
SIFT效果
SURF算法和Fast Hessian矩阵
SURF论文
原理
opencv官网解释
SURF是SIFT的加速版，它善于处理具有模糊和旋转的图像，但是不善于处理视角变化和光照变化。在SIFT中使用DoG对LoG进行近似，而在SURF中使用盒子滤波器对LoG进行近似，这样就可以使用积分图像了（计算图像中某个窗口内所有像素和时，计算量的大小与窗口大小无关）。总之，SURF最大的特点在于采用了Haar特征以及积分图像的概念，大大加快了程序的运行效率。
surf=cv2.xfeatures2d.SURF_create(hessian_threshold)# hessian_threshold 保留的特征值越少，越强大的特征值才会被保留，需要根据具体图像进行调整
img=cv2.imread("laugh.jpg")gray=cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)alg=cv2.xfeatures2d.SURF_create(10000)keypoints,descriptor=alg.detectAndCompute(gray,None)img=cv2.drawKeypoints(img,keypoints,img,(0,0,255),cv2.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS)cv2.imshow('hessian_10000',img)
SURF - hessan阈值效果对比
SURF - 不同尺度效果对比
注意事项
因为专利原因，OpenCV3.3开始不再免费开放SIFT\SURF，需要免费的请使用ORB算法
ORB特征算法
ORB算法综合了FAST角点检测算法和BRIEFF描述符。
FAST特征检测
算法原理
opencv官方文档
FAST只是一种特征点检测算法，并不涉及特征点的特征描述。
fast = cv2.FastFeatureDetector_create(threshold=10)
img=cv2.imread("laugh.jpg",0)fast=cv2.FastFeatureDetector_create()keypoints=fast.detect(img,None)img=cv2.drawKeypoints(img,keypoints,None,(0,0,255))
FAST - threshold100效果图
FAST - 默认threshold(10)效果图
BRIEF特征描述符
论文
opencv官方文档
中文版
Brief是Binary Robust Independent Elementary Features的缩写。这个特征描述子是由EPFL的Calonder在ECCV2010上提出的。主要思路就是在特征点附近随机选取若干点对，将这些点对的灰度值的大小，组合成一个二进制串，并将这个二进制串作为该特征点的特征描述子。文章同样提到，在此之前，需要选取合适的gaussian kernel对图像做平滑处理。
缺点
1：不具备旋转不变性。
2：对噪声敏感
3：不具备尺度不变性。
img=cv2.imread("laugh.jpg",0)# Initiate FAST detectorstar=cv2.xfeatures2d.StarDetector_create()# Initiate BRIEF extractorbrief=cv2.xfeatures2d.BriefDescriptorExtractor_create()# find the keypoints with STARkp=star.detect(img,None)# compute the descriptors with BRIEFkp,des=brief.compute(img,kp)print(brief.descriptorSize())print(des.shape)
ORB
ORB论文
OpenCV官方文档
ORB采用了FAST作为特征点检测算子，特征点的主方向是通过矩（moment）计算而来解决了BRIEF不具备旋转不变性的问题。
ORB还做了这样的改进，不再使用pixel-pair，而是使用9×9的patch-pair，也就是说，对比patch的像素值之和，解决了BRIEF对噪声敏感的问题。
关于计算速度：
ORB是sift的100倍，是surf的10倍。
importcv2img=cv2.imread("A.jpg",0)orb=cv2.ORB_create()kp,des=orb.detectAndCompute(img,None)# len(kp) : 485# des.shape: (485, 32)
ORB效果
附：相关知识
特征提取方法
直方图
对图片数据、特征分布的一种统计
对数据空间(bin)进行量化
聚类
Kmeans
颜色特征
量化颜色直方图，适用于均匀分布的颜色空间，如RGB，HSV等。
统计落在量化单元上的像素数量，bin内的像素由bin中心的颜色代表
聚类颜色直方图，适用于非均匀分布的颜色空间，如Lab等
几何特征
边缘：尺度问题->不同的标准差
捕捉到不同尺度的边缘
斑点 Blob：二阶高斯导数滤波LoG
LoG图找零点就是边缘
LoG图找极值点就是斑点
DoG：LoG近似于2个不同尺度的高斯差分，计算量大大减小
蓝色是LoG，黑色是DoG
关键点(keypoint)：不同视角图片之间的映射，图片配准、拼接、运动跟踪、物体识别、机器人导航、3D重建
纹理特征
HOG方向梯度直方图
LBP局部二值模式
Gabor滤波器组：多尺度多方向。原理：频域中是加窗傅里叶变换，时域中是一个高斯核和正弦平面波的乘积
三尺度、八方向
局部特征
SIFT\SURF
嵌牛总结:特征提取是图像描述的关键，如何做到更智能化的目标提取，关系到图像描述的质量及精确程度。