图片搜索比较

信息阅读和理解的过程往往是一个信息整理的过程，如何把抽象多维的信息去噪或精练转成自己理解的信息。

图像理解的过程也是一个这样的过程，噪音过滤(视觉不敏感)、锐化、归一化、抽象出特征信息，多维转成低维，通过特性对比进行归类。如果要用于搜索，输出的特征值需要可以转换成局部敏感。否则跟phash一样，循转不影响，但是发生裁剪就识别不出来了。

边缘特征、线性特征、中心特征和对角线特征，组合成特征模板。特征模板内有白色和黑色两种矩形，并定义该模板的特征值为白色矩形像素和减去黑色矩形像素和。Haar特征值反映了图像的灰度变化情况。例如：脸部的一些特征能由矩形特征简单的描述，如：眼睛要比脸颊颜色要深，鼻梁两侧比鼻梁颜色要深，嘴巴比周围颜色要深等。但矩形特征只对一些简单的图形结构，如边缘、线段较敏感，所以只能描述特定走向纹理+颜色）

下面介绍图像特征的几个视角：颜色特征、纹理特征、形状特征、空间关系特征。

一 颜色特征

（1） 颜色直方图

RGB颜色空间、HSV颜色空间。不同颜色的量比。

（2） 颜色集（归一化后的颜色直方图）

颜色直方图的一个优化：归一化颜色集。对颜色直方图的一种近似首先将图像从 RGB颜色空间转化成视觉均衡的颜色空间（如 HSV 空间），并将颜色空间量化成若干个柄。然后，用色彩自动分割技术将图像分为若干区域，每个区域用量化颜色空间的某个颜色分量来索引，从而将图像表达为一个二进制的颜色索引集。在图像匹配中，比较不同图像颜色集之间的距离和色彩区域的空间关系。

（3） 颜色矩

        这种方法的数学基础在于：图像中任何的颜色分布均可以用它的矩来表示。此外，由于颜色分布信息主要集中在低阶矩中，因此，仅采用颜色的一阶矩（mean）、二阶矩（variance）和三阶矩（skewness）就足以表达图像的颜色分布。

（4） 颜色聚合向量

        其核心思想是：将属于直方图每一个柄的像素分成两部分，如果该柄内的某些像素所占据的连续区域的面积大于给定的阈值，则该区域内的像素作为聚合像素，否则作为非聚合像素。

（5） 颜色相关图

相关算法和测试效果：

Fuzzy Color Histogram/Fuzzy Opponent Histogram，

背景和大范围识别能力强，但是对细节搜索效果一般

ACC  Auto Color Correlogram我们只考虑相同颜色之间空间关系,就称为颜色自相关图(color auto-correlogram)。

字帖、识别物体比较精准，可以识别旋转的物体。其他一般

RGB Color Histogram ColorHist 从图像文件中提取8bit的RGB表示信息直方统计图，用它做特征来检索图像。它的图像之间的距离定义有多种情况（用户可以自己配置选择），例如dist_1就是，dist_2是平方差，还有jsd和tanmoto等距离衡量方式等。

背景搜索效果尚好，精确搜索一般。

OppHist O1和O2表征了颜色信息，对lightintensity shift是不变的，不过O3这个直接与灰度相关的变量就不是了

精确，背景，物体搜索效果尚好。人体搜索效果不错                               

MPEG-7 Scalable Color SCD MPEG-7标准，多媒体内容描述接口中的描述工具.可伸缩颜色描述子SCD

精确、字帖好。人脸一般。背景颜色不行。

MPEG-7 Color Layout CLD MPEG-7标准，多媒体内容描述接口中的描述工具.对图像颜色布局描述符特征的提取

人脸、背景。字帖好

Joint Histogram Rank RBG JointHist，联合直方图

精确、背景、大图、字帖很好；人脸一般

Rank Opponent Joint Histogram JHROpp

大图、背景、精确一般

二 纹理特征

（1）统计方法统计方法的典型代表是一种称为灰度共生矩阵的纹理特征分析方法Gotlieb 和 Kreyszig 等人在研究共生矩阵中各种统计特征基础上，通过实验，得出灰度共生矩阵的四个关键特征：能量、惯量、熵和相关性。统计方法中另一种典型方法，则是从图像的自相关函数（即图像的能量谱函数）提取纹理特征，即通过对图像的能量谱函数的计算，提取纹理的粗细度及方向性等特征参数

（2）几何法

        所谓几何法，是建立在纹理基元（基本的纹理元素）理论基础上的一种纹理特征分析方法。纹理基元理论认为，复杂的纹理可以由若干简单的纹理基元以一定的有规律的形式重复排列构成。在几何法中，比较有影响的算法有两种：Voronio 棋盘格特征法和结构法。

（3）模型法

        模型法以图像的构造模型为基础，采用模型的参数作为纹理特征。典型的方法是随机场模型法，如马尔可夫（Markov）随机场（MRF）模型法和 Gibbs 随机场模型法

（4）信号处理法

        纹理特征的提取与匹配主要有：灰度共生矩阵、Tamura 纹理特征、自回归纹理模型、小波变换等。

        灰度共生矩阵特征提取与匹配主要依赖于能量、惯量、熵和相关性四个参数。Tamura 纹理特征基于人类对纹理的视觉感知心理学研究，提出6种属性，即：粗糙度、对比度、方向度、线像度、规整度和粗略度。自回归纹理模型（simultaneous auto-regressive, SAR）是马尔可夫随机场（MRF）模型的一种应用实例。

相关算法和测试效果：

Local Binary Patterns LBP是一种简单，有效的纹理分类的特征提取算法 从纹理分析的角度来看，图像上某个像素点的纹理特征，大多数情况下是指这个点和周围像素点的关系，即这个点和它的邻域内点的关系。从哪个角度对这种关系提取特征，就形成了不同种类的特征。有了特征，就能根据纹理进行分类。LBP构造了一种衡量一个像素点和它周围像素点的关系。　

人脸、字帖等尚好，其他一般

LBP Opponent Joint Histogram LBPOpp

背景，精确一般，字帖人脸不错。

Rotation Invariant LBP RILBP Ojala等人在原 LBP算法的基础上提出了旋转不变局部二值模式 (Rotation InvariantLocal Binary Patterns, RILBP)                   

精确，人脸不错，漫画尚好

SimpleCentrist 在中心变换直方图。(census transform histogram,简称CENTRIST)的基础上,提出一种显著性纹理结构特征,与CENTRIST类似于局部二值模式直方图，该特征融合了人眼视觉的心理物理学规律,能更好地实现光照波动、背景杂乱等道路环境下的行人检测.显著纹理结构(saliency texture structure,简称STS)

人体、漫画、字帖好，人脸一般，

Gabor Features 基于Gabor小波和非线性算法的人脸识别系统 Gabor滤波的本质是提取图像的特征分量，通常应用的领域有指纹识别，虹膜识别，人脸识别等 //Gabor变换属于加窗傅立叶变换，Gabor函数可以在频域不同尺度、不同方向上提取相关的特征。另外Gabor函数与人眼的生物作用相仿，所以经常用作纹理识别上，并取得了较好的效果。 由于小波变换的发展，为图像压缩、传输和分析变得更加的方便。有些学者利用小波变换分析来表示图像的纹理特征，取得了很好的效果。

（由于特征数据位置敏感，搜索效果不行，所以无果）

Tamura  Tamura 纹理分析法因为由灰度共生矩阵的统计特性得到的纹理特征与人类的视觉感知没有建立对应关系，Tamura等人提出了纹理特征的6种属性，分别为对比度、粗糙度、方向度、规整度、线性度和粗略度，其中前三者作用较大。

人体、人脸不错

三 形状特征

Ⅰ几种典型的形状特征描述方法

轮廓特征：物体的外边界

区域特征: 关系到整个形状区域。

几种典型的形状特征描述方法：

（1）边界特征法该方法通过对边界特征的描述来获取图像的形状参数。其中Hough 变换检测平行直线方法和边界方向直方图方法是经典方法。Hough 变换是利用图像全局特性而将边缘像素连接起来组成区域封闭边界的一种方法，其基本思想是点—线的对偶性；边界方向直方图法首先微分图像求得图像边缘，然后，做出关于边缘大小和方向的直方图，通常的方法是构造图像灰度梯度方向矩阵。

（2）傅里叶形状描述符法

    傅里叶形状描述符(Fourier shape deors)基本思想是用物体边界的傅里叶变换作为形状描述，利用区域边界的封闭性和周期性，将二维问题转化为一维问题。

    由边界点导出三种形状表达，分别是曲率函数、质心距离、复坐标函数。

（3）几何参数法

    形状的表达和匹配采用更为简单的区域特征描述方法，例如采用有关形状定量测度（如矩、面积、周长等）的形状参数法（shape factor）。在 QBIC 系统中，便是利用圆度、偏心率、主轴方向和代数不变矩等几何参数，进行基于形状特征的图像检索。

    需要说明的是，形状参数的提取，必须以图像处理及图像分割为前提，参数的准确性必然受到分割效果的影响，对分割效果很差的图像，形状参数甚至无法提取。

（4）形状不变矩法

利用目标所占区域的矩作为形状描述参数。

（5）其它方法

        近年来，在形状的表示和匹配方面的工作还包括有限元法（Finite Element Method 或 FEM）、旋转函数（Turning ）和小波描述符（Wavelet Deor）等方法。

Ⅱ 基于小波和相对矩的形状特征提取与匹配

该方法先用小波变换模极大值得到多尺度边缘图像，然后计算每一尺度的 7个不变矩，再转化为 10 个相对矩，将所有尺度上的相对矩作为图像特征向量，从而统一了区域和封闭、不封闭结构。

相关算法和测试效果：

PHOG 分层梯度方向直方图(Pyramid Histogram of Oriented Gradients,PHOG) 是一种描述空间形状的特征向量，在不同层次上统计边缘图像的梯度方向直方图分布情况

形状、人脸优秀，字帖和漫画尚好，

EHD  MPEG-7 Edge Histogram ==>MPEG-7标准，多媒体内容描述接口中的描述工具 边缘直方图

形状、人脸非常好，字帖、漫画、比基尼的纹理尚好

混合算法和测试效果：

1、3结合

CEDD和FCTH颜色柱状图（HSV和RGB） 颜色和边缘的方向性描述符（Color and Edge Directivity Descriptor，CEDD） CEDD具有抽取特征速度较快，特征描述符占用空间较小的优势。                             

FCTH模糊颜色和纹理直方图(Fuzzy Color and Texture Histogram,FCTH) 

精确、人脸、背景效果好。字帖一般。部分情况两者交替领先，综合FCTH好一点点

JCD是CEDD和FCTH两种特征的一种组合.

精确比不上FCTH,其他的均要好点。

综合

Histogram of JPEG Coefficients JpegCoeffs JPEG的DCT系数

人脸、漫画很好；精确、字帖不错；形状、迷幻一般

OpenCV用于人脸识别的特征算法都是纹理和形状相关的包括了LBP，HOG，HAAR（边缘特征、线性特征、中心特征和对角线特征，组合成特征模板。特征模板内有白色和黑色两种矩形，并定义该模板的特征值为白色矩形像素和减去黑色矩形像素和。Haar特征值反映了图像的灰度变化情况。例如：脸部的一些特征能由矩形特征简单的描述，如：眼睛要比脸颊颜色要深，鼻梁两侧比鼻梁颜色要深，嘴巴比周围颜色要深等。）。

四 空间关系特征

    提取图像空间关系特征可以有两种方法：一种方法是首先对图像进行自动分割，划分出图像中所包含的对象或颜色区域，然后根据这些区域提取图像特征，并建立索引；另一种方法则简单地将图像均匀地划分为若干规则子块，然后对每个图像子块提取特征，并建立索引。

    还有基于学习，目前维度太多，目前没有成熟的数学方法