基于内容的图片检索CBIR（Content Based Image Retrieval）简介

原文链接：https://blog.csdn.net/carson2005/article/details/9304913

传统的图像检索过程，先通过人工对图像进行文字标注，再利用关键字来检索图像，这种依据图像描述的字符匹配程度提供检索结果的方法，简称“以字找图”，既耗时又主观多义。基于内容的图像检索客服“以字找图”方式的不足，直接从待查找的图像视觉特征出发，在图像库（查找范围）中找出与之相似的图像，这种依据视觉相似程度给出图像检索结果的方式，简称“以图找图”。基于内容的图像检索分为三个层次：

（1）依据提取图像本身的颜色、形状、纹理等低层特征进行检索；

（2）基于图像的低层特征，通过识别图像中的对象类别以及对象之间的空间拓扑关系进行检索；

（3）基于图像抽象属性（场景语义、行为语义、情感语义等）的推理学习进行检索；

基于内容的图像检索技术研究的热点可以分为4个方面：

最初的图像检索研究主要集中在如何选择合适的全局特征去描述图像内容和采用什么样的相似性度量方法进行图像匹配。

第二个研究热点是基于区域的图像检索方法，其主要思想是图像分割技术提取出图像中的物体，然后对每个区域使用局部特征来描述，综合每个区域特征可以得到图像的特征描述。这两个研究方向都是以图像为中心，对于用于的需求缺乏分析。

第三个研究热点就是针对这一问题而展开的，借助相关的反馈的思想，根据用户的需求及时调整系统检索时用的特征和相似性度量方法，从而缩小低层特征和高层语义之间的差距。

第四个研究热点是研究如何从多种渠道获取图像语义信息，如何将图像底层特征与图像关键词结合进行图像自动标注以提高检索准确率等。

根据一般图像检索的工作原理可以知道，基于特征的图像检索有3个关键：

（1）选取恰当的图像特征；

（2）采取有效的特征提取方法；

（3）准确的特征匹配算法；

利用各种特征对图像检索已经取得了相当的发展，大量的检索实验可以表明，综合特征检索要比单一特征检索更符合人类的视觉感受要求，检索效果会更好，但如何去找到合适的权值将多个特征组合起来是非常困难的。目前在CBIR中最常用的特征一般有：颜色特征、形状特征和纹理特征。  

颜色是图像检索中最先被采用的特征，主要方法有：

（1）颜色直方图

（2）颜色一致性矢量（CCV，color coherence vectors）

（3）颜色相关图

（4）颜色矩

颜色矩是一种简单而有有效的颜色表示，它的数学基础是：任何图像的颜色分布都可以通过其各阶矩来表示。然而，颜色分布的大部分信息都集中在它的低阶矩上，所以可以用颜色的一阶矩（均值）、二阶矩（方差）和三阶矩（偏度）来近似估计图像的总体颜色分布。

颜色聚合矢量（CCV, Color Coherence Vector）是图像直方图的一种演变，其核心思想是当图像中颜色相似的像素所占据的连续区域的面积大于一定的阈值时，该区域中的像素为聚合像素，否则为非聚合像素。这样统计图像所包含的每种颜色的聚合像素和非聚合像素的比率称之为该图像的颜色聚合矢量，在图像检索过程中匹配目标图像的聚合矢量和检索图像的聚合矢量，聚合矢量中的聚合信息在某种程度上保留了图像颜色的空间信息。由于加入了空间信息，采用颜色聚合矢量CCV比采用颜色直方图检索的效果要好，特别是对于大块的均匀区域或者图像中大部分为纹理的图像检索效果要更好，但同时也增加的计算量。

其中，颜色直方图是最常用的，也是最基本的方法，但缺乏图像的空间信息；而CCV方法不仅统计了整幅图像中各颜色的像素值，还统计了图像中各颜色最大区域的像素值，效果较好，但CCV并没有强调各颜色最大区域的形状以及与背景的关系。因此，有人又考虑了图像的边缘信息，提出了CCV-TEV(threshold edge vector)算法；颜色相关图法强调同一颜色在图像中的空间距离相关性，其检索效果比上述几个方法都要好，但计算量比较大。颜色矩算法主要采用图像中各颜色的均值和方差作比较，处理简单，可以用它作为图像检索的初检，为下一步的细检缩小搜索范围。

形状是物体的一个重要特征，但由于物体形状的自动获取很困难，基于形状的检索一般仅限于非常容易识别的物体。形状可以用面积、离心率、圆形度、形状度、曲率、分形维等全局和局部特征来表示。其主要的分析方法有不变矩、Fourier描述符、自回归模型、向心链码、CSS(Curvature Scale Space), VSW(Variable Scale Wavelet)等；基于向心链码的方法即具有形状的编码能力又同时支持检索，它首先采用向心链码对形状进行编码，再在编码码流中直接提取形状的“相对凸数”及“凸度”，以此作为形状检索的依据。由于形状的向心链码具有旋转、平移、尺度的不变性，因此这种检索算法具有一定的抗“相似性形变”能力。向心链码形状检索的文章可以参考：黄祥林、宋磊、沈兰荪，一种基于向心链码的形状检索方法， 2001， 信号采集与处理；

纹理是图像中一种重要而又难以描述的特征，航空、遥感图片、织物图案、复杂的自然风景以及动物植物等都含有纹理。通常来讲，把图像中局部不规则，而宏观有规律的特性称之为为了。以纹理特性为主导的图像称之为纹理图像，以纹理特征为主导的区域称之为纹理区域。 纹理是图像的一个重要特征，一般认为纹理就是纹理元素有规律的排列组合，而把具有重复性、形状简单、强度一致的区域看做纹理元素。视觉纹理特征主要有：粗糙度、对比度、方向度、线象度、规整度、粗略度等。图像检索用到的纹理特征表示方法主要有：Tamura法（反映了粗糙度、对比度、方向度等）、MRSAR(multi-resolution simultaneous auto regressive model)、canny角直方图法、gabor法、塔式小波变换(PWT, pyramid wavelet transform)，树式小波变换（TWT, tree wavelet transform）等；这几种纹理特征方法的比较可以参考文献：Ma Weiying; Zhang Hongjiang, Benchmarking of image features for content based retrieval；The Thirty-Second Asilomar Conference on Signals, Systems & Computers, 1998

几个典型的CBIR应用系统：

（1）Lire, 开源java的CBIR库 http://www.semanticmetadata.net/lire/

（2）Octagon, java的CBIR库http://octagon.viitala.eu/

（3）University of Washington, CBIR http://www.cs.washington.edu/research/imagedatabase/

（4）CIRES，一个CBIR系统 http://amazon.ece.utexas.edu/~qasim/research.htm

（5）WebSeek, 哥伦比亚大学，http://www.ctr.columbia.edu/webseek/

（6）QBIC(Query By Image Content), IBM Aimaden研究中心开发的基于内容检索系统，提供对图像、视频、文本、语音等多种形式的多媒体信息进行检索。http://www.research.ibm.com/topics/popups/deep/manage/html/qbic.html

（7）PhotoBook, MIT, http://vismod.media.mit.edu/vismod/demos/photobook/

（8）Netra, UCSB Alexandria Digital Library(ADL)开发的图像检索系统原型，http://dnserror.yncuc.cn/Netra

（9）MARS（multimedia analysis and retrieval system）,美国伊利诺伊大学Urbana-Champain分校开发，http://jadzia.ifp.uiuc.edu:8000/

（10）百度识图：http://stu.baidu.com/

（11）相似图片查找Gazopa：http://www.gazopa.com/

（12）tinyEye: http://www.tineye.com/

（13）picitup: http://www2.picitup.com/

（14）杭州淘淘搜：http://www.taotaosou.com/

（15）google以图搜图：http://images.google.com.hk/imghp?hl=zh-CN&sourceid=cnhp

（16）Cortexica相似图片搜索:http://www.cortexica.com/

（17）江苏视图网络科技有限公司：http://www.1000look.net/

（18）图图搜衣：http://tutuso.cn/