多媒体数据库基于内容检索系统的工作原理:
基于内容的检索作为一种信息检索技术,接入或嵌入到其他多媒体系统中,提供基于多媒体数据库的检索体系结构。
基于内容的检索系统分为两个子系统,分别为特征抽取系统和查询子系统。
系统包括如下功能模块:
a:目标识别:为用户提供自动或半自动识别静态图像、视频、镜头的代表帧;对动态目标进行特征抽取、查询、处理,进行整体的或局部的内容检索,可采用全局特征或局部特征。
b:特征抽取:提取用户感兴趣又适合于基于内容检索的特征(颜色分布情况,颜色的组成情况、纹理结构、方向对称关系、轮廓形状的大小)
c:数据库:多媒体数据库(声音、文字、图像等)、特征库(预处理特征)、知识库(知识表达)
d:查询接口:三种输入方式:交互输入方式,模板选择输入方式,用户提交特征样板输入方式。多媒体特征组合功能和查询结果浏览
e:检索引擎:利用特征之间的距离函数来进行相似性检索。对于不同的特征用不同的相似性算法
f:索引/过滤:通过索引和过滤达到快速搜索的目的,把全部的数据通过过滤器变成新的集合再用高维特征匹配来检索。
基于内容检索的工作过程包括以下几个步骤:
提交查询要求:利用系统人机交互界面输入方式形成一个查询主条件。
相似性匹配:将查询特征与数据库中的特征按一定的匹配算法进行匹配。
返回候选结果:满足一定相似性的一组候选结果按相似度大小排列返回给用户。
特征调整:对系统返回的一组初始特征的查询结果,用户通过浏览选择满意的结果,或进行特征调整,形成新的查询,知道查询结果满意为止。
抽取特征和语义,利用这些内容特征建立索引并进行检索,过程中主要以图像处理、模式识别、计算机视觉、图像理解等学科中的一些方法为部分基础技术,是多种技术的合成。
基于内容检索的多媒体是一个新兴的研究领域,但也存在一些问题,主要包括:多媒体特征的描述和特征的自动提取、多媒体的同步技术、匹配和结构的选择问题,以及按多相似性特征为基础的索引、查询和检索等。