视频数据的预处理
视频数据的预处理
视频数据的预处理主要可分为视频镜头分割、关键帧提取、特征提取三个步骤。
1.视频镜头分割（镜头边界检测）
镜头分割是视频处理的第一步，是后续视频处理分析的基础。同一镜头内视频特征的变化主要由两个因素造成：对象/摄像机的运动和光线的变化。镜头之间的转换方式主要有两类，即突变(CutTransition)和渐变(Gradual Transition)。
（1）像素差异法
首先定义一个像素差异测度，然后计算连续两帧图像的帧间差异并用其与一个预先设定的阈值作比较，大于该阈值，则认为场景发生了改变。
（2）基于直方图的方法
基于直方图的算法是最普遍的场景分割方法，它处理起来简单方便，而且对于大多数视频，能达到比较好的效果。基于直方图的方法将相邻帧的各个像素的灰度、亮度或颜色等分成N个等级，再针对每个等级统计像素数做成直方图比较。该方法统计了总体的灰度或颜色分布数量，它对镜头内的运动和摄像机的慢速运动有着良好的容忍能力，只是在镜头内容快速变化和镜头渐变时可能会引起误检或漏检。
（3）块匹配法
基于块匹配的方法先将每一帧图像划分成小的区域块，连续帧之间的相似性通过比较对应的块来进行判断，该方法利用了图像的局部特征来抑制噪声以及摄像机及物体运动的影响。
（4）基于运动的方法
基于运动的算法充分考虑了同一镜头内对象及摄像机的运动情况和特征，通过运动补偿等方法来减小对象和摄像机运动造成的镜头内帧差值的变化。
（5）基于轮廓的方法
对画面简单的视频进行分割时，基于轮廓的算法效果很好，在渐变镜头的检测上尤为突出。但是，大多数的视频中主要对象或背景可能都有很多复杂、细微或不断变化的轮廓，会干扰对镜头边缘的判断，造成误检；而在光线比较暗和轮廓不是很明显的情况下(如晚上和雾中)，由于难以检测到轮廓又会造成漏检。
2.关键帧提取
2.1关键帧的含义
关键帧是指代表镜头中最重要的、有代表性的一幅或多幅图像。依据镜头内容的复杂程度，可以从一个镜头中提取一个或多个关键帧。关键帧的选取要包含本镜头的主要信息。而且不能太复杂 要便于处理。
2.2 典型的关键帧提取技术
2.2.1 首尾帧法和中间帧法
首尾帧法将第一幅图像和最后一幅图像作为关键帧，对于突变镜头有效中间帧法选择在时间上居中的一幅图像作为关键帧。其缺点是：限制了镜头关键帧的个数，不能精确代表镜头信息。
2.2.2 基于颜色、纹理、形状特征法
（1）颜色特征提取
颜色是图像的一个主要物理特征。很少有两个完全不同的对象有相似的颜色特征。颜色特征包括色彩直方图、主导颜色、平均亮度等。利用颜色特征检索主要基于色彩直方图。彩直方图表征了图像色彩频率分布。它实际上是像颜色分布的统计特征。为了描述一个镜头的关键帧变化。需要引入两个新的内容描述子：主色直方图和空间结构直方图。主色就是一帧图像中占比重比较大的颜色，主色直方图能够捕捉那些持续时最长的颜色。而这些颜色是这段视频所关注的对象或背景的主要颜色从颜色块图提取的。空间结构直方图是描述图像空间运动信息的一组特征。它反映了图像整体在颜色空间各轴上的平均亮度水平。这种基于运动检测的自适应关键帧构造。可以全面表示镜头的内容变化。
简单地说就是，当前帧与最后一个判断为关键帧的图像比较，若有较多特征发生改变，则为新的关键帧。不同的视频镜头，得到不同数据的关键帧。
（2）纹理特征提取
纹理是某些图像所具有的局部不规则而宏观上又有规律性的特性。 纹理特征包括粗糙性、方向性和对比度。在进行纹理特征提取时，利用灰度共生矩阵法来提取纹理特征。灰度共生矩阵的定义：图像的灰度级定为N级。那么灰度共生矩阵为NxN矩阵，可表示为Mδ(i,j)。在灰度共生矩阵中选取表示纹理特征的四个统计量：对比度(contrast)、 纹理的一致性(uniformity)、像素对灰度的相关性(correlation)和熵(entropy)作为特征向量。 在 0°，45°，90°，135°四个方向上提取上述的四个纹理特征，组成16维的特征向量。
（3）形状特征提取
轮廓形状是一帧图像的主要特征，形状特征提取依靠边缘检测。边缘检测主要用到矩。通过矩来描述形状，计算速度快。在形状特征提取算法中，只是对量化后的各色彩计算其矩。较图像分割的方法更具鲁棒性，算法也较为简单。在各阶矩中，选定零 阶、一阶矩作为图像的空间特征。
2.2.3基于运动分析法
摄像机的运动所造成的显著运动信息时产生图像变化的重要因素，也是提取关键帧的一个依据。若由于相机焦距变化造成，则首、尾帧为关键帧；若由于相机角度变化造成，如果与上一关键帧重叠小于30％，则当前帧为关键帧。
2.2.4基于聚类的方法
对于比较大的图像数据库来说，先采用某种聚类算法，把图像库中的图像进行分类，在此基础上提取关键帧会使计算量大大减少。这种方法计算效率高，能有效获取视频镜头变化显著的视觉内容。对于低活动性镜头，提取少量的关键帧；反之，提取较多的关键帧。
3.视频特征提取
视频的基本特征可分为静态特征和动态特征。
3.1 静态特征
静态特征主要是关键帧的图像特征，对关键帧的特征提取方法和对一般的静态图像的特征提取方法是一样的。静态特征主要包括颜色特征、纹理特征、形状特征等；
3.1.1 颜色特征
（1）颜色特征的优点：颜色特征有许多优点，其中包括操作简单、性质稳定以及对一些变
化如旋转、平移、尺度变换等保持不变性，因此鲁棒性很强。
（2）颜色空间：颜色通常的颜色是定义在三维颜色空间中的，包括RGB（红，绿，蓝），HSV
（色调，饱和度，亮度值）或HSB（色调，饱和度，亮度）。最常用的颜色空间为 RGB、
HSV、LUV、YCrCb 等。RGB 空间结构并不符合人们对颜色相似性的主观判断，而HSV
颜色空间更接近人们对颜色空间的主观认识。RGB空间可以向HSV空间进行转化（在
Matlab中直接使用RGB2HSV即可转化）。
（3）颜色直方图：图像颜色信息的主要表示方式是颜色直方图（具有尺度不变性和旋转不
变性）。在颜色直方图中，X轴的取值取决于图像的颜色数量，Y轴表示在每个颜色下
的像素点的数目。颜色直方图描述的是不同色彩在整幅图像中所占的比例，而不关心
颜色的空间分布位置。
距离度量：两种颜色之间的距离有多种不同的度量方法。如：HSV空间的一种度量方
法如下：
这种相似度量方法相当于一个圆柱形颜色空间中的欧拉距离
（4）颜色矩：图像中任何的颜色分布均可以用它的矩来表示，且颜色分布信息主要集中
在低阶矩中。与颜色直方图相比，该方法的好处在于无需对特征进行向量化。
（5）颜色集：是对颜色直方图方法的一种近似。该方法将图像表达为一个二进制的颜色索
引集，以支持大规模图像库中的快速查找。
（6）颜色聚合向量：它是颜色直方图的一种演变，其核心思想是将属于直方图每一个bin
的像素分为两部分：聚合像素和非聚合像素。包含了颜色分布的空间信息。
3.1.2 纹理特征
纹理包含物体表面的结构布置等重要信息，描述了物体表面与其周围环境。纹理的特性包括：粗糙度(coarseness)、对比度(contrast)、方向度(directionality)、线像度(linelikeness)、规整度(regularity)和粗略度(roughness)。
常用的纹理分析和分类方法：
（1）小波变换：小波变换指的是将信号分解为一系列的基本函数 ψmn(x)。四个子波段，
根据频率特征分别称为 LL、LH、HL 和 HH。有两种类型的小波变换可以用于纹理分析，
其中是金字塔结构的小波变换（PWT）和树桩结构的小波变换（TWT）。
（2）共生矩阵：首先建立一个基于像素之间方向性和距离的共生矩阵，然后从矩阵中提取
有意义的统计量作为纹理特征。
3.1.3 形状特征
形状可以被定义为一个对象的表面结构轮廓特征。它使得一个对象区可以别于其周围环境的其他对象来。形状特征有两种表示方法：一种是轮廓特征的，一种是区域特征的。前者只用到物体的外边界，而后者则关系到整个形状区域。表达这两类形状特征的最典型方法分别是傅立叶描述符和形状无关矩。
3.1.4 空间关系特征
图像中对象所在的位置和对象之间的空间关系同样是图像检索中非常重要的特征。空间关系特征可以分为两类：一类方法首先对图像进行自动分割，划分出其中所含的对象或颜色区域，然后根据这些区域对图像索引；另一类方法则简单地将图像均匀划分若干规则子块，对每个图像子块提取特征建立索引。
3.2 动态特征
动态特征是视频数据所特有的，包括全局运动（摄像机的运动如摇镜头、推拉、跟踪等摄像机的操作)和局部运动（镜头内对象的运动，运动轨迹、相对速度、对象之间位置的变化等)。动态特征是视频数据的重要特征。因为仅用代表帧的图像特征是很难说明视频序列的运动变化情况的。
（1）全局运动
主要包括摄像机的平移、旋转、缩放。可以建立摄像机运动的通用模型来刻画摄像机
的运动。在对摄像机运动模型的参数进行估计时，首先从相邻帧中选取足够多的观测 点，接着用一定的匹配算法求出这些点的观测运动矢量，最后用参数拟合的方法来估 计模型参数。
（2）局部运动
局部运动特征提取技术：基于光流场的运动矢量提取技术（利用运动图像序列中的灰
度数据的时域变化和相关性，确定图像像素的运动情况）。光流是基于像素灰度的一种 表观运动，并不等于运动矢量。
u 光流基本约束方程：其基本思想是将运动图像函数作为基本函数，根据图像灰度守恒 原理建立光流约束方程，通过求解光流约束方程，计算运动矢量。
u Horn-Schunck 光流场计算方法：由于对应每一个像素点有两个未知量 ，所以求解光
流方程是一个不适定问题。Horn 依据同一运动物体引起的光流场应该是连续的、平滑 的，即同一物体上相邻点的速度是相似的，那么其投影到图像上的光流变化也应该是 平滑的这一特点，提出了一种利用加在光流场上的附加约束即整体平滑约束来将光流 场的计算问题转化为一个最优化问题。