[行为识别]传统特征

参考博客

全局特征

  全局特征是把一对象当做成一个整体,这是一种从上到下的研究思维
  这种情况下,视频中的人必须先被定位出来,这个可以采用背景减图或者目标跟踪算法。然后对定位出来的目标进行某种编码,这样就形成了其全局特征。
  这种全局特征是有效的,因为它包含了人体非常多的信息。然而它又太依赖而底层视觉的处理,比如说精确的背景减图,人体定位和跟踪。而这些处理过程本身也是计算机视觉中的难点之处。另外这些全局特征对噪声,视角变化,遮挡等非常敏感。
  全局特征提取:背景减图,跟踪.
  1、二维全局特征
   MEI为运动能量图,用来指示运动在哪些部位发生过,MHI为运动历史图,除了体现运动发生的空间位置外还体现了运动的时间先后顺序。这2种特征都是从背景减图中获取的。图2是坐下,挥手,蹲伏这3个动作的运动历史图MHI。

  2、三维全局特征提取
   在三维空间中,通过给定视频中的数据可以得到3D时空体(STV),STV的计算需要精确的定位,目标对齐,有时还需背景减图

局部特征

  局部特征提取是收集人体的相对独立的图像块,是一种从下到上的研究思维。一般的做法是先提取视频中的一些时空兴趣点,然后在这些点的周围提取相应的图像块,最后将这些图像块组合成一起来描述一个特定的动作。
  局部特征的优点是其不依赖而底层的人体分割定位和跟踪,且对噪声和遮挡问题不是很敏感。但是它需要提取足够数量的稳定的且与动作类别相关的兴趣点,因此需要不少预处理过程。
  行为识别中的局部特征点是视频中时间和空间中的点,这些点的检测发生在视频运动的突变中。因为在运动突变时产生的点包含了对人体行为分析的大部分信息。因此当人体进行平移直线运动或者匀速运动时,这些特征点就很难被检测出来。
  局部特征点的检测
  Laptev[33]将Harris角点扩展到3DHarris,这是时空兴趣点(STIP)族中的一个。
  局部特征点的描述
  二维的SURF特征[39]被Willems[40]扩展到了3维
  Klaser[41]将HOG特征扩展到3维,即形成了3D-HOG。

数据集

一些比较小的数据集
行为识别数据集汇总
人体行为识别数据集

  • Hollywood 人体行为库
    该数据库包括8类行为。这些都是电影中的片段。
  • FLIC
    半身 影视
  • MPII 全身 日常

  • LSP 全身 体育

中型数据集

  • UCF 101
    全身,半身,体育,日常,乐器
  • HMDB

大型数据集

  • kinetics

你可能感兴趣的:(paper阅读)