行人检测 读书笔记 综述（3）2007

杜友田等 基于视觉的人的运动识别综述 2007 电子学报

看过前两篇文章之后前面的引言可以省略了

1 人运动的类别

Bobick 人的运动分类
- 动作 movement 例如动一动手指
- 行为 activity 例如完成的手势
- 行为 action 例如多人交互

2 人运动的表示方法

首先，作者阐述了衡量运动表示的标准：紧凑性（minimalism）、完备性（completeness）、连续性（continuity）、唯一性（uniqueness）
其次，关于人运动吧表示方法：
- 基于表观（appearance）的表示方法：采用图像上的颜色、灰度等信息直接分析
1）网格特征（mesh feature），先将图像划分为若干网格，将人从图像中提取，看每个网格中人体的像素的比例，以此描述人体运动，研究者Yamato，T.Nishimura。方法简单，精度低。
2）利用人的轮廓或者区域信息。kale的步态识别问题：提取轮廓->计算每一行的轮廓宽度作为特征向量。Veeraraghavan利用轮廓上的标记点来分析人的运动。
3）利用人的运动信息，如光流，目标轨迹以及速度等。Pasarrou等人采用时空轨迹（spatio-tempral trajectory）来表达人的行为，用一阶马尔科夫过程对其建模。
- 基于人体模型的表示方法
基于人体模型的表示方法=将人体及其姿态参数化，主要有三种：线图模型，2-D模型和立体模型，前两者使用较多（2007年之前）。这类方法，特征空间维度高，对图像分辨率要求较高。栗子：feng和Perona采用2-d模型建模，将人体模型分为10个矩形，每个矩形有5个自由度，采用当前帧和下一帧中的模型参数联合表示人体姿态；Arie等人采用3D模型，将人体分为9个圆柱和球体，其特征向量由其角度和角速度表示，姿态由上肢、下肢、躯干最终确定，具体计算时投影到2d平面。

3 人运动的识别方法

3.1 基于模板的方法

将运动图像转化为一个或一组静态的模板，将待识别样本与一直模板进行匹配：Bobick和Davis将图像序列转化为运动能量图像（MEI）和运动历史图像（MHI），前者反应运动范围和强度，后者反应时间变化，通过计算马氏距离（mahalanobis distance）来衡量其余模板的相似性。
另外，由于同一模式的运动持续时间不同，所以在模板匹配时需要对其进行规整，动态时间规整dynamic time warping 是一种很好的非线性规整方法。

3.2 基于概率网格的方法

基于概率网格的方法是当前（2007）最主要的人的运动识别的方法。
主要种类：
- 隐马尔科夫模型 Hidden markov Models, HMMs
- 动态贝叶斯网络 Dynamic Bayesian Networks，DBNs
前者是后者的特殊形式
后来又出现了条件随机场（Conditional random field）及隐马尔科夫的变体：
Brand等人 coupled hidden markov model 耦合隐马尔科夫模型
luhr nguye 分层隐马尔科夫模型 hierarchical hidden markov models
Duong 将时间融入 提出switching hidden-semi markov model(S-HSMM)
动态贝叶斯网络对于动态过程的建模和分析、多信息融合、复杂动态系统的分析识别更为有效和灵活，相比隐马尔科夫可分析动态复杂系统，降低复杂度

3.3 基于文法技术（syntactic technique）的方法

文法技术多用于文本分析和语音识别等领域，在运动识别中主要用于静态图片的纹理识别
主要优势在于对复杂结构的理解和先验信息的利用

4 存在问题

*更本质的表达方式：
1. 三维重建，复杂度高，假设多
2. 动态瞬间和间隔，表达行为的速度，方向，及加速度
3. 特征向量维数的高低，可采用多分辨率方法，有高有低
*连续运动的实时识别
1. 如何判断运动的起点和终点
2. 如何学习长运动序列中的心行为：半监督
*算法评价
缺少标准的测试数据集
*如何根据外部环境自主学习