行为识别算法分类总结

1 按照特征复杂度分类
1.1低级特征
也称为手动计算特征，既根据对被识别对象的特征知识理解进行特征提取，主要有：
1）图像特征，既基于RGB或灰度图像的特征提取，通常是基于灰度图像
2）光流特征，基于光流场进行特征计算
3）骨架特征，计算骨架的几何特征
1.2中级特征
主要思想是对图像进行预处理，不直接计算特征，但也不是端对端算法，预处理后经过CNN进行行为识别。常用预处理方法有：
1）基于光流场
2）基于帧差分
两种预处理方案主要反映了行为的时序特征，再结合基于RGB的空间特征识别，形成双流法。
1.3高级特征
已经证明骨架姿势不但是描述行为最准确的模式，而且不受场景和光照等影响，适用性强。骨架特征主要包括两种：
1）坐标特征，既骨架节点的坐标信息
2）几何特征，与骨架部位的角度，骨架节点距离等几何量相关的特征
2按照基于骨架的行为识别算法分类
2.1使用CNN网络
CNN网络的特点是要求输入是图像信息，而骨架基本特征信息通常由向量表示，因此需要设计适用于CNN的骨架图像信息，常用方法有：
1）计算骨架的光流信息形成图像
2）将一个序列骨架节点重构成图像
2.2使用RNN或LSTM
从一段视频提取骨架的几何特征向量，构成基于时序的输入向量，而RNN和LSTM适用于时序输入。其中：
1）几何特征代表空间信息
2）时序输入堆代表时序信息
2.3设计深度学习网络
设计专用深度学习网络可直接输入坐标特征和几何特征
3按照骨架信息获取手段分类
1）基于RGB图像的深度学习模型提取骨架信息
2）基于3D图像
3）基于深度照相机
4按照信息类型分类
4.1空间信息
使用CNN提取空间信息，及空间信息之间的相关性，既：
1）节点坐标信息
2）骨架角度
3）骨架框架
4）前后帧骨架相关性
4.2时序信息
使用RNN或LSTM提取时序信息
5按照信息提取方式分类
5.1手动提取特征
既根据对骨架特征的理解进行特征计算，通常这类特征作为RNN或LSTM的输入。
5.2自动提取特征
通常认为手动提取特征的方法泛化能力差，因此借助深度学习的思想，用学习的方法自动提取特征，核心思想分两步：
1）将骨架数据进行有效的组合或拼接
2）利用深度学习网络模型的特点提取几何特征