头部姿态综述总结

头部姿态综述总结：

1. 应用领域

2. 头部姿态的定义

头部姿态估计是从二维数字图像推断出三维空间中人的头部朝向的过程

三维空间中可以采用欧拉旋转角来表示头部姿态:
水平方向（yaw）、垂直方向（pitch）、图像面内旋转的角度（roll）

理论上，完整的头部姿态范围为围绕Ｘ轴（pitch 方向）、Ｙ轴（Yaw 方向）、Ｚ轴（方向）分别旋转-90°~90°。
在实际生活中，正常成年人头部偏转范围为围绕于Ｘ轴偏转-60.4°_{69.6°，围绕Ｙ轴偏转-40.9°}36.3°，围绕Ｚ轴偏转-79.8°~75.37°。

3. 头部姿态估计的本质问题

头部姿态估计要解决的问题：从二维数字图像中估计出用户在三维空间中的头部姿态，从而得到一个三维姿态偏转角参数，即欧拉旋转角。（即从二维图像得到欧拉旋转角）

本质上：

即寻找二维图像空间到三维姿态空间的一个映射关系
或者二维图像空间 – > 特征空间 — > 三维姿态空间的映射关系

4. 头部姿态估计的性能评价指标
   头部姿态估计评价指标主要包括：

1)平均绝对误差（Mean Absolute Error，MAE）
2)绝对误差标准差（Standard Deviation of Absolute Error，SDAE）

(1) 平均绝对误差（MAE）
是指预测出的头部姿态偏转角度和实际偏转角度之间的距离的平均值。

（2）绝对误差标准差
平均绝对误差只能反映预测角度跟实际角度之间的差距，不能反映误差的离散程度。
反映误差的离散程度一般选用绝对误差标准差作为评价指标。

5. 头部姿态估计方法分类
   
   1）基于外观模板方法
   基于外观模板方法是早期比较传统的方法。
   方法：
   首先对每类头部姿态建立标准模板，然后将待识别的样本图像与具有相应姿态标签的标准模板进行匹配，与之匹配度最高的模板类别即为该样本所属的类别。
   

优点：标准模板库可扩展，并且不需要负样本或者面部关键点。
缺点：随着模板库的数量不断增加，匹配样本的计算成本也更高。模板库的样本丰富程度对估计的准确率也有很大的影响。

2）基于回归的方法
指通过学习从二维图像空间到三维头部姿态角度空间的一个映射关系。
二维图像空间 --> 特征空间 --> 三维头部姿态角度空间

优点：实时性好、准确率较高的优点
缺点：对遮挡和噪声特别敏感，在自然场景中头部姿态估计的精度较低。

3）基于流形嵌入的方法
基于流形嵌入的方法将头部姿态假定为图像空间中一个平滑的低维流形。
方法：对流形进行建模，并且采用嵌入技术将新样本投影到流形中，然后使用嵌入空间中的回归或嵌入模板匹配之类的技术将该低维嵌入用于头部姿势估计。

4）基于几何的方法
指获取头部形状和面部关键点的相对位置，利用空间中的几何关系来进行头部姿态
估计。
通常先确定面部关键点的位置，然后计算这些关键点的相对位置。

基于几何的方法过程简单，时间复杂度较低，但是面部关键点的定位和检测仍是目前的难点所在.

5）基于跟踪的方法
基于跟踪的方法是指通过视频前后帧中头部的相对运动来进行头部姿态估计。

基于跟踪的方法一般精度较高，缺点是难以准确初始化位置和头部姿态以生成新模型或调整
现有模型。

6）基于分类和回归融合的方法
基于分类和回归融合的方法是指将头部姿态估计既看成分类问题又看成回归问题，组合两者的优势来提升估计的准确率。
Ruiz 等人[12]提出了一种多损失卷积神经网络（如图 7 所示）进行头部姿态估计，该网络架构首先通过主干网络提取特征，然后采用三个分支网络（分别代表 yaw、pitch、roll 方向）对不同角度进行单独估计，每个分支网络都采用交叉熵和均方差两种损失函数组合进行优化。

7）基于深度学习的方法
许多学者提出了基于卷积神经网络的头部姿态估计方法。
1、Cai 等人[13]采用了两个神经网络来训练头部姿态估计分类器。
2、Ranjan 等人[14]提出了一种多任务深度学习框架，该框架涵盖了人脸检测，面部关键点
检测，头部姿态估计。
由于多任务之间具有协同作用，单个任务的性能在原有基础上都得到了一定的提升。

基于深度学习的头部姿态估计方法采用端到端的识别，在该领域表现出了优异的性能，该方法的缺点是训练过程需要大量的数据集，数据采集过程耗时耗力。

仍然面临诸多挑战：
透视畸变、画面遮挡、数据集标注困难、跨数据集，等等。
如何兼顾提升精度和降低预测时间也是头部姿态估计未来的研究趋势。