《SparsePPG: Towards Driver Monitoring Using Camera-Based Vital Signs Estimation in Near-Infrared》笔记

---

Abstract

photoplethysmography (PPG): 光体积变化描记图法
Driver Monitoring存在着诸多挑战：不同时段司机面部的光线变化（可以使用narrow-bandwidth near-infrared来减轻影响）、会侦测到很多的运动而受到干扰、低信噪比以及误检。

1. Introduction

生命迹象（Vital Signs）如心跳可以监测人的健康情况，而非接触式监测技术有具有着重要应用（新生儿、烧伤、感染），过去数十年里camera-based方法取得了与接触式监测相当的准确率。

1.1 Driver Monitoring Using Remote Vital Signs

诸多事故都是由于疲劳驾驶以及分心造成的，同时驾驶员可能出现突发心脏病。因此我们希望在这些发生以前监测并向驾驶员发出警报，避免事故发生。

1.2 Challenges and Opportunities

rPPG存在三个主要的挑战：

1.2.1 Challenge 1: Drastic Illumination Changes

可以看出，红外光下对光照突变的鲁棒性更好。

由于白天的日光、夜晚的灯光，会出现光照突变的情况，因此需要找到一个光谱范围，使得两者影响都能最小。太阳光谱中940nm出现了一个“谷”，此处日光的能量小，同时灯光为可见光，在此波段也具有很低的能量。因此光线突变带来的影响可以被滤除。
同时由于此处非可见光，因此不会影响到驾驶员。再者，光源带宽越小，BPF带宽越小，进一步滤除了光照突变。

1.2.2 Challenge 2: Low Signal-to-Noise Ratio (SNR)

camera-based方法测量得到的信号非常微弱，背景与噪声影响很大。同时相机的感受度在红外范围内进一步降低，NIR段的信号比可见光波段的低很多，因此需要对噪声更鲁棒的算法。
作者使用了SparsePPG方法进行降噪，该方法基于脉动信号在频域稀疏并且在面部区域低秩(low-rank)的前提。同其他需要多波长光线达到鲁棒效果的方法不同，作者的方法只需要narrow-band illumination以及单通道图像。

1.2.3 Challenge 3: Large Motion

由于车身抖动、驾驶员扭头观察、光线抖动，会出现很多large motion，造成rPPG的错误估计。
作者的方法有两个关键点：第一是使用面部对齐（face alignment or face landmark localization）以及面部区域跟踪（facial region tracking）来补偿运动，第二是利用傅里叶变换的稀疏性利用运动特征分离出真正的峰值。

1.3 Contributions

• 探索基于相机的生命体征监测在驾驶员监控系统的应用
• 940nm动态光照
• SparsePPG算法，实现了较好的降噪
• 发布了第一个包含NIR与RGB的数据集
• 达到了较高的准确率

2. Related Work

此处省略。

3. SparsePPG

3.1 The rPPG signal model

对信号进行建模，(1)为时域模型，(2)为频域模型，(3)为忽略了系统响应的模型。

3.2 Denoising the rPPG signals

将P分为三个部分，并且噪声N可以拆分为两部分，其中inlier为正常数据、可以被模型描述的数据，outlier为异常数据、无法被模型描述的数据。

为了从P中得到我们想要的Y并且抑制outliers，我们使用RPCA（鲁棒主成分分析）方法，将其建模为一个最优化问题，其中要求S的$l_1$范数数值尽可能小，让我们期望的解变成一个稀疏解。

3.3 Sparse spectrum estimation

先前的Z可以用(6)中的矩阵形式来表示，我们需要从Z中计算得出X和E，作者提出了如下最优化方法从Z中计算得到X和E：

3.4 Fusion of Time Windows

这一部分主要讲的就是窗的融合，原本的$\mathbf{P}$可以由两部分组成，第一部分为在先前窗出现过并且在当前窗也存在的部分（也就是当前窗与先前窗的重叠部分），第二部分为新的rPPG数据。为了更好地抑制噪声，作者提出了窗的融合$\bar{\mathbf{P}}=\alpha \mathbf{P}+(1-\alpha )\left[\begin{array}{c}\widetilde{{\mathbf{Y}}_o}\\ {\mathbf{P}}_n\end{array}\right]$，其中$\tilde{\mathbf{Y}}={\mathbf{F}}^{-1}\mathbf{X}$，将输出也融入了窗中，并增加了比例因子$\alpha$，借此提高鲁棒性。

3.5 Preprocessing to Reject Facial Regions

不是所有的面部区域都能提供好的信息，因此需要进行预处理。作者提出通过判断最可能出现最多噪声的面部区域，进而在处理前将它们去除，丢弃的标准有两个：信噪比低于阈值、峰值高于阈值。在每个窗中都会有不同的面部区域被丢弃，因此在3.4部分的窗融合之前，需要对$\mathbf{X}$进行重构，使用的方法为利用邻近的区域进行插值重构。

3.6 Implementation Details

一些实验具体参数的设置。

4. Experimental Evaluation and Results

分三部分：使用窄带940nm光照进行rPPG测量的可行性，NIR相比RGB的优势，在车辆场景中测量心率的挑战。

4.1 HR estimation in 940 nm illumination

图7展示了实验的设置，包括在实验室环境以及汽车内。

与SOTA方法的对比，采用两个指标：RMSE(root mean squared error)和PTE6(percentage of time that the HR error is less than 6 bpm in %)

4.2 Varying Illumination in the Lab

展示了三种光照条件，长亮/长暗/明暗快速交替，可以看出IR的效果远好于RGB。

4.3 Challenges in a Moving Car

主要来自于两个方面：头部的大幅度动作，光照的剧烈变化。

4.3.1 Motion in the Car

运动幅度过大时，tracker跟踪会失效，需要重新检测。

4.3.2 Illumination Variation in the Car

5. Conclusions

940nm NIR照明的可行性，提出SparsePPG，对误差来源进行分析。