IF-ConvTransformer:基于IMU传感器的人体行为识别深度网络框架

目前，深度学习已经在基于惯性测量单元（IMU）的人体行为识别任务中得到了广泛探索。新近方法通常使用由卷积神经网络（CNN）和循环神经网络（RNN）组成的混合模型进行多传感器融合与上下文信息关联，进而实现行为识别。然而，这些模型通常对不同传感器的物理特性与RNN的“遗忘缺陷”欠缺考虑，导致识别性能不足。

为此，来自中山大学的张晔博士后提出了一种面向人体行为识别的深度网络框架IF-ConvTransformer。该框架由IMU融合模块与ConvTransformer子网络组成。其中，IMU融合模块受到了互补滤波技术的启发，可以自适应地适配重力计和陀螺仪的数据特性，有效融合不同IMU传感器。此外，ConvTransformer子网络可以通过卷积层和自注意力层更好地捕捉局部和全局时序特征，有效构建上下文关联。该方法使用了5个基于智能手机和3个基于可穿戴设备的人体行为识别数据集进行实验验证，实验结果表明，该方法在W-F1指标上平均比基准方法高出2.88%。此外，该方法也提供了一些有趣的可视化实验，进一步证明了其有效性。相关代码开源在：https://github.com/crocodilegogogo/If-ConvTransformer。