多模态运动数据采集系统

为给研究人员提供更多有效的多模态同步数据集,合肥工业大学的程景铭团队设计了一个多模态运动数据采集系统,采集了包含全身运动多模态数据集,并利用已有算法对数据集进行了评估测试。

多模态运动数据采集系统_第1张图片

多模态运动数据采集系统 

多模态运动数据采集系统,主要包含如下三种设备:

动作捕捉设备:选用NPN设备采集高精度人体运动数据。

深度相机设备:选用Kinect v2设备放置于人体正前方,使用内置算法直接采集人体骨骼信息。

IMU设备:采用ATOM Matrix作为IMU数据的采集设备,同时集成了Wi-Fi、蓝牙等模块,便于IMU数据的采集与传输。

多模态运动数据采集系统_第2张图片

数据采集环境

实验分类采集了全身运动多模态数据集,包含6类动作,如广播体操、八段锦、体育运动、五禽戏、日常活动和舞蹈等总计697万帧数据。

实验使用了卷积神经网络、双向循环自编码器、基于感知的双向循环自编码器和深度惯性姿势对数据集进行评估,验证数据集的通用性。团队将数据集的部分数据进行了随机划分,一部分作为训练数据训练神经网络,另一部分作为测试数据测试神经网络的性能。

程景铭, et al. "多模态人体运动同步数据集." 计算机辅助设计与图形学学报 (2022).

你可能感兴趣的:(科研进展,物联网,人工智能,机器人)