轻量级3D姿态估计

本文分享一款可以跑在手机上的3d姿态估计网络。

效果图:

轻量级3D姿态估计_第1张图片

算力3.92GFLOPS,而且平均每关节位置误差(MPJPE),也只有大约5厘米

用的TensorFlow平台开发,开源了onnx模型。

输入是目标检测后的人体图,人体检测用的yolov5。

网络结构:编码器-解码器

在编码器用于全局特征提取,而解码器进行姿态估计的基础架构,研究团队对其主干网络、激活函数,以及Skip concatenation功能都进行了修改。

他们在MobileNetV2的前四个倒置残差块(Residual Block)处修改了通道大小,获得了性能提升。

激活函数用的PReLU

MobileNetV2在一般场景中的性能都更好,且在少数场景中取得了最佳性能:

轻量级3D姿态估计_第2张图片

在模型效率上,MobileNetV2的大模型效率为2.24M/3.92GFLOPS,远超同类模型的13.0M/10.7GFLOPS(Zerui Chen)。

论文:
h

你可能感兴趣的:(姿态检测,深度学习宝典,深度学习,神经网络)