Learning to Estimate 3D Hand Pose from Single RGB Images总结

文章链接

摘要

1. 首次实现依靠单RGB预测3D手势
2. 提出一个人工合成的数据集
3. 使用深度网络学习先验知识，有效处理手势模糊和遮挡问题

介绍

1. 手势相对于姿态估计难点：

   1. 图片手势位置相较于整体姿态更加模糊
   2. 由于手指具有高灵活性、多样性，存在严重的自-遮挡现象
   3. 关于手势的数据集少

2. 论文网络结构：

   
   
   1. 语义分割-裁剪手部位置图像
   2. 特征点检测-2D
   3. 3D手势识别

关键

1. 固定视角

   定义Canonical 坐标w_c 。对于一个关节3D坐标w，使用旋转矩阵R将掌心位置坐标旋转到XoY平面上(使),旋转后关节点坐标为w_R 。

2. 网络预测

   不预测3D世界坐标，网络预测输出w_R和旋转矩阵R，再做逆变换得到w_c