图像三维重建专题第三期-单张图中得到3D手、脸、身体-Expressive Body Capture: 3D Hands, Face, and Body from a Single Image

论文链接

摘要

        为利用及分析人体动作、交互、情绪，我们计算一个3D模型人体姿态、手势姿态、面目表情从一个单张图像。为完成这个，我们使用上千张3D扫描去训练一个新的，统一的，3D模型人体，SMPL-X，延伸SMPL使用手全部关节和一个面部表达。学习去回归参数SMPL-X直接的从图像是具有挑战的没有配对的图像和3D真值。最终，我们根据SMPLify方法，评估2D特征以及优化模型参数来适应特征。我们提出SMPLify在几个重要方法：（1）我们检测2D特征对应脸、手、脚、适应全SMPL-X模型；（2）我们训练一个新的神经网络姿态先前使用一个大的MoCap数据集；（3）我们定义一个新的互渗惩罚是快和精确的；（4）自适应检测性别和估计人体模型（男性，女性）；（5）我们的pytorch处理实现一个提速8倍。我们使用一个新的方法，SMPLify-X，来适应SMPL-X来一起控制图像和外面图像。我们评估3D精度在一个新的数据集组成100图像使用伪真值。这是一步面向自适应表达人体从单目RGB数据。模型、方法、数据可以被下载在：https://smpl-x.is.tue.mpg.de

效果图

 

SMPL、SMPL+H、SMPL-X质量对比

对手细节进行展示