从抖音视频提取游戏动作

姿态估计旨在 RGB 图片和 Video 中的人体像素映射到肢体的三维曲面(3D surface),其涉及了很多计算机视觉任务,如目标检测,姿态估计,分割,等等. 姿态估计的应用场景不仅包括关键点定位,如图形(Graphics),增强显示(Augmented Reality, AR),人机交互(Human-Computer Interaction,HCI),还包括 3D 目标识别的很多方面.

层出不穷的姿态检测深度网络模型,在最近两三年如雨后春笋般出现。今天我们选AlphaPose导出骨骼3D关键点位置,并在游戏引擎的去运行相关的模型。相关的代码都已提交到github, 我们提供算法解决视频2D到游戏3D骨骼的转换。算法不局限于抖音上的视频, 只是作者使用的视频都是从抖音上爬来的。

识别视频

首先将从抖音扒来的视频导入到模型,由AlphaPose生产识别后的运动姿势, 并使用Video3DPose中的方法渲染成视频, 如下:

o_dai1.gif

使用工具将numpy格式的数据转换成二进制(bytes), 以供之后在unity里解析使用。我们输出的时候查看numpy对象shape是(x,17,3), 第一维x代表帧数, 第二维代表17个关节,第三维代表关键点(joint)的3d位置。

Unity 运行模型

将上一步Python环境里生成的关键点信息(二进制文件),导入到Unity里,使用IO接口解析出来,由于Video3DPose默认使用的[hunman3.6数据集]骨骼的标记是17个部位,这里我们创建了17个GameObject,代表17个关节节点, 并使用LineRender组件把相关的关节连接成线。在Mono的Update函数,我们更新导出模型的3d关键点位置信息,于是一个运动的骨骼人行动起来了。 关于[hunman3.6数据集]关节编号的详细介绍,见本文最后的附录。

skeleton.gif

代码如下, 在Update中插值更新17组关节的位置,pose_joint数组的顺序对应到hunman3.6数据集关节编号。

protected override void LerpUpdate(float lerp)
{
    Hip.position = Vector3.Lerp(Hip.position, pose_joint[0], lerp);
    RHip.position = Vector3.Lerp(RHip.position, pose_joint[1], lerp);
    RKnee.position = Vector3.Lerp(RKnee.position, pose_joint[2], lerp);
    RFoot.position = Vector3.Lerp(RFoot.position, pose_joint[3], lerp);
    LHip.position = Vector3.Lerp(LHip.position, pose_joint[4], lerp);
    LKnee.position = Vector3.Lerp(LKnee.position, pose_joint[5], lerp);
    LFoot.position = Vector3.Lerp(LFoot.position, pose_joint[6], lerp);
    Spine.position = Vector3.Lerp(Spine.position, pose_joint[7], lerp);
    Thorax.position = Vector3.Lerp(Thorax.position, pose_joint[8], lerp);
    Neck.position = Vector3.Lerp(Neck.position, pose_joint[9], lerp);
    Head.position = Vector3.Lerp(Head.position, pose_joint[10], lerp);
    LShoulder.position = Vector3.Lerp(LShoulder.position, pose_joint[11], lerp);
    LEblow.position = Vector3.Lerp(LEblow.position, pose_joint[12], lerp);
    LWrist.position = Vector3.Lerp(LWrist.position, pose_joint[13], lerp);
    RShoulder.position = Vector3.Lerp(RShoulder.position, pose_joint[14], lerp);
    REblow.position = Vector3.Lerp(REblow.position, pose_joint[15], lerp);
    RWrist.position = Vector3.Lerp(RWrist.position, pose_joint[16], lerp);
}

怎么能使游戏的Avatar的3D模型也能像输入模型那样运动起来呢? 换句话说,如何求一种解法将上一步的人形转换为游戏的绑定顶点的骨骼。我们知道3D角色的骨骼动画都是在CPU端层级计算的,上一级关节是下一节关节的原点坐标,由于关节之间的部位长度是固定的,于是问题转换成了求父关节的旋转,即四元数。当父关节的旋转固定的时候,子关节的位置随即也确定了。

对于旋转的求法, 先根据父子关节关系求一个角度, 然后在根据关键点模型里的位置算一个角度, 使用Quaternion.FromToRotation得到一个旋转四元数, 然后在当前的基础上旋转得到目标四元数,最后在Update里由当前插值到目标四元数就行了。代码实现如下:

private void UpdateBone(AvatarTree tree, float lerp)
{
    var dir1 = tree.GetDir();
    var dir2 = pose_joint[tree.idx] - pose_joint[tree.parent.idx];
    Quaternion rot = Quaternion.FromToRotation(dir1, dir2);
    Quaternion rot1 = tree.parent.transf.rotation;
    tree.parent.transf.rotation = Quaternion.Lerp(rot1, rot * rot1, lerp);
}

unity里运行效果如图所示:

avatar.gif

如果想看更多的运行效果,参考附录视频。

TIP

一般的情况下游戏里的Avatar关节和Human3.6数据集里的骨骼不是匹配的,往往游戏或者3D Max等美术制作的工具里的骨骼设置的更多,这时候可以跟动作设计师提出跟Hum3.6数据集的骨骼蒙皮解决方案。 如果是已经导出的fbx,我们也得保证关节层级的对应,应该上述算法得到的旋转四元数是基于父节点的local坐标系的。 解决方法就是把fbx在Unity引擎转换为Prefab, 然后再更改Prefab的关节层级结构。

pose9.jpg

从上面视频我们可以看到, AlphaPose 虽然能很好的识别出骨骼节点的位置, 但这不包含手指等小关节的姿势, 所以从上而下手都是僵硬的, 但是从卡内基梅隆大学的OpenPose(最新版)已经能识别手指的动作,甚至还包含一些脸部的表情,真的是非常强大了。

附录1:

姿态估计开源深度学习模型汇总:

AlphaPose

AlphaPose 是上海交通大学开源的精确多人姿态估计,声称是第一个开源系统.
AlphaPose 可以同时对图片, videos,以及图片列表,进行姿态估计和姿态追踪(pose tracking). 可以得到很多不同的输出,包括 PNG,JPEG,AVI 格式的关键点图片,JSON 格式的关键点输出,便于很多应用场景.AlphaPose 采用区域多人姿态估计(regional multi-person pose estimation, RMPE)框架,以在人体边界框不准确的情况下,提升姿态估计. 其主要包括三部分:

  • Symmetric Spatial Transformer Network (SSTN)
  • Parametric Pose Non-Maximum-Suppression (NMS)
  • Pose-Guided Proposals Generator (PGPG)
pose2.gif

OpenPose

OpenPose 是 CMU Perceptual Computing Lab 开源的一个实时多人关键点检测库.

OpenPose 提供了 2D 和 3D 多人关键点检测方法,以及特定参数的姿态估计的标准化工具包.
OpenPose 可以采用很多不同的输入方式,如,图片image, 视频video,IP相机camera,等等.
OpenPose 的输出也可以是很多不同形式,如图片和关键点(PNG,JPG,AVI),可读格式的关键点(JSON,XML,YML),甚至是数组类.OpenPose 的输入和输出参数,还可以根据需要进行调整. OpenPose 提供了 C++ API,可以在 CPU 和 GPU 上运行,也兼容 AMD 显卡.

pose1.gif

DensePose

DensePose 出自 Facebook Research,其开源了 DensePose 实现的代码,模型和数据集.
DensePose 数据集,DensePose-COCO,用于人体姿态估计的大规模数据集.
DensePose-COCO 数据集,是在 50K COCO 图片上手工标注的图片-表面(image-to-surface)对应的大规模数据集.

pose4.jpg

DensePose 论文提出了 DensePose-RCNN,是 Mask-RCNN 的一个变形,针对每秒多帧的每个人体区域,其回归密集地回归特定肢体部分的 UV 坐标.
DensePose 基于 DenseReg: Fully Convolutional Dense Shape Regression In-the-Wild - 2016.
DensePose 的目标是确定每个像素点的曲面位置(surface location),以及该肢体曲面所属的对应 2D 参数化.

DensePose 采用了基于 FPN 的 Mask R-CNN 结构,RoI-Align Pooling.
此外,DensePose 在 RoI-Pooling 的输出端加入全卷积网路.

pose3.jpg

附录2

human3.6m关节点标注顺序

序号 数据集标注顺序 关节名 中文名
0 0 hip 臀部
1 1 rhip 右臀部
2 2 rknee 右膝盖
3 3 rfoot 右脚踝
4 6 lhip 左臀部
5 7 lknee 左膝盖
6 8 lfoot 左脚踝
7 12 spine 脊柱
8 13 thorax 胸部
9 14 neck 颈部
10 15 head 头部
11 17 lshoulder 左肩
12 18 lelbow 左手肘
13 19 lwrist 左手腕
14 25 rshoulder 右肩
15 26 relbow 右手肘
16 27 rwrist 右手腕


pose5.jpg


COCO数据集骨骼关节keypoint标注对应

序号 数据集标注顺序 关节名 中文名
0 0 nose 鼻子
1 1 L eye 左眼
2 2 R eye 右眼
3 3 L ear 左耳
4 4 R ear 右耳
5 5 L shoulder 左肩
6 6 R shoulder 右肩
7 7 L elbow 左手肘
8 8 R elbow 右手肘
9 9 L wrist 左手腕
10 10 R wrist 右手腕
11 11 L hip 左臀部
12 12 R hip 右臀部
13 13 knee 左膝盖
14 14 R knee 右膝盖
15 15 L ankle 左脚踝
16 16 R ankle 右脚踝


pose6.jpg


Openpose-Body25数据集骨骼关节keypoint标注对应

序号 数据集标注顺序 关节名 中文名
0 0 Nose 鼻子
1 1 Neck 脖子
2 2 RShoulder 右肩
3 3 RElbow 右手肘
4 4 RWrist 右手腕
5 5 LShoulder 左肩
6 6 LElbow 左手肘
7 7 LWrist 左手腕
8 8 MidHip 中臀
9 9 RHip 右臀
10 10 RKnee 右膝盖
11 11 RAnkle 右脚踝
12 12 LHip 左臀
13 13 LKnee 左膝盖
14 14 LAnkle 左脚踝
15 15 REye 右眼
16 16 LEye 左眼
17 17 REar 右耳
18 18 LEar 左耳
19 19 LBigToe 左大拇指
20 20 LSmallToe 左小拇指
21 21 LHeel 左脚跟
22 22 RBigToe 右大拇指
23 23 RSmallToe 右小拇指
24 24 RHeel 右脚跟


pose7.png


附录3

更多从抖音扒来的的视频姿势识别参见:

  • Alphapose 模型渲染系列
  • Unity Skeleton动画
  • Unity Avatar动画


参考文献:

  • Densepose by Facebook
  • Detectron by Facebook
  • DensePose-COCO 数据集
  • AlphaPose 上海交大
  • CMU Perceptual Computing Lab
  • OpenPose by CMU
  • Paper - DensePose: Dense Human Pose Estimation In The Wild-2018
  • human3.6m数据集骨骼关节keypoint标注对应
  • COCO数据集骨骼关节keypoint标注对应
  • VideoPose3D by Facebook
  • [目标检测] YOLO
  • 商汤科技 AR游戏同步角色动作
  • PanopticStudio 3D PointCloud Dataset
  • 基于跨视角信息融合的三维人体姿态估计 微软

你可能感兴趣的:(从抖音视频提取游戏动作)