Learnable Triangulation of Human Pose 论文解读

paper title: Learnable Triangulation of Human Pose
paper link:https://arxiv.org/abs/1905.05754
oral or demo video：https://conftube.com/video/zem03fZWLrQ?tocitem=100
project: -
github: https://github.com/facebookresearch/frankmocap
conf & anthor: ICCV 19, Karim Iskakov(Samsung AI) et al;
arXiv submit v1:2019.05

主要内容

这篇文章两种多相机人体姿态估计的方法，两种方法都蕴含了“可学习的三角剖分”思想，使实现准确的人体姿态估计所需要的的相机视图的数目显著减少。这两种方案都是完全可微分的，可以实现端到端的训练。

相关工作

1.单视图3D姿态估计
(1) 先做2D姿态估计，然后通过一个网络实现2D到3D的变换；如A simple yet effective baseline for 3d human pose estimation,3D human pose estimation in video with temporal convolutions and
semi-supervised training ;
(2) 直接使用卷积网络从图像中计算出3D关节点的位置，如Integral Human Pose Regression;
(3) 基于卷积网络和模型优化方法实现3D姿态估计，如SMPL系列论文，frankmocap;
2.多视图3D姿态估计
(1) 将多个视图的2D关键点整合成一个batch，然后送到一个包含多个阶段的全连接网络中，得到3D的结果，如A generalizable approach for multi-view 3D human pose
regression
；
(2) 使用体积化的姿态表示方法来实现3D姿态估计，如Panoptic Studio:A Massively Multiview System for Social Interaction Capture,Harvesting Multiple Views for Marker-less 3D Human Pose Annotations;
(3) 从2D关节点位置中推算3D位置，并使用多个阶段的网络串联，3D结果反馈到2D,Rethinking Pose in 3D: Multi-stage Refinement and Recovery for Markerless
Motion Capture;

方法流程

论文中系统的输入是来自多个已同步的相机的图像，输出是人体关节点的3D坐标。每一时刻的图像数据都是独立处理的，没有使用任何时间上的信息。对于每一帧数图像，先检测人体，然后使用“simple baseline”论文中的网络进行2D关键点检测，得到结果$g$,然后经过一个转置卷积得到产生heatmap，得到结果$f$,之后通过1X1的卷积得到可解释的heapmap，称之为$h$。然后再整合多个视图的信息推断关节点的3D位置信息。

1.Algebraic triangulation方法
代数三角方法是使用三角测量的方式从多个相机视图的2D人体关键点重建人体3D关键点的坐标。

对于每一个关键点$j$都是独立处理的。从2D人体关键点检测网络，可以得到关键点的heatmap：
$$H_{c,j}=h_{\theta }(I_c{)}_j$$
其中：

• c表示第c个相机视图，一共有C个相机视图；
• j表示第j个人体关键点，一共有J个人体关键点；
• $I_c$表示第c个相机视图上人体区域的裁剪图像；
• $h_{\theta }$表示2D关键点检测网络输出的结果经过转置卷积和1x1卷积变换之后的heatmap；

下面就是计算heatmap上的关节点的2D坐标，首先计算heapmap值的softmax:
$$H_{c,j}^{{}^{\prime }}=exp(\alpha H_{c,j})/(\sum _{r_x=1}^W\sum _{r_y=1}^{H}exp(\alpha H_{c,j}(r)))$$
其中：

• $r_x,r_y$表示heatmap的x,y坐标值；
• $H_{c,j}(r)$表示heatmap上坐标为$r$处的heatmap值；
• $\alpha$是一个heatmap值的调整参数，实验中设置为100；

做完softmax之后，获取2D关键点坐标一种简单的方法是直接取heatmap中最大值的坐标作为关键点的2D坐标。文中采用的是一种称为“soft-argmax”的方法：
$$x_{c,j}=\sum _{r_x=1}^W\sum _{r_y=1}^{H}r\cdot (H_{c,j}^{{}^{\prime }}(r))$$
实际上就是所有的坐标值乘以对应位置上的heatmap值，并加起来；经过上一步的softmax之后，所有的heatmap值都已经转换为0-1之间并且加和为1之间的数值，可认为是一个坐标的权重，这里相当于是把所有的坐标加权求和(x,y独立处理)，得到"综合"之后的坐标值，作为2D关节点坐标。其中$\alpha$设置为100，在训练开始时soft-argmax输出的坐标很接近于heatmap中最大值的那个坐标。

这里2D坐标数据有一点需要说一下，2D关键点检测网络的输入是裁剪的人体区域图片，并不是原始图像，所以这里计算出来的2D坐标实际上是在裁剪图像上的坐标，所以应该要再转换到原始图像中的坐标，才可以在下一步三角重构中进行计算。不过文章的代码中并没有这一步骤，而是直接改变相机的内参来实现这一转换，可见issue #48。

计算出2D坐标之后，可以根据线性代数三角求解3D坐标：
$$A_j{\hat{y}}_j=0$$
其中：

• ${\hat{y}}_j$表示3D坐标，即要求解的项；
• $A_j\in R^{(2C,4)}$是2D坐标$x_{c,j}$和相机的投影矩阵构成的矩阵；

通常在三角重构中，是假设所有相机都是独立并且同等权重的，但是在有些视图中，由于视角、遮挡的原因，2D关键点的检测结果可能并不是十分可靠，所以文章提出了一个可学习的权重的概念，为三角重构中每个视图增加一个权重：
$$(w_j\ast A_j){\hat{y}}_j=0$$
其中：

• $w_j=(w_{1,j},w_{1,j},...w_{C,j},w_{C,j},)$;
• $\ast$ 表示哈达玛积(Hadamard product)，即相同形状矩阵对应元素相乘；
  然后通过SVD分解求解。

相机视图的权重是通过2D关键点检测的骨干网络接一个额外的小网络$q$(2层卷积+平均池化+3层全连接)得到：
$$w_{c,j}=(q^{\varphi }(g^{\theta }(I_c)){)}_j$$
其中：

• $g$是前面提到的2D骨干网络直接输出，没有经过转置卷积之前的输出；
• $q$是上面提到的权重学习网络；

损失函数方面，采用soft MSE：
$$L_j^{alg}(\theta ,\varphi )=\{\begin{array}{ll}MSE(j_j,y_j^{gt}),ifMSE(j_j,y_j^{gt})<\alpha & \\ MSE(j_j,y_j^{gt}{)}^{0.1}\cdot {\alpha }^{0.9}& \text{otherwise}\end{array}$$
其中$\alpha$是损失的阈值，设置为$(20cm{)}^2$。

2.Volumetric triangulation方法

上述的基于代数三角的方法对不同相机的图像是独立处理的，这样会有两个不足之处，一是无法添加3D姿态的先验信息；二是无法过滤投影矩阵有问题的相机。
为了解决上述问题，文章提出了一种基于体素的三角重构方法（Volumetric triangulation），首先根据heatmap以及代数三角方法获取的人的pelvis的3D坐标构建一个体素空间区域，然后使用一个Voxel-to-voxel网络计算关键点的3D位置，具体如下：
(1) 获取backbone网络输出的heatmap
$$M_{c,k}=o^{\gamma }(f^{\theta }(I_c){)}_k$$
其中：

• $f^{\theta }$是backbone网络接一个转置卷积后的输出；
• $o^{\gamma }$是一个单层的卷积网络；

(2) 构建体素空间
通过代数三角的方法获取到人的pelvis的3D位置，以其为中心构建一个$LXLXL$大小的空间，其中代码中设置L为2.5m，然后分割成$64X64X64$个立方体，表示为：
$$V^{coords}\in R^{64,64,64,3}$$
其中3表示当前小立方体中心的全局坐标。

(3) 3D体素投影到2D
对于每一个视图，将小立方体的3D坐标投影到2D上：
$$V_c^{proj}=P_c{V}^{coords}$$

$$V_c^{proj}\in R^{64,64,64,2}$$

(4) 填充单个视图的体素
根据上一步得到的投影结果，可以通过双线性插值得到当前体素小立方体对应的heatmap的上的值，也就是对于当前视图，这个小立方体的关节点概率；
$$V_{c,k}^{view}=M_{c,k}{V}_c^{proj}$$
这个是第c个视图的第k个关节点的数据，那么对于第c个视图的所有K个关节点整合得到：
$$V_c^{view}\in R^{64,64,64,K}$$
这个跟之前相比，最后一个已经不是中心点的坐标了，而是K个值，来自于heapmap上K个关节点的heatmap值；

(5)所有视图的体素的整合
得到单个视图的体素结果之后，需要将所有视图的体素表示结果整合起来，文中给出了三种方法：
a) 直接将多个视图对应关节点的结果相加
$$V_k^{input}=\sum _c{V}_{c,k}^{view}$$
b) 加权相加，与代数三角方法中的视图权重相似，通过一个分支网络计算各个视图的一个权重
$$V_k^{input}=\sum _c(d_c\cdot V_{c,k}^{view})/\sum _c{d}_c$$
c) 通过将现在有值在视图尺度做一个softmax，然后作为类似权重的数值，进行整合：
$$V_{c,k}^w=exp(V_{c,k}^{view})/\sum _{c}exp(V_{c,k}^{view})$$
然后计算：
$$V_k^{input}=\sum _c{V}_{c,k}^w\ast V_{c,k}^{view}$$

上述计算完成后，即得到了体素结果，然后使用一个V2V网络$u^v$进行3D heatmap预测：
$$V_j^{output}=(u^v(V^{input}){)}_j$$
然后通过soft argmax计算3D关节点位置(前面代数三角方法中类似)：
$$V_j^{{}^{\prime }output}=exp(V^{output})/(\sum _{r_x=1}^W\sum _{r_y=1}^H\sum _{r_z=1}^{D}exp(V_j^{output}(r)))$$

$$y_j=\sum _{r_x=1}^W\sum _{r_y=1}^H\sum _{r_z=1}^{D}r\cdot V_j^{{}^{\prime }output}$$

损失函数使用L1损失：
$$L_j^{vol}(\theta ,\gamma ,v)=\sum _j|y_j-y_j^{gt}|-\beta \cdot log(V_j^{output}(y_j^{gt}))$$
其中后面这一项主要用来防止模型输出的heatmap不可解释，没有明显峰值。$\beta$设为0.01。

论文实验结果

文章在Human3.6m和CMU Panoptic 数据集上进行的实验，并对比了其他算法：

相机数量和精度的关系：