SMPL: A Skinned Multi-Person Linear Model论文解读

SMPL

paper title: SMPL: A Skinned Multi-Person Linear Model
paper link: http://files.is.tue.mpg.de/black/papers/SMPL2015.pdf
oral or demo video：https://www.youtube.com/watch?time_continue=98&v=kuBlUyHeV5U&feature=emb_logo
project: https://smpl.is.tue.mpg.de/
github: https://smpl.is.tue.mpg.de/signup
conf & anthor: ACM ToG 2015; Matthew Loper et. al (MPII & ILM)

相关知识链接:

MPII Human Shape

what is blendshape

what is ‘bake’ in CG?

what is rigging?

whta is shape displacement?

一、主要内容

这篇文章的主要内容是要通过学习得到一个模型可以根据一些输入的参数创建人体动画模型，可以做到

• 可以表示不同身形；
• 随着不同姿势自然变形；
• 能够展现软组织运动；
• 模型渲染快速、部署简单、适配现有渲染引擎；

目标函数：自己生成的model和registered meshes之间每个顶点的差异

训练数据：1786个高分辨率3D扫描模型（为了学习到人在不同的姿势下模型是如何变形的），将自己的模型与3D扫描模型一一align得到训练集；

二、相关工作

• (1) blend skinning: 骨骼子空间变形方法，又称blend skinning。mesh中得每一个顶点会受到其相邻骨骼的加权影响，当这种影响是线性的时候就是LBS. how it works-LBS。这篇文章就是要修正blend skinning的局限性。
• (2) auto-rigging: 给定一个mesh的集合，推算出骨骼、关节和blend权重。
• (3) blend shapes: 姿态空间变形模型(PSD:Pose Space Deformation)。
• (4) learning pose models
• (5) learning pose and shape models

三、模型构建

手工设计的人体mesh：顶点数$N=6890$; 关节点数目$K=23$;
根据标准蒙皮操作，模型可以通过一个平均模板形状来定义，并由以下元素来表示：

• N vertices $\overline{T}\in {\mathbb{R}}^{3N}$
• zero pose ${\theta }^{\ast }$
• blend wights $\mathcal{W}\in {\mathbb{R}}^{N\times K}$
• shape parameter $\beta$
• pose parameter $\theta$
• blend shape function $B_s(\beta ):{\mathbb{R}}^{|\beta |}\mapsto {\mathbb{R}}^{3N}$
• K joint location predict function $J(\beta ):{\mathbb{R}}^{|\beta |}\mapsto {\mathbb{R}}^{3K}$
• pose-dependent blend shape function $B_p(\theta ):{\mathbb{R}}^{|\theta |}\mapsto {\mathbb{R}}^{3N}$

三个主要变换函数：

• blend shape 函数$B_s(\beta )$的输入是形状向量，输出是刻画人物(subject)形体的blend shape;
• joint location 回归函数$J(\beta )$的输入是形状向量，输出是K个关节点的位置;
• pose-dependent blend shape函数$B_p(\theta )$的输入是姿态向量，用来实现’姿态-依赖’的变形;

上述这些函数生成的corrective blend shapes都加到rest pose上。最后，一个标准的blend skinning函数$W(\cdot )$用来在以joint location回归函数$J(\beta )$估计的这些关节点为中心旋转顶点，并使用blend weights进行平滑。 最后的结果是一个模型,根据形状和姿态参数向量映射得到一个顶点集合：
$$M(\beta ,\theta ;\Phi ):{\mathbb{R}}^{|\theta |\times |\beta |}\mapsto {\mathbb{R}}^{3N}$$
其中$\Phi$是学习到的一个参数，下文详述。这里做一个说明，变换符号(如上面的$M$)所带的参数列表中，分号后面的是通过训练学习得到的($\Phi$)，而分号前面的是系统已知的或是由外部输入的($\beta ,\theta$)。

1. Blend skinning
人物模型(body)的姿态采用标准的skeletal rig(what is rigging)。这里使用的rig有$K=23$个关节点，第$k$个部位的绕坐标轴的局部旋转为$w_k\in {\mathbb{R}}^3$；那么前面提到的pose parameter的形式就是：
$$\theta =[w_0^T,...,w_K^T{]}^T$$
参数数目为 $3\times 23+3=72$,其中加的3为根关节的位置。
对每个关节$j$关于各个轴的旋转角度可以使用罗德里格公式转换为旋转矩阵：
$$exp(w_j)=\mathcal{I}+\widehat{{\overline{w}}_j}sin(||{\overline{w}}_j||)+\widehat{{\overline{w}}_j^2}cos(||{\overline{w}}_j||)$$
其中：

• $\overline{w}=\frac{w}{||w||}$是单位旋转角；
• $\hat{\overline{w}}$是$\overline{w}$的斜对称矩阵；
• $\mathcal{I}$是$3\times 3$的单位矩阵；

那么，标准的LBS(Linear Blend Skinning)函数为：
$$W(\overline{T},J,\theta ,\mathcal{W}):{\mathbb{R}}^{3N\times 3K\times |\theta |\times |\mathcal{W}|}\mapsto {\mathbb{R}}^{3N}$$
其中：

• $\overline{T}$为rest pose；
• $J$ 为关节位置；
• $\theta$为pose参数；
• $\mathcal{W}$是blend weight；

OK，到这里就可以计算$\overline{T}$中的第$i$个顶点的变换：
$${\overline{t}}_i^{{}^{\prime }}=\sum _{k=1}^K{w}_{k,i}{G}_k^{{}^{\prime }}(\theta ,J){\overline{t}}_i$$
$$G_k^{{}^{\prime }}(\theta ,J)=G_k(\theta ,J)G_k({\theta }^{\ast },J{)}^{-1}$$
$$G_k(\theta ,J)=\prod _{j\in A(k)}\left[\begin{array}{cc}exp(w_j)& j_j\\ 0& 1\end{array}\right]$$

其中：

• $w_{k,i}$是blend wight矩阵$\mathcal{W}$中的一个元素，表示第$i$个顶点受到第$k$个部位的影响权重；
• $j_j$是$J$中第$j$个关节点的位置，由三个元素的向量构成；
• $exp(w_j)$是第$j$个关节的局部旋转矩阵；
• $G_k(\theta ,J)$是第$k$个关节的世界变换矩阵；
• $G_k({\theta }^{\ast },J)$是第$k$个关节初始变换；
• $G_k^{{}^{\prime }}(\theta ,J)$是第$k$个关节去除初始变换后的变换(offset量)；
• $A(k)$表示第$k$个关节点的父节点集合；

至此，再看模型$M(\beta ,\theta ;\Phi )$:
$$M(\beta ,\theta )=W(T_p(\beta ,\theta ),J(\beta ),\theta ,\mathcal{W})$$
$$T_p(\beta ,\theta )=\overline{T}+B_s(\beta )+B_p(\theta ))$$
有了上面的定义，${\overline{t}}_i^{{}^{\prime }}$可表示为：
$${\overline{t}}_i^{{}^{\prime }}=\sum _{k=1}^K{w}_{k,i}{G}_k^{{}^{\prime }}(\theta ,J(\beta ))({\overline{t}}_i+b_{S,i}(\beta )+b_{P,i}(\theta ))$$
其中：

• $b_{S,i}(\beta )$和$b_{P,i}(\theta )$分别是$B_S(\beta )$和$B_P(\theta )$中的顶点，表示的是顶点${\overline{t}}_i$的shape blend和pose blend的偏移量。

2. Shape blend shapes
不同人的体型(body shape)可以用一个线性函数$B_S$表示为：
$$B_S(\beta ;\mathcal{S})=\sum _{n=1}^{|\beta |}{\beta }_n{S}_n$$
其中：

• $\beta =[{\beta }_1,...,{\beta }_{|\beta |}]$,code中，$\beta$的长度为10；
• $S_n\in {\mathbb{R}}^{3N}$ 表示shape displacement的正交主成分;whta is shape displacement
• $\mathcal{S}=[S_1,...,S_{|\beta |}]\in {\mathbb{R}}^{3N\times |\beta |}$，$\mathcal{S}$是通过配准的mesh训练得到的；

3. Pose blend shapes
从上面可以知道，姿态向量$\theta$包含K个关节的旋转角度和根关节的位置，这里现将姿态向量$\theta$映射为旋转矩阵，每个关节的的旋转转换为一个$3\times 3$的旋转矩阵：
$$R:{\mathbb{R}}^{|\theta |}\mapsto {\mathbb{R}}^{9K}$$
现在定义pose blend shape：
$$R^{\ast }(\theta )=(R(\theta )-R({\theta }^{\ast }))$$
那么通过姿势作用得到的顶点与rest template之间的偏差为：
$$B_P(\theta ;\mathcal{P})=\sum _{n=1}^{9K}(R(\theta )-R({\theta }^{\ast }))P_n$$
其中：

• $P_n\in {\mathbb{R}}^{3N}$是vertex displacement向量；
• $\mathcal{P}=[P_1,...,P_{9K}]\in {\mathbb{R}}^{3N\times 9K}$是$23\times 9=207$个pose blend shape;
• $R({\theta }^{\ast })$在rest pose下pose blend shape的贡献是0，这对于动画是很重要的；

4. Joint locations
不同的body shape的关节位置不同，每个关节在rest pose中是一个3D的位置。这里，将关节定义为body shape$\beta$的函数：
$$J(\beta ;\mathcal{J},\overline{T},\mathcal{S})=\mathcal{J}(\overline{T}+B_S(\beta ;\mathcal{S}))$$
其中：

• $\mathcal{J}$是从rest vertices到rest joints的变换矩阵，$\mathcal{J}$是从很多来自不同人的pose中学习得到的；

5. SMPL model
介绍完以上这些可以，可以正式写出SMPL模型$\Phi$的所有参数:
$$\Phi =\{\overline{T},\mathcal{W},\mathcal{S},\mathcal{J},\mathcal{P}\}$$
再来回顾一下这些符号：

• $\overline{T}$是顶点集合；
• $\mathcal{W}$是blend weight；
• $\mathcal{S}$是shape displacement矩阵，由体型差异造成；
• $\mathcal{J}$是rest pose下顶点到关节点的变换矩阵；
• $\mathcal{P}$是和$\mathcal{S}$类似的shape displacement，由姿态差异造成；
  这些参数通过训练学习得到，一旦训练完成之后这些参数就固定下来。后面通过变化$\beta$和$\theta$来创建特定体型的任务模型和驱动动画。

到这里可以写出SMPL模型的定义：
$$M(\beta ,\theta ,\Phi )=W(T_P(\beta ,\theta ;\overline{T},\mathcal{S},\mathcal{P}),J(\beta ;\mathcal{J},\overline{T},\mathcal{S}),\beta ,\mathcal{W})$$
那么对于mesh中的一个顶点(序号为i)，所做的变换为：
$$t_i^{{}^{\prime }}=\sum _{k=1}^K{w}_{k,i}{G}_k^{{}^{\prime }}(\theta ,J(\beta ;\mathcal{J},\overline{T},\mathcal{S}))t_{P,i}(\beta ,\theta ;\overline{T},\mathcal{S},\mathcal{P})$$
其中$w_{k,i}$是blend weight，$G_k^{{}^{\prime }}$前面提到是从父关节到当前关节“累计”旋转变换并除去初始变换的一个“变换偏移量”，$t_{P,i}$是顶点初始状态+体型(shape)差异变形+姿态(pose)差异变形：
$$t_{P,i}(\beta ,\theta ;\overline{T},\mathcal{S},\mathcal{P})={\overline{t}}_i+\sum _{m=1}^{|\beta |}\beta s_{m,i}+\sum _{n=1}^{9K}(R_n(\theta )-R_n({\theta }^{\ast }))p_{n,i}$$
其中$s_{m,i},p_{n,i}\in {\mathbb{R}}^3$分别是顶点${\overline{t}}_i$的shape和pose blend shape。

四、训练

SMPL参数的训练过程是在shape和pose数据集上最小化重建误差得到的。

• multi-pose数据集用来训练$\mathcal{S}$,包含40个人的1786个registration(registration是指对齐好的mesh)。
• multi-shape数据集用来训练$\mathcal{P}$,数据来自数据集CAESA,包含1700个男性registration和2100个女性registration。

现分别使用$V_j^P$和$V_j^S$表示multi-pose和multi-shape数据集中的第$j$个mesh。

• 需要优化的参数是：$\Phi =\{\overline{T},\mathcal{W},\mathcal{S},\mathcal{J},\mathcal{P}\}$；
• 优化目标是最小化顶点重建误差；
  文章中首先使用multi-pose数据集优化$\{\mathcal{J},\mathcal{W},\mathcal{P}\}$,然后用multi-shape数据集优化$\{\overline{T},\mathcal{S}\}$；男性和女性的模型分别优化，分别得到${\Phi }_m$和${\Phi }_f$；

1. Pose parameter training
pose parameter主要是训练$\{\mathcal{J},\mathcal{W},\mathcal{P}\}$(joint location predict, blend weight和pose displacement)。
前面已经说过multi-pose数据集包含了40个人的1786个registration，这里用下标$i$表示第$i$个人，下标$j$表示第$j$个registration。在pose数据集中，不同的registration的姿态是不同的，表示为${\theta }_j$;
根据前面说的$W(\cdot )$：
$$M(\beta ,\theta )=W(T_p(\beta ,\theta ),J(\beta ),\theta ,\mathcal{W})$$
这里可以写出在pose数据集上的$W(\cdot )$的形式为：
$$W({\hat{T}}_{s(j)}^P+B_P(\theta ;\mathcal{P}),\theta ),{\hat{J}}_{s(j)}^P,\theta ,\mathcal{W})$$
其中：

• ${\hat{T}}_{s(j)}^P$表示pose数据集中第j个mesh所对应的人物的rest template;
• ${\hat{J}}_{s(j)}^P$表示pose数据集中第j个mesh所对应的人物的joint location;
• $B_P(\theta ;\mathcal{P})$前面说过，是在$\theta ,\mathcal{P}$作用下的顶点变形(blend)；

综合上面所说的$W(\cdot )$的过程就是当前(第j个)mesh所属人物的在姿态$\theta$作用下产生的变形，而这个变形的过程涉及到一些参数是需要学习的，这里就是$\mathcal{P}$和$\mathcal{W}$。变形之后得到一个新的mesh，学习的目标就是找到最佳的参数是变形之后的结果mesh和数据集中对其好的mesh之间的差异最小。
为了完成这个学习过程，定义一个包含数据项和正则项的目标函数：
$$E=E_D+{\lambda }_Y{E}_Y+{\lambda }_J{E}_J+{\lambda }_P{E}_P+E_W$$
其中：

• $E_D$是数据项，就是上面说的经过变形后的mesh与已经对齐的mesh顶点之间的差异；
• $E_Y$是对称正则项；
• $E_J$是joint正则项；
• $E_P$是$\mathcal{P}$正则项；
• $E_W$是$\mathcal{W}$正则项；

下面对目标函数中的这几项分别进行阐述：
(1)$E_D$
$$E_D({\hat{T}}^P,{\hat{J}}^P,\mathcal{W},\mathcal{P},\Theta )=\sum _{j=1}^{P_{reg}}||V_j^P-W({\hat{T}}_{s(j)}^P+B_P(\theta ;\mathcal{P}),\theta ),{\hat{J}}_{s(j)}^P,\theta ,\mathcal{W})|{|}^2$$
其中：

• $\Theta =\{{\theta }_1,...,{\theta }_{P_{reg}}\}$,$P_{reg}$是pose训练集中的registration数目；
• $P_{subj}$是训练集中人物的数目；
• ${\hat{T}}^P=\{{\hat{T}}_i^P{\}}_{i=1}^{P_{subj}}$,是训练集中的rest pose集合；
• ${\hat{J}}^P=\{{\hat{J}}_i^P{\}}_{i=1}^{P_{subj}}$,是训练集中的joint集合；

要训练的参数数目：

• $\mathcal{P}:207\times 3\times 6890=4,278,690$；
• $\mathcal{W}:4\times 3\times 6890=82,680$；
• $\mathcal{J}:3\times 6890\times 23\times 3=1,426,230$;

上面的$\mathcal{W}$中的4是因为这里使用了Sparse SMPL,也就是每个顶点最多受到4个关节的影响。

(2)$E_Y$
$E_Y$是对称正则项，也就是激励template mesh和joint为对称的，对左右不对称的情况进行惩罚：
$$E_Y({\hat{J}}^P,{\hat{T}}^P)=\sum _{i=1}^{P_{subj}}{\lambda }_U||{\hat{J}}_i^P-U({\hat{J}}_i^P)|{|}^2+||{\hat{T}}_i^P-U({\hat{T}}_i^P)|{|}^2$$
其中 $U(T)$的作用是沿着矢状面(sagittal plane 指将躯体纵断为左右两部分的解剖平面)左右翻转人体；

(3)$E_J$
文中将人体分割为24个部分，根据这个分割情况可以得到不同部分之间的连接的一个“顶点序列”，是一个环状的顶点集合，使用一个回归器${\mathcal{J}}_I$计算joint的初始中心，实际上就是对这个顶点集合里面的顶点的坐标做平均。当估计joint中心的时候，锁甲的正则项就是让估计的中心接近这个初始中心：
$$E_J({\hat{T}}^P,{\hat{J}}^P)=\sum _{i=1}^{P_{subj}}||{\mathcal{J}}_I{\hat{T}}_i^P-{\hat{J}}_i^P|{|}^2$$

(4)$E_P$
为了防止pose-dependent blend shape的过拟合，这里对$\mathcal{P}$也做了一个正则化，使其趋向于0：
$$E_P(P)=||\mathcal{P}|{|}_F^2$$
其中$||\cdot |{|}_F$是Frobenius范数，实际上就是矩阵中对应元素的平方和再开平方.

(5)$E_W$
根据人体的分割结果，通过"diffus"可以得到一个初始的blend weight于${\mathcal{W}}_I$,现在添加一个正则项使$\mathcal{W}$趋向于${\mathcal{W}}_I$:
$$E_W(\mathcal{W})=||\mathcal{W}-{\mathcal{W}}_I|{|}_F^2$$
分别说完了上面的数据项和正则项,现在可以写出目标函数的更详细的形式：
$$E({\hat{T}}^P,{\hat{J}}^P,\Theta ,\mathcal{W},\mathcal{P})=E_D+{\lambda }_Y{E}_Y+{\lambda }_J{E}_J+{\lambda }_P{E}_P+E_W$$
其中，根据经验${\lambda }_Y=100,{\lambda }_J=100,{\lambda }_P=25$。由于模型的参数较多，这些正则项能够有效防止模型过拟合。

Joint Regressor
通过上面的优化过程可以得到训练集中每个人物的template mesh和joint location。但是如果我们想为新的人物预测其关节位置呢？文章中通过学习一个regressor matrix $\mathcal{J}$预测Joint位置。$\mathcal{J}$通过非负最小二乘计算得到，并使权重加起来为1。这种方法使得计算joint的顶点是稀疏的，同时权重非负和加起来为1又使得预测的joint不会出现在mesh的外侧。

2. Shape parameter training
shape 空间是通过"mean and principal shape direction" $\{\overline{T},\mathcal{S}\}$来定义的。计算方法multi-pose数据集中shape做一个pose归一化，然后再运行PCA得到。
pose归一化的过程是将数据集中的registration $V_j^S$转换为一个处于rest pose ${\theta }^{\ast }$下的registration ${\hat{T}}_j^S$;转为rest pose这一步保证了pose和shape的建模不会相互影响。那么如何进行pose归一化呢？对于数据集中的一个一个registration $V_j^S$,首先要估计它的姿势，也就是要寻找一个姿势表示$\theta$使得经过这个参数变换后的mesh和原始的mesh的误差最小，也就是优化：
$${\theta }_j={\mathrm{argmin}}_{\theta }\sum _e||W_e({\hat{T}}_{\mu }^P+B_P(\theta ;\mathcal{P})),{\hat{J}}_{mu}^P,\theta ,\mathcal{W}-V_{j,e}^S|{|}^2$$
其中：

• ${\hat{T}}_{\mu }^P$是multi-pose数据集中的mean pose;
• ${\hat{J}}_{\mu }^P$是multi-pose数据集中的mean joint location;
• $W_e(\cdot )，V_{j,e}^S\in {\mathbb{R}}^3$“an edge of the registration”，是通过一对相邻顶点之间相减得到的，就是当前shape和mean shape的对应顶点坐标相减。通过对mesh中的所有的edge求和，可以在不知道人物具体的shape的情况下求得一个姿态的较好估计。

得到姿态$T_j^S$之后，可以求${\hat{T}}_j^S$:
$${\hat{T}}_j^S={\mathrm{argmin}}_T||W(\hat{T}+B_p({\theta }_j;\mathcal{P}),\mathcal{J}\hat{T},\theta ,\mathcal{W})-V_j^S|{|}^2$$
然后在$\{{\hat{T}}_j^S{\}}_{j=1}^{S_{subj}}$上运行PCA,得到$\{\overline{T},\mathcal{S}\}$,PCA这一步是为了最大大rest pose下顶点偏移的可解释方差(explained variance)，同时使shape direction的数目较少。

3. Optimization summary
优化过程：
(1)首先通过最小化model和registration的edge差异求得${\theta }_j$;
(2)通过交替的方式最小化目标函数$E({\hat{T}}^P,{\hat{J}}^P,\Theta ,\mathcal{W},\mathcal{P})$,得到对各参数的估计；
(3)然后从$\{{\hat{J}}^P,{\hat{T}}^P\}$估计joint回归矩阵$\mathcal{J}$;
(4)在$\{{\hat{T}}_j^S{\}}_{j=1}^{S_{subj}}$上运行PCA,得到$\{\overline{T},\mathcal{S}\}$；
上述步骤中除了PCA这一步，其他优化步骤使用通过gradient-based算法求解，使用chumpy框架。

五、SMPL评估

1.quantitative evaluation
定量评价包括两个方面：

• Model generation：是指模型适配新的人物的动作和姿态的mesh的能力；
• Pose generalization：是指模型生成同一个人物的不同的姿势的shape的能力；

2.Sparse SMPL
常规的SMPL的pose blend shape不是稀疏的，mesh中的一个顶点会受到其他所有任一关节的旋转的影响，为了是手部的动画更加直观并避免关节“长距离影响”，手动使模型稀疏，在求导的时候，让顶点最多受到4个关节的影响。
稀疏SMPL的精度比常规的SMPL稍差，但是降低了模型大小并能有效用于动画制作。

3.visual evaluation
如下图，是SMPL生成的的不同shape和pose的结果:

4.run-time analysis
系统的run-time如下图，包括shape的pose两个部分的耗时；其中横坐标是body shape的系数；测试使用的是2014 Macbook Pro。

5.Compatibility with rendering engines
SMPL使用的是标准蒙皮，可与现有的动画软件适配。SMPL可导出FBX格式的装配好模型。Pose blend weight可以bake到模型中，也可以在在运行时根据pose ${\theta }_t$计算。在Maya，Unity，Blender中测试，均可以直接加载。