论文理解—基于独立时空特征空间的人体运动合成

原文题目——基于独立时空特征空间的人体运动合成

        文章提出人体运动的独立时空特征空间模型，利用一个可变形运动模型和独立特征子空间分析算法一区运动在时空两个域上的特征，并将其封装起来，通过低维空间进行描述，运动风格的编辑可利用低维运动混合和空时约束优化等方法来实现。

        人体运动风格是基本运动上的某种"细微变化"，具备三个特征：(1)运动风格是风格化运动与基本运动之间的差别。(2)这种差别表现在空间和时间上。(3)运动风格和内容是相互独立的，改变风格参数并不影响运动的内容。

       独立时空特征空间是一种能够分离运动风格和内容的低维空间。并将风格定义为它的一个子空间，成为“时空风格子空间”。

       算法分为两步：

       第一步：模型训练和风格提取。先将人体运动数据经过预处理并降维，整合时空两方面特性，然后用机器学习算法建立独立时空特征空间

       第二步：风格编辑。属于运动混合和优化问题。

流程图简介：首先在低维的独立时空特征空间进行优化计算，得到新的低维表示；然后变换至可变形运动空间，该空间的运动包括运动向量和时间对其向量；接着用时间对其曲线把标准时间轴上的运动向量变换回原始时间轴，即得到在PCA空间的低维运动序列，最后重建到视觉空间即可。

文章首先进行了数据的预处理

1. 数据表示

建立了一个矩阵，行表示帧数，列表示坐标位置和关节的旋转角

2.时间对齐

目的：使所有运动都具有相同的结构。将待对齐运动通过一个函数w(t)对齐到一个参考运动，结果就是待对齐运动的帧数等于参考运动的帧数，且对应帧相似度最高。

这部分详细参考动态时间规整（Dynamic Time Warping）

3.数据降维

目的：对运动数据和对齐曲线都进行降维处理

先对其运动数据：

文章设对齐后的运动为z(t)，降维后任意时刻t 的姿态可以表示为：

其中z0是所有对齐后样本的均值，u (从1到K)是主系数向量，为运动数据在各个正交的特征运动向量ai上的投影。

然后对齐对齐曲线：

使用PCA降维会破坏DTW的约束，所以文章借鉴一种新的方法将时间对齐曲线映射到一个新空间

在新空间执行PCA不会破坏时间对齐曲线在w(t)空间的约束条件，最后w(t)表示为

其中h0是所有对齐曲线在h(t) 空间的均值，而bj 张成一个低维空间的均值，v=(v1,v2,...,vL) 是h(t) 在该空间的低维表示。

对运动数据和时间曲线降维的结果是获得了两个向量u和v，以及由向量ai和bj 张成的两个子空间，分别刻画了运动在空间和时间上的特征。

接着介绍了独立时空特征空间

结合时间和空间模型得到一个可变形运动模型

向量u和v 共同表示运动数据的低维特征，如果将u和v连接起来，可以组成一个新的向量s∈R^(K+L)

其中M是一个L*L的对角阵，用于指定向量v中每个元素的权值。

接下来建立独立时空特征空间模型

介绍了一个概念——独立特征子空间分析(IFSA,Independent Feature Subspaces Analysis)

IFSA是多维ICA和不变特征子空间两种技术的结合。多维ICA是传统ICA技术的扩展，该模型不要求各成分之间完全独立，而是将这些成分再划分为一些k元组，每个子成分互相依赖，但k 元组之间没有依赖性。不变特征子空间技术认为一个不变特征可以被看做特征空间中的一个线性子空间，而不变的高阶的值是观测数据在该子空间投影的范数，相应的子空间由低阶特征张成。因此第j 个子空间的高阶特征值Fj表达式为：

对于观测数据，估计独立特征空间模型，即求解下面的最优化问题

求解的方法，本文采用随机梯度法迭代计算ei，其中表示ei的第l 个元素每次迭代的步长。

其中是一个非线性函数，包含 了保证投影范数尽可能稀疏分布的信息。

为了在J个子空间中找到一个最能代表运动风格的子空间，本文定义了“时空风格子空间”：

其中i是运动索引值，i=1对应的是参考运动。Fi,j是第i 段运动在第j个子空间的特征。可看到这个度量方法目的是寻找能够使所有运动与参考运动在其上的投影范数的差最大的子空间。换句话说，该子空间与其它子空间统计独立，能够有效区分参考运动与风格化运动，并封装了运动时空特性。

从时空风格子空间中重建运动的方法是：

其中T(r):r→s表示从独立时空特征空间到可变形运动空间的映射，Q（u，v）=表示将前面的z(t)通过时间对齐信息w(v)重新扭曲到原始时间轴。

最后风格化运动合成

文章的运动模型封装了动态特性，因此可以加入别的优化项来实现风格转换

第一项表示优化后的运动风格总体上要与原始运动风格尽量相似，第二项是约束条件。