Automatic Unpaired Shape Deformation Transfer

论文：Arxiv
代码：Github

这篇paper主要是做运动迁移的。现有Shape Deformation Transfer的问题：

• 要求成对数据

• 或要求point-wise的对应关系

  
  
  

  运动迁移示意图
  
  

  以上图为例，要把一个瘦子(source域)的动作迁移到胖子(target域)身上。传统的做法往往需要一一对应的动作数据，或者是point-wise的对应关系。所谓point-wise，指的是人体三维模型的每一个顶点对应关系（人体三维模型可以看成是很多个小三角形组成）。显然这两种要求都不太现实。

解决办法

• 使用VAE-CycleGAN解决上述问题。
• 加入相似性约束，使得运动迁移过程中，保持identity信息不变。

下面对这两点进行详细解读：

使用VAE-CycleGAN

VAE-CycleGAN

上图是模型的训练过程，下图是推断过程。整个网络结构清晰易懂。
推断过程中，输入图片通过Encoder提取特征，然后利用

进行运动迁移，然后使用target域的Decoder进行重构。不过这里作者是人体三维模型的迁移，所以输入输出都是人体模型的顶点坐标（加入有B个顶点，每个顶点有9个坐标，那么输入就是

维的矩阵）。

刚才提到了利用做运动迁移，这里有一个问题是，如何确保迁移的就是运动呢？理论上来说，Decoder为了更好的重构target，那么不仅仅会迁移source的运动信息，还要迁移source的identity信息到target域。这里作者为此加入相似性约束，使得运动迁移过程中，保持identity信息不变。

相似性约束

传统的判别三维人体模型相似性的办法通常采用Light Field Distance。那么，如果我们能根据编码后的特征计算二者之间的光场距离，然后最小化光场距离，也就是最小化运动迁移网络前后的光场距离（identity信息），保证迁移前后identity信息不变就好了。可是有存在一个问题：光场距离计算比较麻烦，且是不可导的

于是，这里作者就设计了一个神经网络去计算拟合光场距离。网络结构如下：

similarity network

模型的损失函数

模型的损失显然包括三部分，GAN Loss，Cycle consistency loss，similarity network loss。

模型loss