论文笔记——Deformation Transfer for Triangle Meshes（2004-SIGGRAPH）

一、核心思想

  首先，文章题目名为《Deformation Transfer for Triangle Meshes》，即三角网格的形变迁移。这一理论的核心观点可以参考下图，已知条件需要包括三个信息：
  1、源始网格 $S$，也就是下图中第一行的第一匹马；
  2、与 $S$ 对应的发生形变的网格 $S^{\prime }$，也就是第一行后面的各种各样的马；
  3、目标网格 $T$，也就是我们想要让他像 $S$ 形变方式一样的目标，即图中第二行的第一只骆驼。
  通过上述三点已知条件，从而得到生成的形变网格 $T^{\prime }$， 也就是第二行后面各种各样的网格。需要注意的是，每一对 $S$ 和 $T$， 或者 $S^{\prime }$ 和 $T^{\prime }$，也就是图中的每一列，在形态上是一致的。

  根据形变迁移的理论， $S$ 和 $S^{\prime }$ 之间一定存在着确定的形变关系，那么 $T$ 和 $T^{\prime }$ 之间也一定存在着相类似的形变关系。
  作者在摘要中提到，他们提出的是一种通用的方法， $S$ 和 $T$ 之间不需要拥有相同数量的顶点、三角形或者相同的点与点之间的连接方式。

二、算法分析

1、Deformation Transfer （形变迁移）

  形变迁移的目的是将源变形所表现出的形状变化传递到目标上。
  我们知道三点成面，这也是三角网格的由来。在二维平面中，一个三角形如何发生变化都不会离开这个平面维度，但是空间中，一个三角形发生形变，就有很大的可能离开它原始的平面。因此，作者引入了一个三角形面外的一个点作为辅助，来探寻该三角形的空间变化。
  首先令 ${\mathbf{v}}_i$ 和 ${\tilde{\mathbf{v}}}_i$，$i\in 1,2,3$，分别表示三角形形变前后的三个顶点，那么第四个顶点可以通过以下公式（原文公式(1)）得到：
$${\mathbf{v}}_4={\mathbf{v}}_1+({\mathbf{v}}_2-{\mathbf{v}}_1)\times ({\mathbf{v}}_3-{\mathbf{v}}_1)/\sqrt{|({\mathbf{v}}_2-{\mathbf{v}}_1)\times ({\mathbf{v}}_3-{\mathbf{v}}_1)|}$$
同理 ${\tilde{\mathbf{v}}}_i$ 也有相应的计算方式。$({\mathbf{v}}_2-{\mathbf{v}}_1)\times ({\mathbf{v}}_3-{\mathbf{v}}_1)/\sqrt{|({\mathbf{v}}_2-{\mathbf{v}}_1)\times ({\mathbf{v}}_3-{\mathbf{v}}_1)|}$是计算垂直于三角形所在平面的单位向量，而整个式子就是将该单位向量平移到三角形上。这里之所以选择加 ${\mathbf{v}}_1$，和后面的简化运算有关。当然，这里可以用 ${\mathbf{v}}_2$ 或者 ${\mathbf{v}}_3$，那么本式，和后面的公式都要对应的替换。
补充知识： 坐标叉乘运算
$$a\times b=(l,m,n)\times (o,p,q)=(mq-np,no-lq,lp-mo)$$
  假设，四个点的坐标依次为 $v_1(x_1,y_1,z_1)$， $v_2(x_2,y_2,z_2)$，$v_3(x_3,y_3,z_3)$， $v_4(x_4,y_4,z_4)$，那么 $v_i$ 和 ${\tilde{v}}_i$ 都是3 $\times$ 4的矩阵。两者之间可以通过一个3 $\times$ 3的仿射矩阵 $\mathbf{Q}$ 和偏移量 $\mathbf{d}$ 联系在一起，如下（原文公式(2)）：
$$\mathbf{Q}{\mathbf{v}}_i+\mathbf{d}={\tilde{\mathbf{v}}}_i,i\in 1...4$$
  原文说到，为了消去 $\mathbf{d}$，就对每一项减去 ${\mathbf{v}}_1$，就可以得到 $\mathbf{Q}\mathbf{V}=\tilde{\mathbf{V}}$，其中（原文公式(3)）：

  对于两个公式的推导如下：
已知：
  ${\tilde{\mathbf{v}}}_i=\mathbf{Q}{\mathbf{v}}_i+\mathbf{d}$
  $\mathbf{d}={\tilde{\mathbf{v}}}_1-\mathbf{Q}{\mathbf{v}}_1$
把 $\mathbf{d}$ 代入第一个式子，得：
  ${\tilde{\mathbf{v}}}_i=\mathbf{Q}{\mathbf{v}}_i+{\tilde{\mathbf{v}}}_1-\mathbf{Q}{\mathbf{v}}_1$
左右调整一下之后，得：
  ${\tilde{\mathbf{v}}}_i-{\tilde{\mathbf{v}}}_1=\mathbf{Q}({\mathbf{v}}_i-{\mathbf{v}}_1)$
于是就可以得到原文公式(3)。所以 $\mathbf{Q}\mathbf{V}=\tilde{\mathbf{V}}$，于是 $\mathbf{Q}=\tilde{\mathbf{V}}{\mathbf{V}}^{-1}$ （原文公式(4)）。
  除了模型形变前后需要建立联系之外（如上所述），源始网格 $\mathbf{S}$ 和目标网格 $\mathbf{T}$ 之间也要建立联系（如下）。
  由于形变是建立在三角网格的基础上的，因此源始网格中的三角形需要和目标网格中的三角形建立一一对应关系，即两者之间存在一个映射 $M$，如原文公式(5):
$$M=\left\{\left(s_1,t_1\right),\left(s_2,t_2\right),\dots ,\left(s_{|M|},t_{|M|}\right)\right\}$$
原文中提到，对于 $M$ 没有任何限制，可以理解为这是在编程时需要自行建立的。
  那么问题又来了，当我们求得仿射矩阵之后，只依靠源始网格 $S$ 的仿射矩阵求解形变还是不够的。$S$ 和 $T$ 之间还是存在着差异，不能只依靠一个仿射矩阵，通过前面的论述，一个仿射矩阵实际上只能改变方向（因为 ${\mathbf{v}}_4$ ）和尺寸大小（因为${\mathbf{v}}_1,{\mathbf{v}}_2,{\mathbf{v}}_3$），而不能改变位置（因为没有 $\mathbf{d}$ ），如下图A所示。而且，直接用 $S$ 的 $\mathbf{d}$ 也不能很好的解决这个问题，如下图B所示，因为 $\mathbf{d}$ 收到尺寸和位置的影响。因此要利用三角网格之间共享顶点的机理来解决这个问题，效果如下图C所示。

  针对上述问题，假设 $S$ 的仿射矩阵为 $\mathbf{S}$，$T$ 的仿射矩阵为 $\mathbf{T}$。首先，根据共享顶点的原理，发生形变后，相邻的两个三角网格满足如下关系（原文公式(6)）：
$${\mathbf{T}}_j{\mathbf{v}}_i+{\mathbf{d}}_j={\mathbf{T}}_k{\mathbf{v}}_i+{\mathbf{d}}_k,\forall i,\forall j,k\in p\left(v_i\right)$$
其中，$j$ 和 $k$ 表示两个相邻的三角网格，${\mathbf{v}}_i$ 表示两个三角网格共同的顶点，$p$ 表示所有的三角网格集合。这一步这参考下图。

因此，最终的目标是在保证顶点共享的前提下，根据 $M$ 的匹配关系，尽可能的缩小非平移参数即两组仿射矩阵之间的差距。于是可以用一个约束优化问题来表示（原文公式(7)）：
$$\begin{array}{rl}\underset{{\mathbf{T}}_1+{\mathbf{d}}_1\dots {\mathbf{T}}_{|T|}+{\mathbf{d}}_{|T|}}{\min }& \sum _{j=1}^{|M|}{\Vert {\mathbf{S}}_{s_j}-{\mathbf{T}}_{t_j}\Vert }_F^2\\ \text{ subject to }& {\mathbf{T}}_j{\mathbf{v}}_i+{\mathbf{d}}_j={\mathbf{T}}_k{\mathbf{v}}_i+{\mathbf{d}}_k,\forall i,\forall j,k\in p\left(v_i\right)\end{array}$$
  $|T|$ 表示目标网格 $T$ 中三角形的个数，$F$ 表示范数。

2、Vertex Formulation（顶点公式）

  虽然原文公式(7)已经能够解决这样一个形变问题，但是若能消去约束条件那就更好了。根据原文公式(4)，可以得到 $\mathbf{T}=\tilde{\mathbf{V}}{\mathbf{V}}^{-1}$，其中 ${\mathbf{V}}^{-1}$ 是已知的属于 $T$ 的顶点，而 $\tilde{\mathbf{V}}$ 是未知的属于 $T^{\prime }$ 的顶点。因此，我们可以认为 $\mathbf{T}$ 是关于未知的形变向量的线性组合。又因为 $\mathbf{S}$ 是可以求得的，所以原文公式(7)的最小化问题可以重写为原文公式(8)：
$$\underset{{\tilde{\mathbf{v}}}_1\dots {\tilde{\mathbf{v}}}_n}{\min }\sum _{j=1}^{|M|}{\Vert {\mathbf{S}}_{s_j}-{\mathbf{T}}_{t_j}\Vert }_F^2$$
  于是就可以将这样一个问题看作是一个最小二乘求解的问题，如原文公式(9)
$$\underset{{\tilde{\mathbf{v}}}_1\dots {\tilde{\mathbf{v}}}_n}{\min }\Vert \mathbf{c}-\mathbf{A}\tilde{\mathbf{x}}{\Vert }_2^2$$
其中，$\tilde{\mathbf{x}}$ 是未知的形变顶点所在位置， $\mathbf{c}$ 是包含整个源始网格的形变转换矩阵，$\mathbf{A}$ 是关于目标网格中未形变的顶点位置。于是这个的最小二乘解就可以求得（原文公式(10)）：
$${\mathbf{A}}^{\mathrm{T}}\mathbf{A}\tilde{\mathbf{x}}={\mathbf{A}}^{\mathrm{T}}\mathbf{c}$$

3、Correspondence（一致性）

  这一节主要是寻找源三角网格和目标三角网格之间的映射关系原文公式(5)，即源三角形与目标三角形之间的对应关系决定了源网格的变形如何传递到目标上。作者的对应技术是一个正则化的迭代最近点算法，在用户选择的标记点的辅助下，将源网格变形为目标网格。然后，通过搜索中心距离较近的源三角形和目标三角形对来计算三角对应关系。
（关于这一节对我当下任务来说没什么用处，所以具体分析等以后有时间了再来弄。）