人脸变形之移动最小二乘MLS
论文：Image Deformation Using Moving Least Squares
Nonrigid Image Deformation Using Moving Regularized Least Squares
Github：https://github.com/Jarvis73/Moving-Least-Squares
Moving Least Squares Deformation：
• p: 一列控制顶点.
• q: 控制顶点变换后的坐标.
给定图上的一点 v, 求解一个最优的仿射变换来最小化
其中 pi 和 qi 都是行向量, 每行的分量为点的坐标, 权重 wi 有如下的形式
因为该最小二乘问题中的权重 wi 独立于 v 变形后的点, 所以我们称之为移动最小二乘最小化. 对于不同的 v, 可以得到不同的变换 lv(x). 由于 lv(x) 是仿射变换, 所以可以写成
令原始的优化函数对 T 求偏导数并令其为 0, 解出
其中 p∗ 和 q∗ 是原来一系列控制顶点的加权质心,
所以有
所以原优化函数可以修改为
其中
考虑二维图像时, M 就是一个 2 × 2 的矩阵.
1.1 Affine Deformation
要找一个仿射变换来极小化方程 (4), 直接用古典方法求解优化问题得
从而我们可以写出仿射变换的表达式
又因为 pi 是固定的, 所以上式可以变为
其中 Aj 可以预计算
1.2 Similarity Deformation
实际上仿射变换包含了非一致性的平移和放缩，实际中的许多物体并不会产生这么复杂的变化。相似变换是仿射变换的一个子类，仅包含平移、旋转和一致的放缩。为了满足相似变换的性质，我们限制矩阵 M 满足 M⊤M = λ2 I, ∃λ。如果 M 是分块矩阵，有 M = (M1,M2) 的形式，其中 M1, M2 都是长度为 2 的列向量，那么对于 M 的限制可以 变为 M⊤1 M1 = M⊤2 M2 = λ2，并且 M⊤1 M2 = 0。这个限制意味着 M2 = M⊥1 ，其中 ⊥ 是一 个作用于二维向量的算子使得 (x, y)⊥ = ( y, x)。这样原来的目标方程 (4) 可以修改为
(注: 论文上式中有个符号可能写错了, 有待进一步确认.) 该二次方程有唯一的最优值，从而可以得到最优值点 M）
其中
从而得到最终的变换公式
其中 Ai 是
1.3 Rigid Deformation
进一步地，我们要求变换中不包括一致放缩，即限制变为 M⊤M = I。先给出一个定理，这个定理说明了刚性变换和相似变换的关系。
定理 1. 令 C 是可以极小化如下相似问题的矩阵
如果 C 写成 λR 的形式，R 是一个旋转矩阵，λ 是一个标量，那么旋转矩阵 R 极小化如
下的刚性问题
定理证明略去，可以参考原文中的 AppendixA。
根据定理我们知道刚性变化恰好就是方程 (7)，除了把其中的 µs 替换为 µr
令
其中 Ai 由式 (8) 定义，最后的变换公式为
速度显存开销测试：
| 三种变形方式 |
cpu速度（720*960大小图片） |
gpu显存/速度 |
| 仿射变形affine |
10.05s |
6.5G/600ms |
| 相似变形similar |
14.32s |
3.8G/1060ms |
| 网格变形rigid |
13.47s |
3.8G/1040ms |
移动最小二乘MLS vs 反距离加权IDW：
MLS的显存开销更大，速度更慢
| 全局变形方法 |
速度 |
显存开销 |
变形效果 |
| 移动最小二乘MLS |
较慢 |
多（可以通过减少点的数量，减少图片大小，增大网格大小gridsize） |
可以从原始点一模一样的变形到目标点，但是在点多的时候边缘平滑性细节较差，点少的时候边缘平滑性细节较好 |
| 反距离加权IDW |
较快 |
少 |
不能从原始点一模一样的变形到目标点，会受变形系数的影响，但是边缘细节较好 |
测试效果：
