图像变形 -- 移动最小二乘法（MLS）

根据变换矩阵的不同，可以分为三种变形方法，分别是：仿射变换、相似变换、刚性变换。其中刚性变换的效果是最好的，这边主要讲最简单的仿射变换，其余的只要替换一下变换矩阵即可实现。

一般的坐标变换

坐标变换一般分为：绕中心的旋转变换 + 平移变换。
$l_v(v)=(v-p_{\ast })M+q_{\ast }$

输入$v$，将其平移到旋转变换中心$p_{\ast }$，利用矩阵$M$做旋转和拉伸变换，如何将变换后的坐标平移到变换后目标的中心$q_{\ast }$。

一般的坐标变换只要一个方程，进行线性变换就可以了。

在多个控制点下的仿射变换

很显然，之前的公式并不适用于多个控制点，所以我们要利用最小二乘法了。其中$p$为变换前的控制点，$q$为变换后的控制点。

输入一个$v$，他到各个控制点$p_i$的距离不同，我们假设距离越近的控制点对他影响就越大

每个控制点对输入的影响权重如下，其中$\alpha$一般取1：
$w_i=\frac{1}{|p_i-v{|}^{2\alpha }}$

变换中心$p_{\ast }，q_{\ast }$计算如下：
$p_{\ast }=\frac{\sum (w_i{p}_i)}{\sum w_i}$ ， $q_{\ast }=\frac{\sum (w_i{q}_i)}{\sum w_i}$

式中分母$\sum w_i$是用来归一化权重因子的，以计算最佳形变中心，对于每个点，都有一个新的变换中心，这是由距离不同导致的。

我们要求的是，在该权重分配下，变换矩阵M是什么。

我们假设在M的作用下，对控制点$p_i$进行变换，结果需要为$q_i$，则最小二乘可以写为$\sum |{\bar{p}}_{i}M-{\bar{q}}_i{|}^2$。其中 ${\bar{p}}_i=p_i-p_{\ast }$， ${\bar{q}}_i=q_i-q_{\ast }$

由于根据影响权重的不同，我们要求距离近的控制点影响要大一些，故最终的加权最小二乘表达式如下：

$\sum w_i|{\bar{p}}_{i}M-{\bar{q}}_i{|}^2$

在线性代数中，我们求解形如$Ax=b$的正规方程最小二乘解，可得：
$x=(A^{T}A{)}^{-1}{A}^{T}b$

故有 $M=(\sum p_i^T{w}_i{p}_i{)}^{-1}\sum w_i{p}_i^T{q}_i$

对于加权最小二乘，假设$Ax=b$，两边添加权重矩阵则有$WAx=Wb$，同乘$A^T$，则有$A^{T}WAx=A^{T}Wb$，两边再同乘$(A^{T}WA{)}^{-1}$可得解

则解为 $x=(A^{T}WA{)}^{-1}{A}^{T}Wb$，其中$w$是权重矩阵。

有了旋转矩阵M的表达式后，我们得到变形的表达式：
$l_v(v)=(v-p_{\ast })M+q_{\ast }=(v-p_{\ast })(\sum p_i^T{w}_i{p}_i{)}^{-1}\sum w_i{p}_i^T{q}_i+q_{\ast }$

CVfpoint MLS(CVfpoint t , CVVECTORS_F32 pList, CVVECTORS_F32 qList)
{
    CVfpoint fv;
    double A[2][2], B[2][2], M[2][2];
    int num = pList->dataNum;
    float *w = CV_malloc0(num * sizeof(float));

    CVfpoint* p = pList->datap;
    CVfpoint* q = qList->datap;
    //计算各个控制顶点的权重，也就是计算点t到各个顶点的距离1/sqr(d)
    for (int i = 0; i < num; i++)
    {
        float temp;
        if (p[i].x != t.x || p[i].y != t.y)
            temp = 1 / ((p[i].x - t.x) * (p[i].x - t.x) + (p[i].y - t.y) * (p[i].y - t.y));
        else//如果t为控制顶点，那么需要把该控制顶点的权重设置为无穷大
            temp = 100000;

        w[i] = temp;
    }
    CVfpoint pc, qc;
    //q为目标图像的控制点的位置，我们的目标是找到t在q中的对应位置
    double px = 0, py = 0, qx = 0, qy = 0, tw = 0;
    for (int i = 0; i < num; i++)
    {
        px += w[i] * p[i].x;//所有控制顶点p的加权位置
        py += w[i] * p[i].y;
        qx += w[i] * q[i].x;//所有控制顶点q的加权位置
        qy += w[i] * q[i].y;
        tw += w[i];//总权重
    }

    pc.x = px / tw;
    pc.y = py / tw;
    qc.x = qx / tw;
    qc.y = qy / tw;
    //初始化
    for (int i = 0; i < 2; i++)
        for (int j = 0; j < 2; j++)
        {
            A[i][j] = 0;
            B[i][j] = 0;
            M[i][j] = 0;
        }


    for (int i = 0; i < num; i++)
    {
        double P[2] = { p[i].x - pc.x,p[i].y - pc.y };//P
        double PT[2][1];//P^T
        PT[0][0] = p[i].x - pc.x;
        PT[1][0] = p[i].y - pc.y;

        double Q[2] = { q[i].x - qc.x,q[i].y - qc.y };//Q
        double T[2][2];
        //T = P^T * P : 列乘行=矩阵
        T[0][0] = PT[0][0] * P[0];
        T[0][1] = PT[0][0] * P[1];
        T[1][0] = PT[1][0] * P[0];
        T[1][1] = PT[1][0] * P[1];
        //A = wi * (P^T * P)
        for (int k = 0; k < 2; k++)
            for (int j = 0; j < 2; j++)
            {
                A[k][j] += w[i] * T[k][j];
            }
        // T = P^T * Q
        T[0][0] = PT[0][0] * Q[0];
        T[0][1] = PT[0][0] * Q[1];
        T[1][0] = PT[1][0] * Q[0];
        T[1][1] = PT[1][0] * Q[1];
        //B = wi * (P^T * Q)
        for (int k = 0; k < 2; k++)
            for (int j = 0; j < 2; j++)
            {
                B[k][j] += w[i] * T[k][j];
            }

    }
    CV_free0(w);
    // 求 A^-1
    double det = A[0][0] * A[1][1] - A[0][1] * A[1][0];
    if (det < 0.0000001)
    {
        fv.x = t.x + qc.x - pc.x;
        fv.y = t.y + qc.y - pc.y;
        return fv;
    }
    double temp1, temp2, temp3, temp4;
    temp1 = A[1][1] / det;
    temp2 = -A[0][1] / det;
    temp3 = -A[1][0] / det;
    temp4 = A[0][0] / det;
    A[0][0] = temp1;
    A[0][1] = temp2;
    A[1][0] = temp3;
    A[1][1] = temp4;

    // M =  A^-1 * B
    M[0][0] = A[0][0] * B[0][0] + A[0][1] * B[1][0];
    M[0][1] = A[0][0] * B[0][1] + A[0][1] * B[1][1];
    M[1][0] = A[1][0] * B[0][0] + A[1][1] * B[1][0];
    M[1][1] = A[1][0] * B[0][1] + A[1][1] * B[1][1];
    // V = t - p*
    double V[2] = { t.x - pc.x,t.y - pc.y };
    double R[2][1];
    // R = M * V
    R[0][0] = V[0] * M[0][0] + V[1] * M[1][0];//lv（x）总计算公式
    R[1][0] = V[0] * M[0][1] + V[1] * M[1][1];
    // R + q*
    fv.x = R[0][0] + qc.x;
    fv.y = R[1][0] + qc.y;

    // Ax = b  ==>  x = (A^T*A)^-1 * A^T b
    return fv;
}

相似变形

注意：是相似变形，和矩阵相似变换 $P^{-1}AP=B$不是一个概念。

仿射变形包含了非均匀缩放，因此其变形效果不是很好。相似变形是仿射变形的一个特殊子集，它的变形效果只包含平移、旋转和均匀缩放。对于均匀缩放，即有相同的特征值，即可分解为$M=\lambda R$形式，其中λ为放缩系数，R为旋转矩阵。所以只要限制转换矩阵$M$，使其满足$M^{T}M={\lambda }^2{R}^{T}R={\lambda }^{2}I$即可。旋转矩阵$R$的形式必然如下：
$R=\left(\begin{array}{cc}c& -s\\ s& c\end{array}\right)$

要使矩阵$M$满足上述条件，可令$M=(M_1,M_2)$，其中$M_2=M_1^{\perp }$

符号⊥表示垂直的意思，如对于向量$(x,y)$，其垂直向量$(x,y{)}^{\perp }=(-y,x)$，有向量$x(-y)+yx=0$。上述$M_2=M_1^{\perp }$表示矩阵$M$两列是正交的，了解矩阵施密特正交化的应该很容易理解。

加权最小二乘形式如下：

$\sum w_i|\left(\begin{array}{c}{\bar{p}}_i\\ -{\bar{p}}_i^{\perp }\end{array}\right)M-\left(\begin{array}{c}{\bar{q}}_i\\ -{\bar{q}}_i^{\perp }\end{array}\right){|}^2$

令$P=\left(\begin{array}{c}{\bar{p}}_i\\ -{\bar{p}}_i^{\perp }\end{array}\right)$，它实际上是一个矩阵，其中若令${\bar{p}}_i=(x_i,y_i)$。则令${\bar{p}}_i^{\perp }=(-y_i,x_i)$，
即，有$\left(\begin{array}{c}{\bar{p}}_i\\ -{\bar{p}}_i^{\perp }\end{array}\right)=\left(\begin{array}{cc}{x}_i& y_i\\ y_i& -x_i\end{array}\right)$，他用来表示${\bar{p}}_i$及其法向向量，在原式中，经过$M$矩阵的变换，形如下
$PM=\lambda PR=\lambda \left(\begin{array}{cc}{x}_i& y_i\\ y_i& -x_i\end{array}\right)\left(\begin{array}{cc}c& -s\\ s& c\end{array}\right)=\left(\begin{array}{cc}{x}_{i}c+y_{i}s& -x_{i}s+y_{i}c\\ y_{i}c-x_{i}s& -y_{i}c-x_{i}c\end{array}\right)$
我们可以令$PM=Q=\left(\begin{array}{c}{\bar{q}}_i\\ -{\bar{q}}_i^{\perp }\end{array}\right)$，这样就表示了两个垂直方向都被放缩了相同的倍数，至于为什么垂直要取负号，大概是因为图像坐标和我们习惯的数学坐标（视觉坐标）是相反的。

即为了求解方程组$PM=Q$，类似的有$M=(P^{T}WP{)}^{-1}{P}^{T}WQ$

$P^{T}WP=\sum w_i\left(\begin{array}{cc}{\bar{p}}_i^T& (-{\bar{p}}_i^{\perp }{)}^T\end{array}\right)\left(\begin{array}{c}{\bar{p}}_i\\ -{\bar{p}}_i^{\perp }\end{array}\right)=\sum w_i({\bar{p}}_i^T{\bar{p}}_i+p_i^{\perp }({\bar{p}}_i^{\perp }{)}^T)$

$p_i^T{\bar{p}}_i=\left(\begin{array}{cc}{x}_i^2& x_i{y}_i\\ y_i{x}_i& y_i^2\end{array}\right)$ ，$p_i^{\perp }({\bar{p}}_i^{\perp }{)}^T=\left(\begin{array}{cc}{y}_i^2& -y_i{x}_i\\ -x_i{y}_i& x_i^2\end{array}\right)$
则有${\bar{p}}_i^T{\bar{p}}_i+p_i^{\perp }({\bar{p}}_i^{\perp }{)}^T=\left(\begin{array}{cc}{y}_i^2+x_i^2& 0\\ 0& x_i^2+y_i^2\end{array}\right)=(x_i^2+y_i^2)\left(\begin{array}{cc}1& 0\\ 0& 1\end{array}\right)$

故$(P^{T}WP{)}^{-1}=\frac{1}{\sum w_i{\bar{p}}_i{\bar{p}}_i^T}\left(\begin{array}{cc}1& 0\\ 0& 1\end{array}\right)$

根据该条件得到相似变形的转换矩阵$M$如下：

$M=\frac{1}{{\mu }_s}\sum w_i\left(\begin{array}{c}{\bar{p}}_i\\ -{\bar{p}}_i^{\perp }\end{array}\right){\left(\begin{array}{cc}{\bar{q}}_i& -{\bar{q}}_i^{\perp }\end{array}\right)}^T$

其中${\mu }_s=\sum w_i{\bar{p}}_i{\bar{p}}_i^T$，左边$\frac{1}{{\mu }_s}$乘单位矩阵即$(P^{T}WP{)}^{-1}$，右边由于$P=\left(\begin{array}{cc}{x}_i& y_i\\ y_i& -x_i\end{array}\right)$是一个对称矩阵，故有$P^T=P$，而$Q$则写成行向量转置的形式

刚性变形

刚性变形，也就是说变形不含任何缩放效果，我们进一步限制转换矩阵$M$使其满足$M^{T}M=I$，这样可以得到刚性变形。

在相似变形中，我们求得$M=\frac{1}{{\mu }_s}\sum w_i\left(\begin{array}{c}{\bar{p}}_i\\ -{\bar{p}}_i^{\perp }\end{array}\right){\left(\begin{array}{cc}{\bar{q}}_i& -{\bar{q}}_i^{\perp }\end{array}\right)}^T$，我们只要能求出其放缩系数$\lambda$，将其除以该系数即可得到刚性变形的矩阵了

$P^{T}Q=\left(\begin{array}{c}{\bar{p}}_i\\ -{\bar{p}}_i^{\perp }\end{array}\right)\left(\begin{array}{cc}{\bar{q}}_i^T& (-{\bar{q}}_i^{\perp }{)}^T\end{array}\right)=\left(\begin{array}{cc}{\bar{p}}_i{\bar{q}}_i^T& {\bar{p}}_i(-{\bar{q}}_i^{\perp }{)}^T\\ -{\bar{p}}_i({\bar{q}}_i^{\perp }{)}^T& {\bar{p}}_i({\bar{q}}_i^{\perp }{)}^T\end{array}\right)$

我们知道，矩阵元素每一列的模长为拉伸系数${\mu }_s\lambda$，取第一列可得：
${\mu }_s\lambda =\sqrt{({\bar{p}}_i{\bar{q}}_i^T{)}^2+({\bar{p}}_i({\bar{q}}_i^{\perp }{)}^T{)}^2}$

则$\frac{1}{\lambda }=\frac{{\mu }_s}{\sqrt{({\bar{p}}_i{\bar{q}}_i^T{)}^2+({\bar{p}}_i({\bar{q}}_i^{\perp }{)}^T{)}^2}}$

故可得，刚性变形的$M$矩阵解如下
$M=\frac{1}{\lambda }{M}_{相似变形}=\frac{1}{\sqrt{(\sum w_i{\bar{p}}_i{\bar{q}}_i^T{)}^2+(\sum w_i{\bar{p}}_i({\bar{q}}_i^{\perp }{)}^T{)}^2}}\sum w_i\left(\begin{array}{c}{\bar{p}}_i\\ -{\bar{p}}_i^{\perp }\end{array}\right){\left(\begin{array}{cc}{\bar{q}}_i& -{\bar{q}}_i^{\perp }\end{array}\right)}^T$

参考资料

注：所有参考资料的公式都有误，我重新推导的才是对的。
最终项目：基于移动最小二乘的图像变形
卡通图像变形算法
图像处理（十九）基于移动最小二乘的图像变形