Least Squares Fitting最小二乘法拟合(1)

Least Squares Fitting

原文文献PDF地址

---

1.1 介绍

这篇报告的目的是开发最小二乘法拟合各种不同几何元素的最优化算法。利用matlab代码对各种几何形状进行了复现并且测试了自co-ordinate measuring machines下获得的真实数据点。以下是已经被研究了的各种几何图形：

• 指定平面中的线
• 三维线
• 平面
• 指定平面中的圆
• 球和圆柱

这篇报告的书写方式对于有着线性代数和曲线拟合基础的人来说比较容易理解。作者提到的各种论文的简要摘要见附录1和2，建议在开始阅读报告前先浏览附录。在这篇报告中只建立了在笛卡尔坐标系下数据点的最小二乘法最佳拟合参考元素。

1.2 最小二乘法最佳拟合元素

最小二乘法准则可以广泛的应用于曲线拟合问题，最小二乘法最佳拟合元素就是解决将数据拟合到一个平面的问题。
这是一个参数化的问题。最佳平面由平面上一点C$(x_0,y_0,z_0)$以及与平面垂直的方向余弦(a,b,c)决定。平面上所有的点(x,y,z)都满足$a(x-x_0)+b(y-y_0)+c(z-z_0)=0$。

任意一点A$(x_i,y_i,z_i)$到指定平面的距离为$d_i=a(x_i-x_0)+b(y_i-y_0)+c(z_i-z_0)$。所有点到平面的距离的平方和是$F={\sum }_{i=1}^n{d}_i^2$ ，因此我们的问题是找到元素$(x_0,y_0,z_0)$以及(a,b,c)使得F的值最小。

1.3 最优化

设置一个函数$E(u)={\sum }_{i=1}^n{d}_i^2(u)$使得他的最小化与参数$u=(u_1...u_n{)}^T$相关。在这里$d_i$表示数据点到几何元素由u参数化的距离。

1.3.1 线性最小二乘法

为了理解下面描述在标准教科书中使用的最小二乘法拟合直线的传统方法。问题的矩阵公式也会被详细地解释，因为它对于解决大问题时非常有用。考虑通过一组数据点$（x_i,y_i）$（i从1->n）去拟合一条直线y=a+bx，最小化函数使得点到直线垂直方向测量的距离的平方和最小。因此F就是最小化函数。
$$F=\sum _{i=1}^n(y_i-a-b{x}_i{)}^2$$
f是最小值的一个条件是
$$\frac{\partial f}{\partial a}=0，\frac{\partial f}{\partial b}=0$$
因此对上述函数中的a和b的部分求偏导可得
$$2(-1)\sum _{i=1}^n(y_i-a-b{x}_i)=0$$
$$2(-x_i)\sum _{i=1}^n(y_i-a-b{x}_i)=0$$
这些可以被简化为
$$\sum _{i=1}^n{y}_i=na+b\sum _{i=1}^n{x}_i$$
$$\sum _{i=1}^n{x}_i{y}_i=a\sum _{i=1}^n{x}_i-b\sum _{i=1}^n{x}_i^2$$
对上述方程式一同求解就可以得到a和b的值。

1.3.2 正规方程

考虑通过一组数据点$(x_i,y_i)$(i:1->n)去拟合一条直线y=a+bx，如果数据点共线，这条线将通过n个点，所以
$y_1=a+b{x}_1$
$y_2=a+b{x}_2$
$y_3=a+b{x}_3$
…
$y_n=a+b{x}_n$
它可以被写为矩阵形式
$$\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right]=\left[\begin{array}{cc}1& x_1\\ 2& x_2\\ ⋮& ⋮\\ n& x_n\end{array}\right]\left[\begin{array}{c}a\\ b\end{array}\right]$$

让$$B=\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right],A=\left[\begin{array}{cc}1& x_1\\ 2& x_2\\ ⋮& ⋮\\ n& x_n\end{array}\right],p=\left[\begin{array}{c}a\\ b\end{array}\right]$$
那么上式就可以被表示为B=AP，
目标就是找到一个向量p可以使得不同的$\Vert B-AP\Vert$的欧式距离最小。
如果$$P=P\ast =\left[\begin{array}{c}a\ast \\ b\ast \end{array}\right]$$是最小化向量，
那么y=a*+b* x就是最小二乘法拟合直线，这个也可以被解释为
$$\Vert B-AP{\Vert }^2=(y_1-a-b{x}_1{)}^2+(y_2-a-b{x}_2{)}^2+...+(y_n-a-b{x}_n{)}^2$$
如果令$$d_1=(y_1-a-b{x}_1{)}^2,d_2=(y_2-a-b{x}_2{)}^2,...,d_n=(y_n-a-b{x}_n{)}^2$$
d可以看作是数据集中每一个点到拟合直线的距离，所以
$$\Vert B-AP{\Vert }^2=d_1^2+d_2^2+...+d_n^2$$

为了使$\Vert B-AP\Vert$最小，AP上就必须与B在列空间A的正交投影AP相等，这表明了B-AP必须与列空间A垂直。
所以对于在R²上的每个向量P有
(B-AP*)AP=0
这个也可以被写作
(AP)^T(B-AP*)=0
P^TA^T(B-AP*)=0
P^T(A^TB-A^TAP*)=0
(A^TB-A^TAP*)P=0
所以A^TB-A^TAP垂直于R²上的每个向量P，这表明
A^TB-A^TAP=0
A^TAP=A^TB
这表明了P*满足线性系统
A^TAP=A^TB
这个方程式也被称为正规方程，该方程的解为
P=(A^TA)^-1A^TB
这个等式可以被用在求多项式的最小二乘法拟合的情况

1.3.3 特征向量与奇异值的分解

• 等式P=(A^TA)^-1A^TB中的(A^TA)^-1很难求解。所以代替的方法就是使用奇异值分解来求解P
• 奇异值的分解
  一个矩阵可以被分解为3个矩阵
  A=USV^T
  其中U和V是正交矩阵，S是包含A的奇异矩阵的对角矩阵
  将A=USV^T放进正规方程
  (USV^T)^T(USV^T)P=(USV^T)^TB
  (VS^TU^TUSV^T)P=VS^TU^TB
  已知
  U^TU=I U^T=U^-1 V^TV=I V^T=V^-1
  所以
  (VS^TSV^T)P=VS^TU^TB
  等式两边左乘V^-1
  (S^TSV^T)P=S^TU^TB
  S是一个对角线矩阵；因此(SSV^T)P=SU^TB
  等式两边两次左乘S^-1
  V^TP=S^-1U^TB
  等式两边左乘V*
  VV^TP=VS^-1U^TB
  所以P的解为
  P=VS^-1U^TB

1.3.4 高斯牛顿法

牛顿法是最强大和著名数值方法之一，用作当f(x)是非线性函数求解f(x)=0的根。这个技术被应用于圆、球、圆柱、圆锥的线性最小二值模型。为了诱导这个算法的工作原理，首先讲述牛顿法。
假设给定一个函数f它的定义域是[a,b]，让$\overline{x}\in [a,b]$,这样$f^{\prime }(\overline{x})\ne 0$，f(x)的$\overline{x}$的泰勒多项展开式就是
$$f(x)=f(\overline{x})+(x-\overline{x})f^{\prime }(\overline{x})+\frac{(x-\overline{x}{)}^2}{2}{f}^{\prime }(\xi (x))，\xi (x)\in [x,\overline{x}]$$
因为f(q)=0当q=x时，
$$0=f(\overline{x})+(x-\overline{x})f^{\prime }(\overline{x})+\frac{(x-\overline{x}{)}^2}{2}{f}^{\prime }(\xi (x))$$
牛顿法假设$|q-\overline{x}|$很小，那么$|p-\overline{x}{|}^2$就更小，因此
$$0=f(\overline{x})+(q-\overline{x})f^{\prime }(\overline{x})$$
$$(q-\overline{x})=-\frac{f(\overline{x})}{f^{\prime }(x)}$$
让$$q=u_1,\overline{x}=u_0,p=-\frac{f(\overline{x})}{f^{\prime }(x)}$$
因此$$u_1=u_0+p,p=-\frac{f(u_0)}{f^{\prime }(u_0)}$$

• 从图1.3.4中，y=f(u)的根可以通过以下步骤求解

1. 计算f(u₀) 和 f’(u₀)
2. 在图中找到点(u₀,f(u₀))的切线，它在u₁处切割U轴
3. 找到u₁对应的点画出该点的切线来找到点u₂
4. 重复以上步骤直到它收敛（接近u*）

• 算法的要素
  • a) 给定一个近似解，问题被线性化
  • b) 问题的线性版本得到解决
  • c) 利用线性问题的解决方案来更新对解的评估

在线性最小二乘问题中，下式用来确定几何元素与一组数据点拟合程度有多好
$$E=\sum _{i=1}^n{d}_i^2$$
其中d_i是点到几何元素的距离
在这种情况下，d_i不是线性函数；高斯牛顿法被用来寻找平方和E的最小值。假设这里有一个初始值u*,利用这种方式求解一个线性最小二乘系统
$$J_p=-d$$
J是一个m*n的雅可比矩阵其中第i^th行是d_i相对于参数u的梯度
$$J_{ij}=\frac{\partial d_i}{\partial u_j}$$
它对u进行了评估，d的第i^th个分量是d_i(u),该参数将被更新为
$$u:=u+p$$

• 收敛条件
  • 牛顿法的步骤一直重复直到它达到了收敛点，以下是与测试收敛性相关的3条准则
    • 1. E的变化应该很小
    • 2. 更新的大小必须很小，例如(p^Tp)^1/2
    • 3. E相对于最优化参数的部分推导应该很小，例如(gg^T)^1/2其中g=J^Td

---

2. 最小二乘法最佳拟合直线

• 线可以是在指定的（2维）平面或者3维平面中。因为2D线条是3维线条的一种特殊情况，详细讨论3D线条。下面给出将m个数据点（x_i,y_i,z_i）拟合成一条直线的过程。
• 在线上的任何点（x,y,z）对于某些t的值都满足
  (x,y,z)=(x₀,y₀,z₀)+t(a,b,c)
• 在三维空间中，从点到直线的的距离为
  $$d_i=\sqrt{[u_i^2+v_i^2+w_i^2]}$$

2.1 参数化

• 一条直线可以由以下两个因素决定
  • 1. 线上的一个点（x₀,y₀,z₀）
  • 2. 方向向量（a,b,c）

2.2 算法描述

• 最佳拟合直线通过数据点的质心$(\overline{x},\overline{y},\overline{z})$这样就确定了直线L上的一个点，现在需要找出直线的方向向量。

  • 1. 第一步是找出点x,y,z的平均值
       $$\overline{x}=\sum x_i/n$$
       $$\overline{y}=\sum y_i/n$$
       $$\overline{z}=\sum z_i/n$$
  • 2. 构造矩阵A
       $$\left[\begin{array}{ccc}{x}_i& y_i& z_i\\ ⋮& ⋮& ⋮\\ \overline{x}& \overline{y}& \overline{z}\end{array}\right]$$
  • 3. 该矩阵A用奇异值分解法求解。从矩阵A中选取最小的奇异值和相应的奇异向量，其方向余弦为(a,b,c)
  • 4. 最佳拟合直线由$\overline{x},\overline{y},\overline{z}，a,b,c$六个参数共同决定

---

3. 最小二乘最佳拟合平面

• 下面给出将m个数据点（x_i,y_i,z_i）拟合成一个平面的过程。
• 在平面上的任何点（x,y,z）都满足
  $$a(x-x_0)+b(y-y_0)+c(z-z_0)=0$$
• 点（x_i,y_i,z_i）到平面的距离由参数x₀,y₀,z₀,a,b,c决定
  $$d_i=a(x-x_0-)+b(y-y_0)+c(z-z_0)$$

3.1 参数化

• 一个平面由以下两个参数决定
  • 1. 平面上的一个点（x₀,y₀,z₀）
  • 2. 平面法线的方向余弦（a,b,c）

3.2 算法描述

• 最佳拟合平面经过数据点的质心$(\overline{x},\overline{y},\overline{z})$这样就确定了平面上的一点P同样的需要计算出方向余弦。
  (a,b,c)是与最小特征值B=A^TA相关的特征向量
  • 1. 第一步是找出点x,y,z的平均值
       $$\overline{x}=\sum x_i/n$$
       $$\overline{y}=\sum y_i/n$$
       $$\overline{z}=\sum z_i/n$$
  • 2. 构造矩阵A
       $$\left[\begin{array}{ccc}{x}_i& y_i& z_i\\ ⋮& ⋮& ⋮\\ \overline{x}& \overline{y}& \overline{z}\end{array}\right]$$
  • 3. 该矩阵A用奇异值分解法求解。从矩阵A中选取最小的奇异值和相应的奇异向量，其方向余弦为(a,b,c)
  • 4. 最佳拟合平面由$\overline{x},\overline{y},\overline{z}，a,b,c$六个参数共同决定

---

4. 最小二乘法最佳拟合圆

• 下面给出将m个数据点（x_i,y_i）拟合成一个圆的的过程。
• 在圆上任意的点(x,y)满足
  $$(x_i-x_0{)}^2+(y_i-y_0{)}^2=r^2$$
• 点(x_i,y_i)到圆的距离由x₀,y₀以及r决定
  $$d_i=r_i-r$$
  $$r_i=\sqrt{[(x_i-x_0{)}^2+(y_i-y_0{)}^2]}$$
• 雅可比矩阵J的元素来自d_i对参数x₀,y₀和r求偏导
  $$\frac{\partial d_i}{\partial x_0}=-(x_i-x_0)$$
  $$\frac{\partial d_i}{\partial y_0}=-(x_i-x_0)$$
  $$\frac{\partial d_i}{\partial r}=-1$$

4.1 参数化

• 一个圆由以下两个参数决定
  • 1. 圆心（x₀,y₀）
  • 2. 圆的半径r

4.2 算法描述

• 用来求解最佳拟合圆的算法是高斯牛顿法，上面已经解释过了。首先是要找到初始的估计值，其次去实现高斯牛顿算法。用线性最小二乘模型求解圆的圆心和半径的初始预估值，执行步骤如下：

  • 1. F的最小值
       $$F=\sum _{i=1}^m{d}_i^2$$其中$$f_i=r_i^2-r^2$$
  • 2. 这可以简化为一个x₀,y₀,ρ的线性系统
       $$f_i=(x_i-x_0{)}^2-(y_i-y_0{)}^2-r^2=-2x_i{x}_0-2y_i{y}_0+(x_0^2+y_0^2-r^2)+(x_i^2+y_i^2)$$
       $$\rho =x_0^2+y_0^2-r^2$$
  • 3. 为了最小化F求解线性最小二乘系统
       $$A\left[\begin{array}{c}{x}_0\\ y_0\\ \rho \end{array}\right]=b$$
       A的第i^th行元素是系数(2x_i,2y_i,-1),b的第i^th个元素是$x_i^2+y_i^2$
  • 4. 由ρ的方程可以获得r的预估值

• 一旦获得初始预估值就可以形成右手向量d和雅可比矩阵J，然后就可以解出线性最小二乘系统
  $$J\left[\begin{array}{c}{p}_{x0}\\ p_{y0}\\ p_r\end{array}\right]=-d$$
  这些参数的值会随着估计值更新
  $x_0=x_0+p_{x0}$
  $y_0=y_0+p_{y0}$
  $r=r+p_r$
  重复以上步骤直到算法收敛

由于篇幅较长发布不了故而分为两篇进行上传
Least Squares Fitting最小二乘法拟合(2)