Least Squares Fitting最小二乘法拟合(2)

原文文献PDF地址
Least Squares Fitting最小二乘法拟合(1)

---

5.最小二乘球

5.1 参数化

• 一个球由它的球心$(x_0,y_0,z_0)$和它的半径r₀决定。在球面上的每一点都满足等式$$(x-x_0{)}^2+(y-y_0{)}^2+(y-y_0{)}^2=r_0^2$$

5.2 对圆心和半径进行初始估计

• 定义一个最小化函数来获得圆心和半径的初始估计，构建一个函数$$f_1=r_i-r,r=\sqrt{(x-x_0{)}^2+(y-y_0{)}^2+(z-z_0{)}^2}$$用这个函数分别对$x_0,y_0,z_0,r_0$进行求偏导，会得到一个难以求解的复杂等式。
• 因此考虑函数$$f_2=r_i^2-r^2$$。这个函数可以被写作$$f_2=(r_i-r)(r_i+r)\approx 2r(r_i-r)$$因为$r_i+r$可以被近似为2r
• 将该函数分别对$x_0,y_0,z_0,r_0$进行求偏导来获得初始评估的圆心和半径。
• 因此最小化函数获得球的初始估值为$$f=r_i^2-r^2$$

数学初始预估

• 将等式$$f=r_i^2-r^2$$展开我们得到
  $$f=(x_i-x_0{)}^2+(y_i-y_0{)}^2+(z_i-z_0{)}^2-r^2=-2(2x_i{x}_0+2y_i{y}_0+2z_i{z}_0)+\rho +(x_i^2+y_i^2+z_i^2)$$
  其中$$\rho =(x_i^2+y_i^2+z_i^2)-r^2$$
  引入变量ρ使方程呈线性
  将该上述n个点集的方程用矩阵形式表示
  $$\left[\begin{array}{ccc}-2x_1& -2y_1& -2z_1\\ -2x_2& -2y_2& -2z_2\\ ⋮& ⋮& ⋮\\ -2x_n& -2y_n& -2z_n\end{array}\right]\left[\begin{array}{c}{x}_0\\ y_0\\ z_0\\ \rho \end{array}\right]-\left[\begin{array}{c}{x}_1^2+y_1^2+z_1^2\\ x_2^2+y_2^2+z_2^2\\ ⋮\\ x_n^2+y_n^2+z_n^2\end{array}\right]=\left[\begin{array}{c}{f}_1\\ f_2\\ ⋮\\ f_n\end{array}\right]$$
  对最小二乘求解，$f_i=0$,引入矩阵符号
  $$A=\left[\begin{array}{ccc}-2x_1& -2y_1& -2z_1\\ -2x_2& -2y_2& -2z_2\\ ⋮& ⋮& ⋮\\ -2x_n& -2y_n& -2z_n\end{array}\right]，p=\left[\begin{array}{c}{x}_0\\ y_0\\ z_0\\ \rho \end{array}\right]，B=\left[\begin{array}{c}{x}_1^2+y_1^2+z_1^2\\ x_2^2+y_2^2+z_2^2\\ ⋮\\ x_n^2+y_n^2+z_n^2\end{array}\right]$$
  因此我们得到AP-B=0，求解这个最小二乘方程得到P。
  这表明P满足等式A^TAP=A^TB。
  求解P从而得到$x_0,y_0,z_0,\rho$的初始估值，
  半径r的初始估值可以通过求解以下方程得到
  $$\rho =(x_i^2+y_i^2+z_i^2)-r^2$$

5.3 高斯牛顿法

在获得球中心和半径r的初始估值后，利用高斯牛顿法来得到球中心和半径r的最终数值。

• 最小化函数
  $$d_1=r_i-r,r_i=\sqrt{(x-x_0{)}^2+(y-y_0{)}^2+(z-z_0{)}^2}$$

• 1. 建立雅可比矩阵
     雅可比矩阵的元素为
     $$\left[\begin{array}{cccc}\frac{\partial d_1}{\partial x_0}& \frac{\partial d_1}{\partial y_0}& \frac{\partial d_1}{\partial z_0}& \frac{\partial d_1}{\partial r_0}\\ \frac{\partial d_2}{\partial x_0}& \frac{\partial d_2}{\partial y_0}& \frac{\partial d_2}{\partial z_0}& \frac{\partial d_2}{\partial r_0}\\ ⋮& ⋮& ⋮& ⋮\\ \frac{\partial d_n}{\partial x_0}& \frac{\partial d_n}{\partial y_0}& \frac{\partial d_n}{\partial z_0}& \frac{\partial d_n}{\partial r_0}\end{array}\right]$$
     计算雅可比矩阵的各种分量并且带入矩阵，得到
     $$J=\left[\begin{array}{ccc}\frac{-(x_1-x_0)}{r_1}& \frac{-(y_1-y_0)}{r_1}& \frac{-(z_1-z_0)}{r_1}-1\\ \frac{-(x_2-x_0)}{r_2}& \frac{-(y_2-y_0)}{r_2}& \frac{-(z_2-z_0)}{r_2}-1\\ ⋮& ⋮& ⋮\\ \frac{-(x_n-x_0)}{r_n}& \frac{-(y_n-y_0)}{r_n}& \frac{-(z_n-z_0)}{r_n}-1\end{array}\right]$$
• 2. 求解线性最小二乘系统 JP=-D，其中
     $$p=\left[\begin{array}{c}{p}_{x0}\\ p_{y0}\\ p_{z0}\\ p_r\end{array}\right]$$
• 3. 增量参数如下
     $x_0=x_0+p_{x0};$
     $y_0=y_0+p_{y0};$
     $z_0=z_0+p_{z0};$
     $r_0=r_0+p_r;$
• 4. 收敛条件
     重复以上步骤直到算法收敛，收敛条件由$g=J^{T}d$最小时得到。

---

6. 圆柱体的高斯牛顿策略

• 任何直线可以由给定的一点以及方向余弦(a,b,c)确定。所以需要6个数来描述一条直线。其中一个约束条件就是$$a^2+b^2+c^2=1$$,所以给出两个分量，第三个就可以被确定。考虑直线的约束条件，当c=1时一条垂直线，它足够确定两个方向余弦a和b。Z可以由以下关系确定
  $$ax+by+cz=0$$
  因为c=1,z=-ax-by
• 所以这个约束的优点就是将6个参数减小到4个参数$a,b,x_0,y_0$,它同样降低了求解雅可比矩阵的复杂度和评估的时耗，因为使用高斯牛顿法时就计算了距离的导数。
• 高斯牛顿法对于圆柱的情况进行了改进
  • 1. 每次迭代开始前转换坐标系，所以轴上的点是坐标系上的原点，这意味着x=y=0
  • 2. 旋转坐标系系统使坐标系围绕Z轴转动，这样a=b=0并且c=1。

6.1 旋转的概念

参考上图，$$B=\{u_1,u_2,u_3\}$$经过旋转生成了新的基准$$B^{\prime }=\{u_1^{\prime },u_2^{\prime },u_3^{\prime }\}$$,其中$u_1,u_2,u_3和u_1^{\prime },u_2^{\prime },u_3^{\prime }$都是单位向量，$u_1^{\prime },u_2^{\prime },u_3^{\prime }$可以被表示为
$${\left[\begin{array}{c}{u}_1^{\prime }\end{array}\right]}_B=\left[\begin{array}{c}cos(\theta )\\ sin(\theta )\\ 0\end{array}\right],{\left[\begin{array}{c}{u}_2^{\prime }\end{array}\right]}_B=\left[\begin{array}{c}-sin(\theta )\\ cos(\theta )\\ 0\end{array}\right],{\left[\begin{array}{c}{u}_3^{\prime }\end{array}\right]}_B=\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right]$$
从B’到B的变换矩阵是：
$$p=\left[\begin{array}{ccc}cos(\theta )& sin(\theta )& 0\\ -sin(\theta )& cos(\theta )& 0\\ 0& 0& 1\end{array}\right]$$
所以新的坐标(X’,Y’,Z’)可以由旧的坐标(X,Y,Z)计算得到
$$\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ z^{\prime }\end{array}\right]=\left[\begin{array}{ccc}cos(\theta )& sin(\theta )& 0\\ -sin(\theta )& cos(\theta )& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\end{array}\right]$$

---

7. 最小二乘法最佳拟合圆柱

• 假设圆柱体由m个点$(x_i,y_i,z_i),m\ge 5$n拟合

7.1 参数化

• 一个圆柱可以由以下三个部分定义
  • 1. 坐标轴上的一点$(x_0,y_0,z_0)$
  • 2. 指向长轴的向量(a,b,c)
  • 3. 它的圆心r

7.2 圆柱的初始预估

设置坐标轴的方向是a,b,c。$(x_0,y_0,z_0)$是坐标轴上的点，$(x_i,y_i,z_i)$是圆柱上的点，
$$A^2+B^2+C^2=R^2$$其中
$$A=c(y_i-y_0)-b(z_i-z_0)$$
$$B=a(z_i-z_0)-b(x_i-x_0)$$
$$C=b(x_i-x_0)-b(y_i-y_0)$$
$$R=半径的初始评估$$
代入上式
$$[c(y_i-y_0)-b(z_i-z_0){]}^2+[a(z_i-z_0)-b(x_i-x_0){]}^2+[b(x_i-x_0)-b(y_i-y_0){]}^2=R^2$$
这个等式是简化了的，它产生下式
$$A{x}^2+B{y}^2+C{z}^2+Dxy+Exz+Fyz+Gx+Hy+Iz+J=0$$
其中
$$A=(b^2+c^2)$$
$$B=(a^2+c^2)$$
$$C=(a^2+b^2)$$
$$D=-2ab$$
$$E=-2ac$$
$$F=-2bc$$
$$G=-2(b^2+c^2)x_0+2ab{y}_0+2ac{z}_0$$
$$H=2ab{x}_0-2(a^2+c^2)x_0+2bc{z}_0$$
$$I=2ac{x}_0+2bc{y}_0-2(a^2+b^2)z_0$$
$$J=(b^2+c^2)x_0^2+(a^2+c^2)y_0^2+(a^2+b^2)z_0^2-2bc{y}_0{z}_0-2ac{z}_0{x}_0-2ab{x}_0{y}_0-R^2$$
等式两边同时除以A
$$x^2+\frac{B}{A}{y}^2+\frac{C}{A}{z}^2+\frac{D}{A}xy+\frac{E}{A}xz+\frac{F}{A}yz+\frac{G}{A}x+\frac{H}{A}y+\frac{I}{A}z+\frac{J}{A}=0$$
因此
$$\frac{B}{A}{y}^2+\frac{C}{A}{z}^2+\frac{D}{A}xy+\frac{E}{A}xz+\frac{F}{A}yz+\frac{G}{A}x+\frac{H}{A}y+\frac{I}{A}z+\frac{J}{A}=-x^2$$
这个可以写作一个线性系统方程
$$\left(\begin{array}{ccccccccc}{y}_1^2& z_1^2& x_1{y}_1& x_1{z}_1& y_1{z}_1& x_1& y_1& z_1& 1\\ y_2^2& z_2^2& x_2{y}_2& x_2{z}_2& y_2{z}_2& x_2& y_2& z_2& 1\\ ⋮& ⋮& ⋮& ⋮& ⋮& ⋮& ⋮& ⋮& ⋮\\ y_2^2& z_n^2& x_n{y}_n& x_n{z}_n& y_n{z}_n& x_n& y_n& z_n& 1\end{array}\right)\left(\begin{array}{c}B/A\\ C/A\\ D/A\\ E/A\\ F/A\\ G/A\\ H/A\\ I/A\\ J/A\end{array}\right)=\left(\begin{array}{c}-x_1^2\\ -x_2^2\\ ⋮\\ -x_n^2\end{array}\right)$$
这是$$A^{T}AP=A^{T}B$$的一种形式，P可以被解为
$$P=(A^{T}A{)}^{-1}{A}^{T}B$$
让C’=C/A,D’=D/A,E’=E/A,F’=F/A,G’=G/A,H’=H/A,I’=I/A,J’=J/A
求解上式如果|D’|,|E’|和|F’|接近于0，B’接近于1表明(a,b,c)=(0,0,1),如果C’接近于1表明(a,b,c)=(0,1,0)，否则
$$K=\frac{2}{1+B^{\prime }+C^{\prime }}$$
A=k,B=kB’,C=kC’,D=kD’,E=kE’,F=kF’,G=kG’,I=kI’,J=kJ’
如果A和B接近于1，那么
$$c^{\prime }=(1-C{)}^{1/2},a^{\prime }=E/-2c,b^{\prime }=F/2c^{\prime }$$
如果A接近于1，B不接近于1
$$b^{\prime }=(1-B{)}^{1/2},a^{\prime }=D/-2b^{\prime },c^{\prime }=F/-2b^{\prime }$$
如果A不接近于1
$$a^{\prime }=(1-A{)}^{1/2},a^{\prime }=D/-2a^{\prime },c^{\prime }=E/-2a^{\prime }$$
方向(a’,b’,c’)被归一化得到向量(a,b,c)

7.2.1 轴上点的初始评估

已知(a,b,c)是系数G,H,I的定义，而等式$$a{x}_0+b{y}_0+c{z}_0=0$$是用来求解参数$(x_0,y_0,z_0)$的，这将生成以下的线性系统
$$\left(\begin{array}{ccc}-2(b^2+c^2)& 2ab& 2ac\\ 2ab& -2(a^2+c^2)& 2bc\\ 2ac& -2bc& -2(a^2+b^2)\\ a& b& c\end{array}\right)\left(\begin{array}{c}{x}_0\\ y_0\\ z_0\end{array}\right)=\left(\begin{array}{c}G\\ H\\ I\\ 0\end{array}\right)$$
利用正规方程$$A^{T}AP=A^{T}B$$求解这个等式，P包含了在轴上点的初始估值

7.2.2 半径的初始估值

这可以通过使用J的定义来实现
$$J=(b^2+c^2)x_0^2+(a^2+c^2)y_0^2+(a^2+b^2)z_0^2-2bc{y}_0{z}_0-2ac{z}_0{x}_0-2ab{x}_0{y}_0-R^2$$
所以
$$R^2=(b^2+c^2)x_0^2+(a^2+c^2)y_0^2+(a^2+b^2)z_0^2-2bc{y}_0{z}_0-2ac{z}_0{x}_0-2ab{x}_0{y}_0-J$$

7.3 算法描述

• 1. 对原点的转换
     对数据的副本进行转换，使坐标轴上的点处于点的质心
     $$(x_i,y_i,z_i)=(x_i,y_i,z_i)-(x_c,y_c,z_c)$$
• 2. 通过旋转矩阵U,将(a,b,c)旋转到z轴上的一点
     $$\left(\begin{array}{c}{x}_i\\ y_i\\ z_i\end{array}\right)=U\left(\begin{array}{c}{x}_i\\ y_i\\ z_i\end{array}\right)$$
     其中U为
     $$U=\left(\begin{array}{ccc}{c}_2& 0& s_2\\ 0& 1& 0\\ -c_2& 0& c_2\end{array}\right)\left(\begin{array}{ccc}1& 0& 0\\ 0& c_1& s_1\\ 0& -s_2& c_1\end{array}\right)$$
     对于这种情况(a,b,c)=(1,0,0)
     $$s_1=0,c_1=1,s_2=-1,c_2=0$$
     否则
     $$c_1=c/\sqrt{b^2+c^2},s_1=-b/\sqrt{b^2+c^2}$$
     $$c_2=(c{c}_1-b{s}_1)/\sqrt{a^2+(c{c}_1-b{s}_1{)}^2}$$
     $$s_2=a/\sqrt{a^2+(c{c}_1-b{s}_1{)}^2}$$
     旋转圆柱体的轴，圆柱体绕着x轴旋转这样它就仍然在YZ平面上。然后将圆柱绕着y轴旋转这样圆柱就是沿着Z轴的方向。
• 3. 形成右侧向量d和雅可比矩阵

  点$$(x_i,y_i,z_i)$$到圆柱体的距离为$$d=r_i-r$$其中
  $$r_i=\frac{\sqrt{u_i^2+v_i^2+w_i^2}}{\sqrt{a^2+b^2+c^2}}$$
  $$u_i=c(y_i-y_0)-b(z_i-z_0)$$
  $$v_i=a(z_i-z_0)-b(x_i-x_0)$$
  $$w_i=b(x_i-x_0)-b(y_i-y_0)$$
  雅可比矩阵
  $$J=\left(\begin{array}{ccccc}\frac{-x_1}{r_1}& \frac{-y_1}{r_1}& \frac{-x_1{z}_1}{r_1}\frac{-y_1{z}_1}{r_1}& -1& \\ \frac{-x_2}{r_2}& \frac{-y_2}{r_2}& \frac{-x_2{z}_2}{r_2}\frac{-y_2{z}_2}{r_2}& -1& \\ ⋮& ⋮& ⋮& ⋮& ⋮\\ \frac{-x_n}{r_n}& \frac{-y_n}{r_n}& \frac{-x_n{z}_n}{r_n}\frac{-y_n{z}_n}{r_n}& -1& \end{array}\right)$$

• 4. 求解线性最小二乘系统

  $$J\left(\begin{array}{c}{p}_{x0}\\ p_{y0}\\ p_a\\ p_b\\ p_r\end{array}\right)=-d$$

• 5.根据下式更新参数
  $$\left(\begin{array}{c}{x}_0\\ y_0\\ z_0\end{array}\right)=\left(\begin{array}{c}{x}_0\\ y_0\\ z_0\end{array}\right)+U^T\left(\begin{array}{c}{p}_{x0}\\ p_{y0}\\ -p_{x0}{p}_a-p_{y0}{p}_b\end{array}\right)$$
  $$\left(\begin{array}{c}a\\ b\\ c\end{array}\right)=U^T\left(\begin{array}{c}{p}_a\\ p_b\\ 1\end{array}\right)$$
  $$r=r+p_r$$
  重复以上步骤直到算法收敛，在第一步中使用的是原始数据集的副本而不是经过迭代后的转换数据集

• 6. 如果我们想在最接近原点的线上表示$(x_0,y_0,z_0)$,那么
     $$\left(\begin{array}{c}{x}_0\\ y_0\\ z_0\end{array}\right)=\left(\begin{array}{c}{x}_0\\ y_0\\ z_0\end{array}\right)-\frac{a{x}_0+b{y}_0+c{z}_0}{a^2+b^2+c^2}\left(\begin{array}{c}a\\ b\\ c\end{array}\right)$$

---

8. 总结

在这篇报告中，详细的讨论了最小二乘法拟合线、平面、圆、球、和圆柱的方法。算法的实现方式是matlab源码都已经包含在附录中。本文还详细地讨论了实现中涉及的数学步骤。我们用来介绍这个项目的文章的摘要也包含在了附录中。

---

9. 附录

1. Forbes, Alistair B., Least Squares Best-Fit geometric elements, NPL report April 1989.
2. Assessment of Position, size and departure from nominal form of geometric features,
   British Standards Institution, BS7172: 1989
3. Computational Metrology, Manufacturing Review, Vol 6, No 4,1993
4. Press, William H. Flannery, Brian P, Teukolsy, Saul A, Vetterling, William T.,
   Numerical Recipes in C, The aart of Scientific computing, Cambridge university
   Press.
5. Ramakrishna Machireddy, Sampling techniques for plane geometry for coordiante
   measuring machines, MS Thesis, UNCC 1992
6. Uppliappan Babu, Sampling Methods and substitute Geometry for Measuring
   cylinders in a Co-ordiante Measuring Machines(Chapter 2), MS Thesis ,UNCC 1993
7. Anton Rorres, Element Linear Algebra Application Version, NY 1991.