超定方程的最小二乘解的三维几何解释

• 原始方程 $Ax=b$，解为 $x=A^{-1}b$，matlab描述 x = A\b
• 超定方程乘以 $A^T$ 变为方阵 $A^{T}Ax=A^{T}b$
• 列向量的形式 $A^{T}A$ 直接是一个数，简化计算
• 再把 $A^{T}A$ 作为一个整体除过去
  $$x=(A^{T}A{)}^{-1}{A}^{T}b$$

---

• 最小二乘解，向量 $b^{\prime }$ 在张成的平面之外，解的满足误差最小，合成的向量是 $b^{\prime }$ 在张成的投影
  $$A^T(b^{\prime }-A{x}^{\prime })=0$$
• v 和 w 均为列向量
  $$A=[v,w]=\left[\begin{array}{cc}{x}_1& x_2\\ y_1& y_2\end{array}\right]$$
  $$A^T=\left[\begin{array}{c}{v}^T\\ w^T\end{array}\right]=\left[\begin{array}{cc}{x}_1& y_1\\ x_2& y_2\end{array}\right]$$
• 向量 $v$ 和 向量 $e$ 垂直
  $$x_1{x}_3+y_1{y}_3=0\Rightarrow [x_1,y_1]\left[\begin{array}{c}{x}_3\\ y_3\end{array}\right]=0\Rightarrow v^T\left[\begin{array}{c}{x}_3\\ y_3\end{array}\right]=v^{T}e=0$$
• 向量 $e$ 与张成的平面垂直
  $$A^{T}e=0$$

---

• $b$ 位于张成的向量内
  $$k_{1}v+k_{2}w=b$$
  $$[v,w]\left[\begin{array}{c}{k}_1\\ k_2\end{array}\right]=b$$
  
• 在matlab里有子程序对应 $(A^{T}A{)}^{-1}{A}^T$ 伪逆 pinv(A)