不相容方程组的最小二乘解

不相容方程组的最小二乘解

如果给定的线性方程组 Ax=b​ A x = b ​ 无解，那么我们希望退而求其次——求一个近似的 x⋆​ x ⋆ ​ ,使得残差向量（Residual Vector） r=Ax⋆(拟合值)−b(观测值)​ r = A x ⋆ ( 拟 合 值 ) − b ( 观 测 值 ) ​ 尽可能的小。在实际应用方面，任何最小化残差向量的方法，都可以用于寻找数据的最小二拟合。

残差向量：数理统计中观测值与估计值（拟合值）之间的差。

不相容方程组的一个常见来源是超定方程组（方程个数多于未知数的方程组）。例如：

x1+4x2x1+2x22x1+3x2=−2=−2=−2 x 1 + 4 x 2 = − 2 x 1 + 2 x 2 = − 2 2 x 1 + 3 x 2 = − 2

超定方程组常常是不相容的，上面这个例子也不例外。可以看到上述方程组可以写作 Ax=b A x = b 的形式。其中

A=112423,b=−2−2−2 A = 1 4 1 2 2 3 , b = − 2 − 2 − 2

A的解空间是 R3 R 3 的一个二维子空间，向量 b b 在该子空间之外，这导致该方程组无解。那么一个合理的目标就是寻找一个向量 x x ,使得他们最接近于满足全部三个方程。最小二乘解可以达到这个目的。

Ax=b A x = b 的最小二乘解

考虑线性方程组 Ax=b A x = b ，其中 A A 是 m∗n m ∗ n 的矩阵，如果 x x 是 Rn R n 中的向量，那么向量 r=Ax−b r = A x − b 成为残差向量（Residual Vector）。使得残差向量最小的 Rn R n 空间中的 n n 维向量 x⋆ x ⋆ 称为方程 Ax=b A x = b 的最小二乘解。更准确的说，使得满足以下不等式的向量 x⋆ x ⋆ ，是方程 Ax=b A x = b 的最小二乘解。

||Ax⋆−b||≤||Ax−b||,对于任意x∈Rn | | A x ⋆ − b | | ≤ | | A x − b | | , 对 于 任 意 x ∈ R n

如果方程 Ax=b A x = b 是相容的，那么最小二乘解恰好也是方程的一般意义上的解，此时 ||Ax⋆−b||=||Ax−b||=0 | | A x ⋆ − b | | = | | A x − b | | = 0

设 y∗=Ax∗ y ∗ = A x ∗ ，其中 x∗ x ∗ 为方程 Ax=b A x = b 的最小二乘解。则 y∗∈R(A) y ∗ ∈ R ( A ) ，由于 y∗ y ∗ 满足下式：

||y⋆−b||≤||y−b||,对于任意y∈R(A) | | y ⋆ − b | | ≤ | | y − b | | , 对 于 任 意 y ∈ R ( A )

则可推导得出结论（依据定理下节给出）： y⋆−b y ⋆ − b 垂直于R(A)中任意向量。由于 A A 的列为 R(A) R ( A ) 的一个生成系，有:

AT1(y⋆−b)=0AT2(y⋆−b)=0...ATm(y⋆−b)=0 A 1 T ( y ⋆ − b ) = 0 A 2 T ( y ⋆ − b ) = 0 . . . A m T ( y ⋆ − b ) = 0

写成矩阵形式:

AT(y∗−b)=0 A T ( y ∗ − b ) = 0

将 y∗=Ax∗ y ∗ = A x ∗ 带入：

ATAx∗=ATb A T A x ∗ = A T b

则可以通过求解以上方程来得到方程 Ax=b A x = b 的最小二乘解。

最小二乘解定理

考虑（m*n）的方程组 Ax=b A x = b ，有：

(a) 关联方程组 ATAx=ATb A T A x = A T b ，总是相容的；

(b) Ax=b A x = b 的最小二乘解恰好是 ATAx=ATb A T A x = A T b 的解；

(c) 最小二乘解是唯一的，当且仅当矩阵A的秩为 n n ;