【矩阵论】5. 正规方程——求解

---

5.2 正规方程

$$\begin{array}{r}{A}^{H}Ax=A^{H}b为Ax=b的正规方程\end{array}$$

5.2.1 正规方程必有解

正规方程 $A^{H}Ax=A^{H}b$ 必有解 ，且特解为 $x_0=A^{+}b$ ，使 $A^{H}A{x}_0=A^{H}b$

证明
$$\begin{array}{rl}& 由于A^{H}A{A}^{+}\stackrel{(A{A}^{+}{)}^H=A{A}^{+}}{}{A}^H(A{A}^{+}{)}^H=(A{A}^{+}A{)}^H=A^H,\\ & 令x_0=A^{+}b,则A{A}^H{x}_0=A^{H}A{A}^{+}b=A^{H}b\end{array}$$
推论

若矩阵方程 $AXD=B$ 有解，则有特解 $X_1=A^{+}B{D}^{+}$

5.2.2 Ax=b 与 $A^{H}Ax=A^{H}b$ 的关系

$$\begin{gathered} 1.若Ax=b有解，则A^{H}Ax=A^{H}b有解，且两个方程组同解（相容） \\ 2.若Ax=b无解，则A^{H}x=A^{H}b仍然有解，且特解为A^{+}b（不相容） \end{gathered}$$

a. $Ax=b$ 有解判定

若 $Ax=b$ 有解(相容)，则可知 $b\in R(A)=\{y=Ax|x\in C^n\}$ ，即 $Ax=b$ 有解 $⟺$ $b\in R(A)$

b. 无解定理

$$\begin{gathered} 若Ax=b无解(不相容)，则对一切x\in C^n,Ax\ne b,即Ax=b无解⟺b\notin R(A) \\ 若Ax=b无解，则队一切x\in C^n，Ax\ne b必有\Vert Ax-b{\Vert }^2>0,即Ax=b无解⟺\Vert Ax-b{\Vert }^2>0 \end{gathered}$$

$$若x_0=A^{+}b使A{x}_0\ne b,则Ax=b无解（不相容）$$

c. 高阵的解

若 $A=A_{m\times n}$ 为列满秩阵，则有 $N(A)=\{0\}$ ，即 $AX=0$ 只有零解 $X=0$

若A为高阵，则 $Ax=b$ 的解为 $x_0=A^{+}b$ 的唯一解

eg

---

5.2.3 通解公式

a. $Ax=b$ 有解情形

设 $Ay=0$ 基本解为 $Y_1,Y_2,\cdots ,Y_k$ ，则 $Ay=0$ 有通解，$y=t_1{Y}_1+t_2{Y}_2+\cdots +t_k{Y}_k$ ,可写 $N(A)=\{y|Ay=0\}=\{全体y=t_1{Y}_1+t_2{Y}_2+\cdots +t_k{Y}_k\}$ k=n-r(A)

且 $Ay=b$ 通解公式为 $x=x_0+(t_1{Y}_1+t_2{Y}_2+\cdots +t_k{Y}_k)\stackrel{\Delta }{}{x}_0+y,\forall y\in N(A)$

最小二乘解

若 $Ax=b$ 有解，则哪个解x的长度平方 $\vert x\vert^2=xHx=\vert x_1\vert^2+\cdots+\vert x_k\vert^2 $ 最小：$x_0=A^{+}b$

eg

$$\begin{array}{rl}& r(A)=r(A|b)=1，故Ax=b有解\\ & x_0=A^{+}b={\left(\begin{array}{cc}1& 1\\ 2& 2\end{array}\right)}^{+}b=\frac{1}{10}\left(\begin{array}{cc}1& 2\\ 1& 2\end{array}\right)\left(\begin{array}{c}1\\ 2\end{array}\right)=\frac{1}{10}\left(\begin{array}{c}5\\ 5\end{array}\right)=\left(\begin{array}{c}\frac{1}{2}\\ \frac{1}{2}\end{array}\right)\\ & Ax=0\Rightarrow \left(\begin{array}{cc}1& 1\\ 2& 2\end{array}\right)\left(\begin{array}{c}{x}_1\\ x_2\end{array}\right)=0\Rightarrow x_1+x_2=0\Rightarrow Ax=0通解x=\left(\begin{array}{c}1\\ -1\end{array}\right)\\ & Ax=b的通解公式为X=\left(\begin{array}{c}\frac{1}{2}\\ \frac{1}{2}\end{array}\right)+t\left(\begin{array}{c}1\\ -1\end{array}\right)\end{array}$$

b. $Ax=b$ 无解情形

若 $Ax=b$ 无解，则 $|Ax-b{|}^2>0$ ，对于 $x\in C^n$ ，如何使 $|Ax-b|$ 最小：$x_0=A^{+}b$

若 $|A{x}_0-b{|}^2$ 为 $|Ax-b{|}^2$ 的最小值，则 $x_0$ 为 $Ax-b$ 的一个极小二乘解，即 $|A{x}_0-b{|}^2$ 为 $AX$ 与 $b$ 的最小平方距离

证明
$$\begin{array}{rl}& Ax-A{x}_0=A(x-x_0)\in R(A),\therefore (b-A{x}_0)\perp A(x-x_0)\\ & |Ax-b{|}^2\stackrel{勾股定理}{}|A(x-x_0)+A(x_0-b){|}^2\ge |A(x-x_0){|}^2+|A(x_0-b){|}^2\ge |A(x_0-b){|}^2\\ & 当且仅当A(x-x_0)=0时，|A{x}_0-b{|}^2=|A(x_0-b){|}^2最小\end{array}$$

小二解公式

令 $x_0=A^{+}b$ ，则 $Ax=b$ 的全体小二解为 $x=x_0+Y,Y\in N(A),AY=0$

最佳小二解

若 $Ax=b$ 无解，则 $x_0=A^{+}b$ 为最佳小二解

eg

$$\begin{array}{rl}& r(A)=1,r(A|b)=3，故Ax=b无解\\ & 最佳小二解x_0=A^{+}b=\frac{1}{6}\left(\begin{array}{ccc}1& 1& 1\\ 1& 1& 1\end{array}\right)\left(\begin{array}{c}1\\ 2\\ 3\end{array}\right)=\left(\begin{array}{c}1\\ 1\end{array}\right),令Ay=0,\Rightarrow x_1+x_2=0,即Y=\left(\begin{array}{c}1\\ -1\end{array}\right)\\ & 全体小二解为X=x_0+tY=\left(\begin{array}{c}1\\ 1\end{array}\right)+t\left(\begin{array}{c}1\\ -1\end{array}\right)\end{array}$$

---

$$\begin{array}{rl}& r(A)=1\ne r(A|b)=2,\therefore Ax=b无解\\ & 最佳小二解x_0=A^{+}b=\frac{1}{10}\left(\begin{array}{cc}1& 2\\ 1& 2\end{array}\right)\left(\begin{array}{c}1\\ 3\end{array}\right)=\frac{1}{10}\left(\begin{array}{c}7\\ 7\end{array}\right)\\ & 设Ay=0\Rightarrow \left(\begin{array}{cc}1& 1\\ 2& 2\end{array}\right)\left(\begin{array}{c}{y}_1\\ y_2\end{array}\right)=y_1+y_2=0\Rightarrow 齐次方程Ay=0的通解为y=\left(\begin{array}{c}1\\ -1\end{array}\right)\\ & \therefore Ax=b的通解为x=x_0+ty=\frac{1}{10}\left(\begin{array}{c}7\\ 7\end{array}\right)+t\left(\begin{array}{c}1\\ -1\end{array}\right)\end{array}$$

5.2.4 其他通解公式

a. $Ax=0$ 的通解公式

$$Ax=0的通解为\xi =(I_n-A^{+}A)y,y\in C^n$$

可写核空间公式 $N(A)=\{w=(I-A^{+}A)y|y\in C^n\}$

b. $Ax=b$ 的通解

$Ax=b$ 的通解公式为 $x=(A^{+}b)+(I_n-A^{+}A)y,y\in C^n$