求解线性方程组

求解线性方程组

最小二乘分析

考虑线性方程组：
$$Ax=b$$
若$b$不属于矩阵$A$的值域空间，则称该方程是矛盾的或过定的。在这种情况下，方程组无解。求解该方程就变成了寻找一个（组）向量$x$，使得$||Ax-b|{|}^2$达到最小。

如果向量$x^{\ast }$能够使得$||Ax-b|{|}^2$达到最小，即对于所有$x\in R^n$，都有
$$||Ax-b|{|}^2⩾||A{x}^{\ast }-b|{|}^2$$

则称$x^{\ast }$为$Ax=b$的最小二乘解。

矩阵$A\in R^{m\ast n},m\ge n$，当且仅当$rank{A}^{T}A=n$（即方阵$A^{T}A$非奇异）时，$rankA=n$。

能够最小化$||Ax-b|{|}^2$的向量$x^{\ast }$具有唯一性，可通过求解方程组$A^{T}Ax=A^{T}b$得到，即$x^{\ast }=(A^{T}A{)}^{-1}{A}^{T}b$。

递推最小二乘算法

某个优化问题使得$||A_{0}x-b^{(0)}|{|}^2$最小，已知这一问题的解为$x^{(0)}={G_0}^{-1}{A_0}^T{b}^{(0)}$，其中，$G_0={A_0}^T{A}_0$。如果添加了新的数据，用矩阵$A_1$和$b^{(1)}$表示，则问题变为寻找$x$，使得：
$$||\left[\begin{array}{c}{A}_0\\ A_1\end{array}\right]x-\left[\begin{array}{c}{b}^{(0)}\\ b^{(1)}\end{array}\right]|{|}^2$$
达到最小。

迭代公式：
$$\begin{gathered} G_{k+1}=G_k+A_{k+1}^T{A}_{k+1} \\ {x}^{(k+1)}=x^{(k)}+{G_{k+1}}^{-1}{A}_{k+1}^T(b^{(k+1)}-A_{k+1}{x}^{(k)}) \end{gathered}$$
考虑一种特殊情况————每次只新来一行新数据，即矩阵$A_{k+1}$只有一行，$A_{k+1}={a_{k+1}}^T$，$b^{(k+1)}$是标量，$b^{(k+1)}=b_{k+1}$，此时有：
$$\begin{gathered} P_{k+1}=P_k-\frac{P_k{a}_{k+1}{a_{k+1}}^T{P}_k}{1+{a_{k+1}}^T{P}_k{a}_{k+1}} \\ {x}^{(k+1)}=x^{(k)}+P_{k+1}{a}_{k+1}(b_{k+1}-{a_{k+1}}^T{x}^{(k)}) \end{gathered}$$

线性方程组的最小范数解

$$x^{\ast }=A^T(A{A}^T{)}^{-1}b$$

一般意义下的线性方程组的求解

考虑一般意义下的线性方程组
$$Ax=b$$
其中，$A\in R^{m\ast n},rankA=r$，且有$r\le \min \{m,n\}$。

满秩分解

一个秩为$r$的矩阵可以表示一个列满秩（秩$r$）的矩阵和一个行满秩（秩r）的矩阵的乘积。

存在矩阵$B\in R^{m\ast r}$和矩阵$C\in R^{r\ast n}$，使得：
$$A=BC$$
其中$rankA=rankB=rankC$。

伪逆

$A$的伪逆矩阵$A^{+}$中的每一行，都是矩阵$A^T$中所有行向量的线性组合，$A^{+}$中的每一列都是矩阵$A^T$中所有列向量的线性组合。

对于矩阵$A\in R^{m\ast n},m\ge n$，且$rankA=n$，可以得到左伪逆$A^{+}=(A^{T}A{)}^{-1}{A}^T$

对于矩阵$A\in R^{m\ast n},m\le n$，且$rankA=m$，可以得到右伪逆$A^{+}=A^T(A{A}^T{)}^{-1}$

$A^{+}=C^{+}{B}^{+}$