伪逆

对于的矩阵，定义其伪逆，使得当为阶可逆方阵的时候，有

矩阵的奇异值分解可以理解成从到的线性变换在不同基底下矩阵表示，接下来利用矩阵的奇异值分解来定义矩阵的伪逆，然后再利用矩阵的伪逆来讨论线性方程组无解时的最小二乘解，线性代数的中心问题是求解线性方程组，最简单的情况是如果系数矩阵是阶的可逆矩阵，那么这时对于任意的维向量，线性方程组有唯一的解，这个解是，那这就启发去对于不可逆的矩阵或者是对于的矩阵，我们来定义它的一个逆矩阵，那么这时候逆矩阵我们叫做伪逆或者是叫广义逆 。

伪逆的定义来自于奇异值分解

若可逆，则

证明，再根据特征值分解中，得

对于，，即

$A A^{+}=\left(U \Sigma_{m \times n} V^{T}\right)\left(V\Sigma_{n \times m}^{+} U^{T}\right)=U \Sigma_{m \times n} \Sigma_{n \times m}^{+} U^{T}=U\left(\begin{array}{cc}{I_{r}} & {0} \\{0} & {0}\end{array}\right)_{m \times m} U^{T}$

3.是把中的向量投影到的正交投影矩阵。

，，，，

U属于A的列空间

正交投影（直角投影）

3.是把中的向量投影到的正交投影矩阵。

若（A列满秩），则,

若（A行满秩），则，

上面U和V都是一组各自空间中的单位正交基，或者怎么就是正交投影矩阵了？印象中的投影矩阵好像不长这样啊？

其中 x_hat 为近似解，b不在列空间中

设，满足如下全部（1~4）方程组，则称X为A的伪逆

上面已经证明过了

Ax=b有解

Ax=b无解

无解表示

求近似解

这时候需要改求近似解，使得最小（最小二乘解）

，

因为，所以，

因为，所以

这个时候分为两种情况

1.（A列满秩），则。即可逆，于是又唯一最小二乘解

最小二乘唯一解

2.（A列相关），则。正规方程解不唯一，即最小二乘解不唯一

但是我们需要求即误差最小的解！但是这时候不是列满秩不存在逆矩阵，于是自然地想到利用伪逆求解。

伪逆求解正规方程——最佳最小二乘解

为一个最小二乘解

证明，由于是把中的向量投影到的正交投影矩阵，且列空间和左零空间正交。故

在的所有最小二乘解中，的长度最小。称为的最佳最小二乘解

证明设也是的一个解，即一个最小二乘解。于是，

$\begin{aligned}A^{T} A \hat{\mathbf{x}} &=A^{T} \mathbf{b} \\A^{T} A \mathbf{x}^{+} &=A^{T} \mathbf{b}\end{aligned} \Rightarrow A^{T} A\left(\hat{\mathbf{x}}-\mathbf{x}^{+}\right)=\mathbf{0} \Rightarrow \hat{\mathbf{x}}-\mathbf{x}^{+} \in N\left(A^{T} A\right)=N(A)$

而，故， $\Rightarrow\|\widehat{\mathbf{x}}\|^{2}=\left\|\left(\hat{\mathbf{x}}-\mathbf{x}^{+}\right)+\mathbf{x}^{+}\right\|^{2}=\left\|\hat{\mathbf{x}}-\mathbf{x}^{+}\right\|^{2}+\left\|\mathbf{x}^{+}\right\|^{2} \geq\left\|\mathbf{x}^{+}\right\|^{2}$

伪逆

你可能感兴趣的:(伪逆)