SVD分解求解线性方程组

SVD分解求解线性方程组

1 SVD分解

任一实矩阵 ${\mathbf{A}}_{m\times n}$ （典型情况：$m\ge n$），都可分解为：

$$\mathbf{A}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^{\top }$$

${\mathbf{U}}_{m\times m}$：酉矩阵，$\mathbf{U}$ 的列向量叫做 $\mathbf{A}$ 的左奇异向量

${\mathbf{V}}_{n\times n}$：酉矩阵，$\mathbf{V}$的列向量叫做 $\mathbf{A}$ 的右奇异向量

${\mathbf{\Sigma }}_{m\times n}$：对角矩阵，对角元素叫做 $\mathbf{A}$ 的奇异值 ，沿对角线呈递减排列，且是非负值

2 求解齐次线性方程组

齐次线性方程组：

$$\mathbf{A}\mathbf{x}=0$$

等价为如下问题：

$$\min ||\mathbf{A}\mathbf{x}|{|}^2$$

推导过程：

$$||\mathbf{A}\mathbf{x}|{|}^2=||\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^{\top }\mathbf{x}|{|}^2=||\mathbf{\Sigma }{\mathbf{V}}^{\top }\mathbf{x}|{|}^2$$

令 $\mathbf{y}={\mathbf{V}}^{\top }\mathbf{x}$，则

$$\min ||\mathbf{A}\mathbf{x}|{|}^2=\min ||\mathbf{\Sigma }\mathbf{y}|{|}^2$$

可得 $\mathbf{y}=[0,\cdots ,1{]}^{\top }$，于是 $\mathbf{x}$ 等于 $\mathbf{V}$ 的最后一列。

3 求解非齐次线性方程组

非齐次线性方程组：

$$\mathbf{A}\mathbf{x}=\mathbf{b}$$

等价为如下问题：

$$\min ||\mathbf{A}\mathbf{x}-\mathbf{b}|{|}^2$$

推导过程：

$$||\mathbf{A}\mathbf{x}-\mathbf{b}|{|}^2=||\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^{\top }\mathbf{x}-\mathbf{b}|{|}^2=||\mathbf{\Sigma }{\mathbf{V}}^{\top }\mathbf{x}-{\mathbf{U}}^{\top }\mathbf{b}|{|}^2$$

令 $\mathbf{y}={\mathbf{V}}^{\top }\mathbf{x},\mathbf{c}={\mathbf{U}}^{\top }\mathbf{b}$，则

$$\min ||\mathbf{A}\mathbf{x}-\mathbf{b}|{|}^2=\min ||\mathbf{\Sigma }\mathbf{y}-\mathbf{c}|{|}^2$$

可得 $y_i=c_i/{\sigma }_i$，$\mathbf{x}=\mathbf{V}\mathbf{y}$。