数值线性代数:特征值求解SVD

本文记录SVD求解特征值/特征向量的原理与流程。

注1:限于研究水平,分析难免不当,欢迎批评指正。

零、预修

0.1 奇异特征值

A\in \mathbb{R}^{m\times n}列满秩矩阵,若\boldsymbol{A}^{T}\boldsymbol{A}的特征值为\lambda_{1}\geq \lambda_{2}\geq \cdots \lambda_{r}>0,则称\sigma_{i}=\sqrt{\lambda_{i}}为矩阵\boldsymbol{A}的奇异特征值。

0.2 SVD分解定理

\boldsymbol{A}\in \mathbb{R}^{m\times n},则存在正交矩阵\boldsymbol{U}\in \mathbb{R}^{m\times m}\boldsymbol{V}\in \mathbb{R}^{n\times n},使得

\boldsymbol{U}^{T}\boldsymbol{A}\boldsymbol{V}=\begin{pmatrix} \sum_{r} & 0\\ 0& 0 \end{pmatrix}

其中,\sum_{r}=diag\left ( \sigma_{1},\sigma_{2},\cdots ,\sigma_{r} \right )\sigma_{1}\geq \sigma_{2}\geq \cdots \sigma_{r}>0

0.3 Householder变换

\boldsymbol{w}\in \mathbb{R}^{n},且\boldsymbol{w}^{T}\boldsymbol{w}=1,定义\boldsymbol{H}=I-2\boldsymbol{w}\boldsymbol{w}^{T}为Householder变换。

0.4 Givens变换

\boldsymbol{e}_{1},\boldsymbol{e}_{2},\cdots ,\boldsymbol{e}_{n}是n维Euclid空间\mathbb{R}^{n}中的一组标准正交基,\forall x, y \in \mathbb{R}^{n},则在平面\left ( \boldsymbol{e}_{i}, \boldsymbol{e}_{j}\right )中存在旋转变换矩阵\boldsymbol{G}\left ( i,j,\theta \right ),满足

\boldsymbol{y}=\mathbf{G}\mathbf{x}

其中,

x=\begin{pmatrix} x\left ( 1:i-1 \right )\\ x_{i}\\ x\left ( i+1:j-1 \right )\\ x_{j}\\ x\left ( j+1:n \right ) \end{pmatrix}, y=\begin{pmatrix} x\left ( 1:i-1 \right )\\ 0\\ x\left ( i+1:j-1 \right )\\ \sqrt{x_{i}^{2}+x_{j}^{2}}\\ x\left ( j+1:n \right ) \end{pmatrix}

\boldsymbol{G}=\begin{pmatrix} \boldsymbol{I}_{i-1,i-1}& & & & \\ & cos\theta & & -sin\theta & \\ & & \boldsymbol{I}_{j-i-1,j-i-1}& & \\ & sin\theta & & cos\theta & \\ & & & & \boldsymbol{I}_{n-j,n-j} \end{pmatrix}

 cos\theta =\frac{x_{i}}{\sqrt{x_{i}^{2}+x_{j}^{2}}},sin\theta =\frac{-x_{j}}{\sqrt{x_{i}^{2}+x_{j}^{2}}},r=\sqrt{x_{i}^{2}+x_{j}^{2}}

参考资料

徐树方. 数值线性代数(第二版).  北京大学出版社, 2010.

Golub G. and Kahan W.. Calculating the Singular Values and Pseudo-Inverse of a Matrix[J]. Journal of the Society for Industrial and Applied Mathematics: Series B, Numerical Analysis, 1965, 2(2) : 205-224.

Demmel J., Kahan W..Accurate Singular Values of Bidiagonal Matrices[J].SIAM Journal on Scientific and StatisticalComputing, 1990, 11(5):873-912.

P. A. Businger,G. H. Golub. Singular value decomposition of a complex matrix[J]. communications of the acm, 1969.

你可能感兴趣的:(CAx,其他)