正交对角化,奇异值分解

与普通矩阵对角化不同的是,正交对角化是使用正交矩阵对角化,正交矩阵是每列向量都是单位向量,正交矩阵*它的转置就是单位矩阵

与普通矩阵对角化一样,正交对角化的结果也是由特征值组成的对角矩阵

本质还是特征向量对原矩阵的拉伸,收缩。

A为特征向量矩阵,对角化为A^{-1}XA

B为特征向量的正交矩阵,对角化为B^{T}XB

上面两个的结果是一样的

下面用奇异值分解来举个例子

正交对角化,奇异值分解_第1张图片

A=\begin{bmatrix} 1 &0 \\ 0 & 1\\ 1& 0 \end{bmatrix}A^{T}A=\begin{bmatrix} 1 & 0 & 1\\ 0& 1&0 \end{bmatrix}\begin{bmatrix} 1 &0 \\ 0 & 1\\ 1 & 0 \end{bmatrix}=\begin{bmatrix} 2 & 0\\ 0 & 1 \end{bmatrix}

A^{T}A的特征值为\lambda _{1}=2,\lambda _{2}=1,特征向量为\begin{bmatrix} 1\\ 0 \end{bmatrix},\begin{bmatrix} 0\\ 1 \end{bmatrix},非零奇异值为\sigma _{1}=\sqrt{2},\sigma _{2}=\sqrt{1}=1,所以\sum _{1}=\begin{bmatrix} \sqrt{2} & 0\\ 0 & 1 \end{bmatrix}

要使V^{T}(A^{T}A)V=\begin{bmatrix} 2 & 0\\ 0 &1 \end{bmatrix}成立的正交矩阵V,V是由特征向量的单位向量组成如果特征向量是\begin{bmatrix} 1 & 1\\ 2 & 1 \end{bmatrix}则正交矩阵是\begin{bmatrix} \frac{1}{\sqrt{5}} & \frac{1}{2}\\ \frac{2}{\sqrt{5}} & \frac{1}{2} \end{bmatrix},所以V=\begin{bmatrix} 1 &0 \\ 0 & 1 \end{bmatrix}

U有两种求法

1.用AA^{T}的特征值来求,和上面的V一样

2.用公式AV_{1}\sum ^{-1}

A=U\sum V^{T}

参考:〖矩阵论笔记一〗奇异值分解(SVD)_左奇异矩阵和右奇异矩阵-CSDN博客

你可能感兴趣的:(AI,机器学习)