奇异值分解(SVD)例子+功能

SVD例子

以矩阵A为例

A = \begin{pmatrix} 0 &1 \\ 1 &1 \\ 1&0 \end{pmatrix}

第一步,求出A^TAAA^T

A^TA = \begin{pmatrix} 0 & 1 &1 \\ 1 & 1 & 0 \end{pmatrix} \begin{pmatrix} 0 &1 \\ 1&1 \\ 1& 0 \end{pmatrix} = \begin{pmatrix} 2 &1 \\ 1 &2 \end{pmatrix}

AA^T = \begin{pmatrix} 0 &1 \\ 1&1 \\ 1& 0 \end{pmatrix} \begin{pmatrix} 0 & 1 &1 \\ 1 & 1 & 0 \end{pmatrix} = \begin{pmatrix} 1 & 1 &0 \\ 1 & 2 &1 \\ 0 & 1& 1 \end{pmatrix}

第二步,求出A^TA的特征向量V和特征值\lambda

V = \begin{pmatrix} \frac{1}{\sqrt{2}} & - \frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}} &\frac{1}{\sqrt{2}} \end{pmatrix}

\lambda_1 = 3, \lambda_2 = 1

奇异值是特征值的平方根:\sigma_1 = \sqrt{3}, \sigma_2 = 1

第三步,求出AA^T的特征向量U:

U = \begin{pmatrix} \frac{1}{\sqrt{6}} & \frac{1}{\sqrt{2}} &\frac{1}{\sqrt{3}} \\ \frac{2}{\sqrt{6}} &0 &-\frac{1}{\sqrt{3}} \\ \frac{1}{\sqrt{6}} & -\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{3}} \end{pmatrix}

所以矩阵A的奇异值分解为:

A = U\Sigma V^T = \begin{pmatrix} \frac{1}{\sqrt{6}} & \frac{1}{\sqrt{2}} &\frac{1}{\sqrt{3}} \\ \frac{2}{\sqrt{6}} &0 &-\frac{1}{\sqrt{3}} \\ \frac{1}{\sqrt{6}} & -\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{3}} \end{pmatrix} \begin{pmatrix} \sqrt{3} & 0\\ 0&1 \\ 0& 0 \end{pmatrix} \begin{pmatrix} \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}}\\ -\frac{1}{\sqrt{2}} &\frac{1}{\sqrt{2}} \end{pmatrix}

 SVD的功能

1.行降维和列降维

2.数据压缩

几何解释

奇异值分解(SVD)例子+功能_第1张图片

 

你可能感兴趣的:(线性代数,矩阵,机器学习)