奇异值分解(SVD)

        PCA的实现一般有两种 :一种是用特征值分解去实现的,一种是用奇异值分解去实现的。特征值分解和奇异值分解的目的都是一样,就是提取出一个矩阵最重要的特征。

一、特征分解

奇异值分解(SVD)_第1张图片

        一个矩阵就相当于一个线性变换,因为一个矩阵乘以一个向量后得到的向量,其实就相当于将这个向量进行了线性变换。

        分解得到的Σ矩阵是一个对角阵,里面的特征值是由大到小排列的,表示的是这个特征到底有多重要,这些特征值所对应的特征向量就是描述这个特征是什么(从主要的变化到次要的变化排列)。

二、奇异值分解

奇异值分解(SVD)_第2张图片
奇异值分解(SVD)_第3张图片
奇异值分解(SVD)_第4张图片

SVD的性质:

奇异值分解(SVD)_第5张图片

SVD计算举例:

奇异值分解(SVD)_第6张图片

参考文章:奇异值的物理意义是什么?

奇异值分解(SVD)原理与在降维中的应用

你可能感兴趣的:(奇异值分解(SVD))