PCA与SVD

PCA流程:

PCA与SVD_第1张图片

 

当数据维度大时,构建协方差矩阵并求其特征值、特征向量会导致计算量大。所以可以利用SVD求解。

PCA算法的优化目标就是: 

  ①降维后同一维度的方差最大。

  ②不同维度之间的相关性为0。

根据线性代数,我们可以知道同一元素的协方差就表示该元素的方差,不同元素之间的协方差就表示它们的相关性。

特征值越大,说明矩阵在对应的特征向量上的方差越大 ,功率越大,信息量越多。

SVD原理:

PCA与SVD_第2张图片

 

你可能感兴趣的:(机器学习,人工智能)