奇异值分解

奇异值分解(Singular Value Decomposition,以下简称SVD)是在机器学习领域广泛应用的算法,它不光可以用于降维算法中的特征分解,还可以用于推荐系统,以及自然语言处理等领域。是很多机器学习算法的基石。本文就对SVD的原理做一个总结,并讨论在在PCA降维算法中是如何运用运用SVD的。

SVD作为一个很基本的算法,在很多机器学习算法中都有它的身影,特别是在现在的大数据时代,由于SVD可以实现并行化,因此更是大展身手。SVD的原理不难,只要有基本的线性代数知识就可以理解,实现也很简单因此值得仔细的研究。当然,SVD的缺点是分解出的矩阵解释性往往不强,有点黑盒子的味道,不过这不影响它的使用。

1. 特征值分解

奇异值分解_第1张图片

2. SVD定义

奇异值分解_第2张图片

奇异值分解_第3张图片

3. SVD计算举例

奇异值分解_第4张图片

4. SVD的一些性质

奇异值分解_第5张图片

5. PCA中的SVD

奇异值分解_第6张图片

6. 奇异值的物理意义

奇异值分解_第7张图片

奇异值分解_第8张图片

奇异值分解_第9张图片

奇异值分解_第10张图片

奇异值分解_第11张图片

奇异值分解_第12张图片

奇异值分解_第13张图片

奇异值分解_第14张图片

奇异值分解_第15张图片

奇异值分解_第16张图片

奇异值分解_第17张图片

奇异值分解_第18张图片

7. 投影矩阵

奇异值分解_第19张图片

8. 参考

  • 奇异值分解(SVD)原理与在降维中的应用
    https://www.cnblogs.com/pinard/p/6251584.html
  • 奇异值的物理意义是什么? - 郑宁的回答 - 知乎
    https://www.zhihu.com/question/22237507/answer/53804902

你可能感兴趣的:(奇异值分解)