SVD的几何意义和公式推导

关于SVD的理解网上有很多写的不错的博客,选择几篇个人觉得总结得很好的在这里mark一下,以方便后续继续学习。如有侵权,请联系博主删除!

SVD的通俗理解:将一个比较复杂的矩阵用更小更简单的3个小矩阵的相乘来表示,这三个小矩阵描述了矩阵的重要特性。

1. SVD的几何意义

参考博客园:https://www.cnblogs.com/lzllovesyl/p/5243370.html

1)给向量左乘一个对角矩阵,相当于对这个向量的长度进行了缩放,此处坐标轴并没有发生变化

2)给向量左乘一个对称矩阵,相当于对这个向量的长度进行了缩放,并且对坐标轴也进行了旋转

3)给向量左乘一个普通矩阵,总能找到一组正交的坐标轴来表示该向量,这组坐标轴是由原来的坐标轴通过缩放和旋转得到。

【以下图片来源于:https://www.cnblogs.com/lzllovesyl/p/5243370.html】

SVD的几何意义和公式推导_第1张图片

SVD的几何意义和公式推导_第2张图片

SVD的几何意义和公式推导_第3张图片

SVD的几何意义和公式推导_第4张图片

SVD的几何意义和公式推导_第5张图片

SVD的几何意义和公式推导_第6张图片

2. SVD的公式推导

参考博客园:https://www.cnblogs.com/pinard/p/6251584.html

1)与特征值分解不同,SVD不要求矩阵为方阵。对于m×n的矩阵A,SVD分解定义为:

SVD的几何意义和公式推导_第7张图片

2)三个子矩阵的求解

SVD的几何意义和公式推导_第8张图片

3. 基于SVD的数据降维

SVD的几何意义和公式推导_第9张图片

4. 基于SVD的PCA变换

PCA变换的实质是对矩阵的协方差矩阵X'X进行特征值分解的,而SVD的右奇异向量V正好是对X'X的特征分解

SVD的几何意义和公式推导_第10张图片



你可能感兴趣的:(Machine,Learning)