SVD奇异值分解通俗理解-机器学习学习笔记

概念引入

矩阵A的大小为m*n
如图以此类推
图中的∑为S，S是对角阵(只有对角阵上是有元素的)

以图上的矩阵A为例，我们可以将他分成三个矩阵相乘的形式

先在X轴上做变换

这是在X,Y轴上同时做了变换

特征值越大，对变换的影响也就越大，比如上图中的蓝色箭头，是图中以几何形式影响最大的特征值

不是所有的特征值都要处理，那样会使得情况无穷无尽(试想一下把矩阵A分成N种情况)，我们挑选影响较大的就可以了，在上图中，就表现为把前r个特征值表现出来，经过这样的分解，我们成功把矩阵A分成了三块，它的几何形状由上图中的颜色表示

简介

奇异值分解（SVD, singular value decomposition）是线性代数中一种重要的矩阵分解，在信号处理、统计学等领域有重要应用。奇异值分解在某些方面与对称矩阵或厄米矩阵基于特征向量的对角化类似。

SVD是在机器学习领域广泛应用的算法，它不光可以用于降维算法中的特征分解，还可以用于推荐系统，以及自然语言处理等领域，是很多机器学习算法的基石。总的来说就是跟数据有关的地方，都会有SVD身影。

公式表达

一个非方矩阵
经过SVD分解后由3个矩阵相乘来表示，如下图所示。其中

其中 U 是 nn 阶酉矩阵，也是左奇异向量矩阵；∑是 nd 阶非负实数对角矩阵；而V*，即V的共轭转置，是n*n 阶酉矩阵，又叫右奇异矩阵。这样的分解就称作 矩阵A 的奇异值分解， 矩阵∑ 对角线上的元素即为矩阵A的奇异值。

可以发现

和

也是酉矩阵，我们利用方阵的特征值分解，得到的特征矩阵即为U然后得到 V ；再
对中的特征值开方操作，可以的到所有的奇异值，这样做的意义在于，在几何上以特征值的形式把影响该矩阵的变化因素给表达了出来(参考概念引入中的蓝色箭头)。进一步，我们能获取影响该矩阵的主要变化因素，起到了提取这个因素并且降维的目的

SVD目前的主要应用领域在于图像处理(将图像降维)与推荐系统(获取影响用户点击的主要标签/因素)