PCA知乎学习

奇异值的物理意义（图片来源）

物理意义是需要结合具体场景来说的，比如在图像领域，图片是一个像素矩阵吧！是矩阵的话就可以特征值分解的吧！分解之后就是这样子的，σ是奇异值，假设已按从大到小排列：

令

[图片上传失败...(image-8dad1c-1515324279480)]

这只保留(1)中等式右边第一项，然后作图：

结果就是完全看不清是啥(是不是就是傅立叶分解里面的低频部分！完全是一毛一样呀！！！)我们试着多增加几项进来（取20项的时候，基本可见了）：

矩阵A表示一个450*333的矩阵，需要保存450* 333=149850个元素的值。等式右边u和v分别是450*1和333*1的向量，每一项有1+450+333=784个元素。如果我们要存储很多高清的图片，而又受限于存储空间的限制，在尽可能保证图像可被识别的精度的前提下，我们可以保留奇异值较大的若干项，舍去奇异值较小的项即可。例如在上面的例子中，如果我们只保留奇异值分解的前50项，则需要存储的元素为784*50=39200，和存储原始矩阵A相比，存储量仅为后者的26%。

下面可以回答题主的问题：奇异值往往对应着矩阵中隐含的重要信息，且重要性和奇异值大小正相关。每个矩阵A都可以表示为一系列秩为1的“小矩阵”之和，而奇异值则衡量了这些“小矩阵”对于A的权重。

好了到这里我们知道了，奇异值其实就类似于傅立叶里面的谐波系数，代表的是信号的强度；那么我们想想信号处理里面是如何滤波的？先把一个原始信号转成傅立叶形式，然后把需要去掉的频率系数去掉，然后逆变换回来时域波形,我们这里图像的操作是不是也一样的！！！先奇异值分解，然后按大到小排列奇异值，然后把小的去掉，然后再返回来重构图片，完全一样嘛！

我们看个实例：

这是一张含有噪声的图片，除了黑色那圈其余的都是白色的，也就是说那些灰色的方块就是噪声，通过奇异值分解，我们发现矩阵的奇异值从大到小分别为：14.15，4.67，3.00，0.21，……，0.05。除了前3个奇异值较大以外，其余奇异值相比之下都很小。强行令这些小奇异值为0，然后只用前3个奇异值构造新的矩阵，得到：

可以明显看出噪声减少了（白格子上灰白相间的图案减少了）。

小结：好了我们知道在图像领域是如何通过奇异值来进行去噪了，那么我们反过来想一下，假如我知道了主成份，然后新的测试样本来的时候发现其主成份很少，而次要成分的奇异值很大，那么就可以判断他是异常值了，从这点看是不是跟上面的高斯分布是有点像呢？高斯分布单单就出现的概率做估计，主成份分析是以主成份出现的概率做估计的，比高斯多了个主成份，也就是更进一步地抓住了问题的本质。