PAC主成分分析算法原理讲解

文章目录

  • pca主成分分析算法原理讲解
    • 一、基础概念
      • 1、方差:
    • 二、PCA讲解
      • 1、概念由来
      • 2、评价指标的确定
        • 问题一:谁是优化目标
        • 问题二:上述当上述二维的情况变为多维时,优化目标又是啥?
        • 问题三:如何求得一个矩阵P,使得满足上面要求?

pca主成分分析算法原理讲解

1、PCA算法 - 桂。 - 博客园
https://www.cnblogs.com/xingshansi/p/6445625.html

2、
https://zhuanlan.zhihu.com/p/32412043

一、基础概念

1、方差:

PAC主成分分析算法原理讲解_第1张图片

二、PCA讲解

1、概念由来

PAC主成分分析算法原理讲解_第2张图片

PAC主成分分析算法原理讲解_第3张图片
PAC主成分分析算法原理讲解_第4张图片

PAC主成分分析算法原理讲解_第5张图片
PAC主成分分析算法原理讲解_第6张图片

2、评价指标的确定

问题一:谁是优化目标

经过上述讲解,知道了,pca的本质是从一个空间映射到另一个空间,以达到降为的目的,减少计算量。但是怎样在达到降为的目的的同时,还能够保存原有数据的大多数特征呢?
PAC主成分分析算法原理讲解_第7张图片
PAC主成分分析算法原理讲解_第8张图片

问题二:上述当上述二维的情况变为多维时,优化目标又是啥?

问题一中,在二维降到一维的情况下,可以把问题 转化为 新生成的数据“方差大小问题”,但是在多维的情况下呢?这里就要引出协方差的概念了。
协方差:
PAC主成分分析算法原理讲解_第9张图片
好了,重点来了:
Y=PX
——P是新的空间的基
——X是原数据
——Y是新生成的数据矩阵,也就是降维后提取出来的特征,每个行向量代表一个特征;
要想说这些特征提取的好,每个特征都是线性独一无二的,则每个特征之间应该是线性无关,也就是协方差==0,那该怎样得到这样一批线性无关向量呢?这就又引出了 协方差矩阵,可以使用协方差矩阵解决这个问题。
eg:
PAC主成分分析算法原理讲解_第10张图片
PAC主成分分析算法原理讲解_第11张图片
所以,最终问题就转化为矩阵Y的协方差矩阵对角化:
PAC主成分分析算法原理讲解_第12张图片

问题三:如何求得一个矩阵P,使得满足上面要求?

1、首先还得再讲一个线性代数的性质: 对称矩阵对角化
https://zhuanlan.zhihu.com/p/34896186
PAC主成分分析算法原理讲解_第13张图片
2、由上述性质可知,P*P的转置矩阵为 单位矩阵 E。
故最终优化优化目标可以写为:

PAC主成分分析算法原理讲解_第14张图片

最后总结PCA算法流程:
PAC主成分分析算法原理讲解_第15张图片

你可能感兴趣的:(深度学习各种积累,PCA主成分,机器学习)