基于统计方法的分类——主成分分析法

本文参考于http://wiki.mbalib.com/wiki/%E4%B8%BB%E6%88%90%E5%88%86%E5%88%86%E6%9E%90%E6%B3%95
一、什么是主成分分析法
主成分分析也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。
　　在统计学中，主成分分析（principal components analysis,PCA）是一种简化数据集的技术。它是一个线性变换。主成分分析经常用减少数据集的维数，同时保持数据集的对方差贡献最大的特征。这是通过保留低阶主成分，忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面。但是，这也不是一定的，要视具体应用而定。
二、主成分分析法的基本原理
主成分分析法是一种降维的统计方法，它借助于一个正交变换，将其分量相关的原随机向量转化成其分量不相关的新随机向量，这在代数上表现为将原随机向量的协方差阵变换成对角形阵，在几何上表现为将原坐标系变换成新的正交坐标系，使之指向样本点散布最开的p 个正交方向，然后对多维变量系统进行降维处理，使之能以一个较高的精度转换成低维变量系统，再通过构造适当的价值函数，进一步把低维系统转化成一维系统。
三、主成分分析法的计算步骤
主成分变换PCA在数学上定义为将数据变换到新坐标系中的正交线性变换，使得这一数据的任何投影的第一方差在第一个坐标（第一主成分）上，第二大方差在第二个坐标（第二主成分上）

1）分别计算n个通道的均值和方差

2）生成n个通道对应的n*n的协方差矩阵

3）求该协方差矩阵的特征值和特征向量，特征向量即为主成分分量、特征值为其对应的权值

4）根据实际需要，选取前m（m<=n）个主成分进行主成分变换