主成分分析 PCA

程序示例均为PCA进行人脸图像分析时所用matlab代码

主成分分析PPT

一、主成分分析基本思想

简单的用一个例子来说明主成分分析的基本思想：在服装定性研究中，有人对成年男人的体型，按16项指标进行了测量，经过主成分分析后，最终确定了身长、胸围、肩宽3个主成分作为定性依据，从而使得定性工作简单易行。

二、需要了解的知识

1.对称矩阵

2.正交矩阵

如果：AA'=E（E为单位矩阵，A'表示“矩阵A的转置矩阵”。）或A′A=E，则n阶实矩阵 A称为正交矩阵， 若A为正交阵。

3.内积

他是一种矢量运算，但其结果为某一数值，并非向量。

设矢量A=[a1,a2,...an]，B=[b1,b2...bn]，则矢量A和B的内积表示为：

A·B＝a1×b1＋a2×b2＋……＋an×bn

A·B = |A| × |B| × cosθ

|A|=(a1^2+a2^2+...+an^2)^(1/2);

|B|=(b1^2+b2^2+...+bn^2)^(1/2).

其中，|A| 和 |B| 分别是向量A和B的模，是θ向量A和向量B的夹角（θ∈[0,π]）。

若B为单位向量，即 |B|=1时，A·B= |A| × cosθ，表示向量A在B方向的投影长度。

向量A为单位向量时同理。

4.协方差矩阵

定义是变量向量减去均值向量，然后乘以变量向量减去均值向量的转置再求均值。例如x是变量，μ是均值，协方差矩阵等于E[(x-μ)(x-μ)^t]，物理意义是这样的，例如x=（x1,x2,...,xi）那么协方差矩阵的第m行n列的数为xm与xn的协方差，若m=n，则是xn的方差。如果x的元素之间是独立的，那么协方差矩阵只有对角线是有值，因为x独立的话对于m≠n的情况xm与xn的协方差为0。另外协方差矩阵是对称的。一般多变量分布的时候（例如多元高斯分布）会用到协方差矩阵，工程上协方差矩阵也用来分析非确定性平稳信号的性质以及定义非确定性向量的距离（马哈拉诺比斯范数）。

例如：

imgdata=imgdata';  %每一列为一张图片
imgmean=mean(imgdata,2); % 平均图片，N维列向量
for i=1:200
    minus(:,i) = imgdata(:,i)-imgmean; % minus是一个N*M矩阵，是训练图和平均图之间的差值
end;

covx=minus'* minus;   % M * M 阶协方差矩阵

根据红色字体部分，以人脸图像处理作为例子来理解，N幅图像，每幅图像有PT个像素，所以组成了一个N*PT的矩阵，对这个矩阵进行协方差矩阵计算时，也就是计算了每幅图像对应像素的方差，也就是图像的相似度。

5.主成分分析的数学模型

主成分分析的数学模型是，设p个变量构成的p维随机向量为X = （X1，…，Xp）′。对X作正交变换，令Y = T′X，其中T为正交阵，要求Y的各分量是不相关的，并且Y的第一个分量的方差是最大的，第二个分量的方差次之，……，等等。为了保持信息不丢失，Y的各分量方差和与X的各分量方差和相等。

三、如何利用主成分分析进行综合评价

对主成分进行加权综合。我们利用主成分进行综合评价时，主要是将原有的信息进行综合，因此，要充分的利用原始变量提供的信息。将主成分的权数根据它们的方差贡献率来确定，因为方差贡献率反映了各个主成分的信息含量多少。

 

待续……