Eigenface算法，PCA数学理论，协方差

PCA原理：

主成分分析 （ Principal Component Analysis ， PCA ）是一种掌握事物主要矛盾的统计分析方法，它可以从多元事物中解析出主要影响因素，揭示事物的本质，简化复杂的问题。计算主成分的目的是将高纬数据投影到较低维空间。给定 n 个变量的 m个观察值，形成一个 n *m 的数据矩阵，n通常比较大。对于一个由多个变量描述的复杂事物，认识难度会很大，于是我们可以抓住事物主要方面进行重点分析，如果事物的主要方面刚好体现在几个主要变量上，那么我们只需要将体现事物主要方面的较少的几个主要变量分离出来，对此进行详细分析。但是，在一般情况下，并不能直接找出这样的关键变量。这时我们可以用原有变量的线性组合来表示事物的主要方面， PCA 就是这样一种分析方法。

具体的步骤：

1. 把原始数据中每个样本用一个向量表示，然后把所有样本组合起来构成一个矩阵。当然了，为了避免样本的单位的影响，样本集需要标准化。

2. 求该矩阵的协防差矩阵（关于协方差的介绍可以参考下面）。

3. 求步骤2中得到的协方差矩阵的特征值和特征向量。

4. 将求出的特征向量按照特征值的大小进行组合形成一个映射矩阵，并根据指定的PCA保留的特征个数取出映射矩阵的前n行或者前n列作为最终的映射矩阵。

5. 用步骤4的映射矩阵对原始数据进行映射，达到数据降维的目的

协方差矩阵：

在统计学与概率论中，协方差矩阵（covariance matrix）是一个矩阵，其每个元素是各个向量元素之间的协方差。协方差矩阵能导出一个变换矩阵，这个矩阵能使数据完全去相关（decorrelation），它是从标量随机变量到高维度随机向量的自然推广。在图像处理中称为Karhunen-Loève变换(KL-变换)。

      首先要清楚一般出现协方差矩阵时就会出现多维列向量，这里假设为n维，另外既然有协方差字眼，那肯定是一个随机变量。这里假设有d个随机变量x1，x2,x3,…,xd,只不过每个随机变量x又是由n个标量组成的列向量。简单的理解就是说在n维空间中有d个随机的点。现在我们需要求的是关于n维空间中这d个点的协方差矩阵。

      用uk列向量表示d个点的平均值，uk中的每一个元素对应d个点中相应维数的平均数。并且μk是其第k个元素的期望值。即，μk=E[X]；所以协方差矩阵为n*n维的。其每个元素的计算公式如下：

      

　　（这个公式是从百度百科上截的，貌似这里的X1，X2，...，Xn和我上面描述的不同，该公式里面指的是由每一维的d个值构成的向量...不管怎样，该博客中文字的描述是正确的）

      其数学含义是协方差矩阵的第i行第j列的元素表示为，d个随机变量点中的第i维和第j维的协方差。因为每一维的d个数都可以看做算是一维空间中的d个实数，因此它有自己的平均数和方差，每2维之间也就有协方差。

      希望以后不要再卡住了！

Eigenface算法：

在利用PCA进行特征提取的算法中，特征脸方法(Eigenface)是其中的一个经典算法。特征脸方法是从主成分分析导出的一种人脸识别和描述技术。特征脸方法就是将包含人脸的图像区域看作是一种随机向量，因此可以采用K-L变换获得其正交K-L基底。对应其中较大特征值的基底具有与人脸相似的形状，因此又称为特征脸。利用这些基底的线性组合可以描述、表达和逼近人脸图像，因此可以进行人脸识别与合成。识别过程就是将人脸图像映射到由特征脸构成的子空间上，比较其与己知人脸在特征空间中的位置，具体步骤如下：

　　(1)初始化，获得人脸图像的训练集并计算特征脸，定义为人脸空间，存储在模板库中，以便系统进行识别；

　　(2)输入新的人脸图像，将其映射到特征脸空间，得到一组关于该人脸的特征数据；

　　(3)通过检查图像与人脸空间的距离判断它是否是人脸；

　　(4)若为人脸，根据权值模式判断它是否为数据库中的某个人，并做出具体的操作。

实验说明：

　　在本次实验实现的过程中，需要用到opencv的这些函数，下面简单介绍下这些函数。

　　Mat Mat::reshape(int cn, int rows=0) const

　　该函数是改变Mat的尺寸，即保持尺寸大小=行数*列数*通道数 不变。其中第一个参数为变换后Mat的通道数，如果为0，代表变换前后通道数不变。第二个参数为变换后Mat的行数，如果为0也是代表变换前后通道数不变。但是该函数本身不复制数据（这点不是很理解，调用一个Mat的reshape，如果我们不把调用后的Mat做为返回值去用，难道此时调用前的Mat一点变化都没有？）。

 　　void Mat::convertTo(OutputArray m, int rtype, double alpha=1, double beta=0 ) const

　　该函数其实是对原Mat的每一个值做一个线性变换。参数1为目的矩阵，参数2为目d矩阵的类型，参数3和4变换的系数，看完下面的公式就明白了：

　　

  PCA::PCA(InputArray data, InputArray mean, int flags, int maxComponents=0)

　　该构造函数的第一个参数为要进行PCA变换的输入Mat；参数2为该Mat的均值向量；参数3为输入矩阵数据的存储方式，如果其值为CV_PCA_DATA_AS_ROW则说明输入Mat的每一行代表一个样本，同理当其值为CV_PCA_DATA_AS_COL时，代表输入矩阵的每一列为一个样本；最后一个参数为该PCA计算时保留的最大主成分的个数。如果是缺省值，则表示所有的成分都保留。

  Mat PCA::project(InputArray vec) const

　　该函数的作用是将输入数据vec(该数据是用来提取PCA特征的原始数据)投影到PCA主成分空间中去，返回每一个样本主成分特征组成的矩阵。因为经过PCA处理后，原始数据的维数降低了，因此原始数据集中的每一个样本的维数都变了，由改变后的样本集就组成了本函数的返回值。

  Mat PCA::backProject(InputArray vec) const

　　一般调用backProject（）函数前需调用project()函数，因为backProject()函数的参数vec为经过PCA投影降维过后的矩阵。 因此backProject()函数的作用就是用vec来重构原始数据集（关于该函数的本质数学实现暂时还不是很了解）。

　　另外PCA类中还有几个成员变量，mean,eigenvectors, eigenvalues等分别对应着原始数据的均值，协方差矩阵的特征值和特征向量。

本次实验是用4个人人脸图像，其中每个人分别有5张，共计20张人脸图片。用这些图片组成原始数据集来提取他们的PCA主特征脸。该20张图片如下所示：

　　

 

　　当运行软件后，单击start按钮，该程序的结果显示如下：

　　 

　　其中第一行的3张人脸分别为20张原图中的3张，这里取的是3个不同人的。

　　第二行中显示的3张人脸分别为第一行中人脸经过PCA投影后，又方向投影过来的人脸图像，仔细观察可以看到第二行的人脸图像整体比第一行的亮度上要亮些，且细节上也有所不同。

　　第3行的人脸图为取的原始数据协方差矩阵特征向量的最前面3个，因此这3个人脸为最具代表人脸特征的3个PCA人脸特征。

代码：

#ifndef PCAFACE_H
#define PCAFACE_H
#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/imgproc/imgproc.hpp>


using namespace cv;


#include <QDialog>


namespace Ui {
class PCAFace;
}


class PCAFace : public QDialog
{
    Q_OBJECT
    
public:
    explicit PCAFace(QWidget *parent = 0);
    ~PCAFace();


    Mat normalize(const Mat& src);


    
protected:
    void changeEvent(QEvent *e);
    
private slots:
    void on_startButton_clicked();


    void on_closeButton_clicked();


private:
    Ui::PCAFace *ui;
    Mat src_face1, src_face2, src_face3;
    Mat project_face1, project_face2, project_face3;
    Mat dst;
    Mat pca_face1, pca_face2, pca_face3;
    vector<Mat> src;
    int total;
};


#endif // PCAFACE_H

pcaface.cpp

#include "pcaface.h"
#include "ui_pcaface.h"
#include <QString>
#include <iostream>
#include <stdio.h>


using namespace std;


PCAFace::PCAFace(QWidget *parent) :
    QDialog(parent),
    ui(new Ui::PCAFace)
{
    ui->setupUi(this);
    src_face1 = imread("./images/1.pgm", 0);
    //下面的代码为设置图片显示区域自适应图片的大小
    ui->face1Browser->setFixedHeight(src_face1.rows+1);
    ui->face1Browser->setFixedWidth(src_face1.cols+1);
    ui->face2Browser->setFixedHeight(src_face1.rows+1);
    ui->face2Browser->setFixedWidth(src_face1.cols+1);
    ui->face3Browser->setFixedHeight(src_face1.rows+1);
    ui->face3Browser->setFixedWidth(src_face1.cols+1);


    ui->face4Browser->setFixedHeight(src_face1.rows+1);
    ui->face4Browser->setFixedWidth(src_face1.cols+1);
    ui->face5Browser->setFixedHeight(src_face1.rows+1);
    ui->face5Browser->setFixedWidth(src_face1.cols+1);
    ui->face6Browser->setFixedHeight(src_face1.rows+1);
    ui->face6Browser->setFixedWidth(src_face1.cols+1);


    ui->face7Browser->setFixedHeight(src_face1.rows+1);
    ui->face7Browser->setFixedWidth(src_face1.cols+1);
    ui->face8Browser->setFixedHeight(src_face1.rows+1);
    ui->face8Browser->setFixedWidth(src_face1.cols+1);
    ui->face9Browser->setFixedHeight(src_face1.rows+1);
    ui->face9Browser->setFixedWidth(src_face1.cols+1);


    for(int i = 1; i <= 15; i++)
    {
        stringstream ss;
        string num;
        ss<<i;//将整数i读入字符串流
        ss>>num;//将字符串流中的数据传入num，这2句代码即把数字转换成字符
        string image_name = ("./images/" + num + ".pgm");//需要读取的图片全名
        src.push_back(imread(image_name, 0));
    }
    total= src[0].rows*src[0].cols;
}


PCAFace::~PCAFace()
{
    delete ui;
}


void PCAFace::changeEvent(QEvent *e)
{
    QDialog::changeEvent(e);
    switch (e->type()) {
    case QEvent::LanguageChange:
        ui->retranslateUi(this);
        break;
    default:
        break;
    }
}


//将Mat内的内容归一化到0～255，归一化后的类型为但通道整型
Mat PCAFace::normalize(const Mat& src) {
    Mat srcnorm;
    cv::normalize(src, srcnorm, 0, 255, NORM_MINMAX, CV_8UC1);
    return srcnorm;
}




void PCAFace::on_startButton_clicked()
{
    //先显示3张原图
    ui->face1Browser->append("<img src=./images/1.pgm>");
    ui->face2Browser->append("<img src=./images/7.pgm>");
    ui->face3Browser->append("<img src=./images/14.pgm>");


    //mat数组用来存放读取进来的所有图片的数据，其中mat的每一列对应1张图片，该实现在下面的for函数中
    Mat mat(total, src.size(), CV_32FC1);
    for(int i = 0; i < src.size(); i++)
    {
        Mat col_tmp = mat.col(i);
        src[i].reshape(1, total).col(0).convertTo(col_tmp, CV_32FC1, 1/255.);
    }
    int number_principal_compent = 12;//保留最大的主成分数
    //构造pca数据结构
    PCA pca(mat, Mat(), CV_PCA_DATA_AS_COL, number_principal_compent);
    //pca.eigenvectors中的每一行代表输入数据协方差矩阵一个特征向量，且是按照该协方差矩阵的特征值进行排序的
    pca_face1 = normalize(pca.eigenvectors.row(0)).reshape(1, src[0].rows);//第一个主成分脸
    imwrite("./result/pca_face1.jpg", pca_face1);//显示主成分特征脸1
    ui->face7Browser->append("<img src=./result/pca_face1.jpg>");


    pca_face2 = normalize(pca.eigenvectors.row(1)).reshape(1, src[0].rows);//第二个主成分脸
    imwrite("./result/pca_face2.jpg", pca_face2);//显示主成分特征脸2
    ui->face8Browser->append("<img src=./result/pca_face2.jpg>");


    pca_face3 = normalize(pca.eigenvectors.row(2)).reshape(1, src[0].rows);//第三个主成分脸
    imwrite("./result/pca_face3.jpg", pca_face3);//显示主成分特征脸3
    ui->face9Browser->append("<img src=./result/pca_face3.jpg>");


    //将原始数据通过PCA方向投影，即通过特征向量的前面几个作用后的数据，因此这里的dst的尺寸变小了
    dst = pca.project(mat);
    //通过方向投影重构原始人脸图像(其本质暂时还没完全弄明白)
    project_face1 = normalize(pca.backProject(dst).col(0)).reshape(1, src[0].rows);
    imwrite("./result/project_face1.jpg", project_face1);
    ui->face4Browser->append("<img src=./result/project_face1.jpg>");


    project_face2 = normalize(pca.backProject(dst).col(6)).reshape(1, src[0].rows);
    imwrite("./result/project_face2.jpg", project_face2);
    ui->face5Browser->append("<img src=./result/project_face2.jpg>");


    project_face3 = normalize(pca.backProject(dst).col(13)).reshape(1, src[0].rows);
    imwrite("./result/project_face3.jpg", project_face3);
    ui->face6Browser->append("<img src=./result/project_face3.jpg>");
}


void PCAFace::on_closeButton_clicked()
{
    close();
}

main.cpp

#include <QApplication>
#include "pcaface.h"


int main(int argc, char *argv[])
{
    QApplication a(argc, argv);
    PCAFace w;
    w.show();
    
    return a.exec();
}