主成分分析（PCA）及其MATLAB的实现方法
出处：
作者：远方的路很长
链接：https://zhuanlan.zhihu.com/p/501353361
概述
PCA的目的
PCA的几何意义
原理与步骤简述
算法一：特征分解（Eigen Decomposition）
算法二：奇异值分解（Singular Value Decomposition，SVD）
r rr的选取标准
两种算法的比较
MATLAB的实现方法
特征分解法：利用`eig`函数
SVD法：利用`svd`函数
利用`pca`函数
应用
聚类分析
图像压缩
人脸检测与匹配
1概述
2PCA的目的
假设现在有这样一个情景：现在要统计并可视化分析男大学生体测成绩，如果只参考立定跳远和1000m成绩两项指标，我们可以以立定跳远成绩作为x xx轴，1000m成绩作为y yy轴做出散点图，每个点代表一个学生；若统计三项指标，我们也可以在三维空间中做出散点图；但如果要统计四项乃至更多的指标，我们就无法再以此方法进行数据的可视化。
而主成分分析（Principal Component Analysis，PCA）的方法，可以将具有多个观测变量的高维数据集降维，使人们可以从事物之间错综复杂的关系中找出一些主要的方面，从而能更加有效地利用大量统计数据进行定量分析，并可以更好地进行可视化、回归等后续处理。
3PCA的几何意义
即
式中W \boldsymbol WW为旋转变换矩阵，有如下性质：
也就是说，PCA并不会对原有数据做任何的改变，而只是将“观看”原有数据的视角转换了，即，在原有数据空间中的数据的相对位置，与在主成分空间（Principal Component Space）中的相对位置是完全相同的，相当于只是更换了原有数据的基底。
4原理与步骤简述
算法一：特征分解（Eigen Decomposition）
1.先对A 进行中心化（整体平移数据，使数据中心在( 0 , 0 ) ：
5两种算法的比较
6MATLAB的实现方法
我们先载入MATLAB自带的数据集fisheriris（该数据集统计了三种鸢尾花的花萼长、花萼宽、花瓣长、花瓣宽），然后进行中心化处理，并计算协方差矩阵：
load fisheriris;
X = meas; % n = 150, m = 4
% 中心化
meanX = ones(size(X,1), 1) * mean(X);
centredX = X - meanX;
C = cov(centredX); % 直接调用cov直接计算协方差矩阵即可
征分解法：利用eig函数
[W, Lambda] = eig(C); % W是特征向量组成的矩阵（4×4），Lambda是特征值组成的对角矩阵
ev = (diag(Lambda))'; % 提取特征值
ev = ev(:, end:-1:1); % eig计算出的特征值是升序的，这里手动倒序（W同理）
W = W(:, end:-1:1);
sum(W.*W, 1) % 可以验证每个特征向量各元素的平方和均为1
Wr = W(:, 1:2); % 提取前两个主成分的特征向量
Tr = centredX * Wr; % 新坐标空间的数据点
% 作图
figure;
stairs(cumsum(ev)/sum(ev), 'LineWidth',1.5);
axis([1 4 0 1]);
xlabel('kk', 'Interpreter', 'latex');
ylabel('f(k)=∑ii=1λk∑mi=1λif(k)=∑i=1iλk∑i=1mλi',...
'Interpreter', 'latex');
hold on;
plot([1 4], [0.95 0.95], '--'); % 从图中可以看出，取r = 2即可
figure;
scatter(Tr(:,1), Tr(:,2), 130, categorical(species), '.');
colormap(winter);
xlabel('Principal Component 1');
ylabel('Principal Component 2');
SVD法：利用svd函数
[U, Sigma, V] = svd(X); % 可以检验，W和V完全相同（向量的正负号不影响）
Vr = V(:, 1:2); % 提取前两个主成分的特征向量
Tr = X * Vr; % 新坐标空间的数据点
% 画图部分同上，略
利用pca函数
pca的常用调用格式如下：
[loadings, scores] = pca(X, 'NumComponents', r);
其中：
[Wr, Tr, ev] = pca(X, 'NumComponents',2);
% 画图部分略
应用
聚类分析
例如，我们在电商平台浏览并购买商品时，平台就会收集你的年龄、性别、购买商品平均价格、购买频率、最初浏览商品直到最终购买之间的时间间隔等等大量、多维度的信息，然后进行降维，将你归于“大学生”“白领”“一家三口”等类别，然后定向为你推送促销商品的通知。
图像压缩
