PCA方法及其应用

主成分分析(Principal Component Analysis, PCA)是最常用的一种降维方法，通常用于高维数据集的探索和可视化，还可以用作数据压缩和预处理等。
PCA可以把具有相关性的高维变量合成为线性无关的低维变量，称为主成分。主成分能够尽可能保留原始数据的信息。

主成分分析相关术语：
方差、协方差、协方差矩阵、特征向量和特征值

image.png

image.png

image.png

原理：矩阵的主成分就是其协方差对应 特征向量，按照的特征值大小进行排序，最就是第一主成分其次二成分，以此类推。
主成分分析-算法过程

image.png

image.png

image.png

image.png

image.png

image.png

image.png

image.png

image.png

sklearn中主成分分析
在sklearn中，可以使用sklearn.decomposition.PCA加载PCA进行降维，主要参数有：
n_components:指定主成分的个数，即降维后数据的维度
svd_solver: 设置特征值分解的方法，默认为'auto'，其他可选有'full','arpack','randomized'

image.png

image.png

image.png

image.png

image.png

image.png

import matplotlib.pyplot as plt
from sklearn.decomposition import PCA
from sklearn.datasets import load_iris
 
data = load_iris()
y = data.target
X = data.data
pca = PCA(n_components=2)
reduced_X = pca.fit_transform(X)
 
red_x, red_y = [], []
blue_x, blue_y = [], []
green_x, green_y = [], []

for i in range(len(reduced_X)):
    if y[i] == 0:
        red_x.append(reduced_X[i][0])
        red_y.append(reduced_X[i][1])
    elif y[i] == 1:
        blue_x.append(reduced_X[i][0])
        blue_y.append(reduced_X[i][1])
    else:
        green_x.append(reduced_X[i][0])
        green_y.append(reduced_X[i][1])
 
plt.scatter(red_x, red_y, c='r', marker='x')
plt.scatter(blue_x, blue_y, c='b', marker='D')
plt.scatter(green_x, green_y, c='g', marker='.')
plt.show()

image.png

可以看出，降维后的数 据仍能够清晰地分成三类。这样不仅能削减数据的维度，降低分类任务的工作量，还能保证分类的质量。