人工智能(降维)——主成分分析(PCA)

目录

1 知识回顾

1.1 方差 

1.2 协方差

1.3 特征向量和特征值

2 主要成份分析 

2.1 数据降维

2.2 主成分分析原理

2.3 算法过程 

3 参数说明 

3.1 sklearn.decomposition.PCA

3.2 PCA对象的方法 

4 案例 

5 Python代码实现

5.1 代码

5.2 结果


1 知识回顾

在介绍 PCA 的原理之前需要回顾涉及到的相关术语:
方差
协方差
协方差矩阵
特征向量和特征值

1.1 方差 

方差:是各个样本和样本均值的差的平方和的均值, 用来度量一组数据的分散程度。
人工智能(降维)——主成分分析(PCA)_第1张图片

1.2 协方差

用于 度量两个变量之间的线性相关性程度 ,若两个变量的协方差为0 ,则可认为二者线性无关。协方差矩阵则是由变量的协方差值构成的矩阵(对称阵)。

1.3 特征向量和特征值

特征向量:矩阵的特征向量是描述数据集结构的非零向量,并满足如下公式:
     

A是方阵, 是特征向量,是特征值。 

2 主要成份分析 

2.1 数据降维

降维就是一种对高维度特征数据预处理方法。降维是将高维度的数据保留下最重要的一些特征,去除噪声和不重要的特征,从而实现提升数据处理速度的目的。在实际的生产和应用中,降维在一定的信息损失范围内,可以为我们节省大量的时间和成本。降维也成为应用非常广泛的数据预处理方法。

降维具有如下一些优点:

1) 使得数据集更易使用。
2) 降低算法的计算开销。
3) 去除噪声。
4) 使得结果容易理解。
降维的算法有很多,比如奇异值分解(SVD)、主成分分析(PCA)、因子分析(FA)、独立成分分析(ICA)。

2.2 主成分分析原理

(1)主成分分析( Principal Component Analysis PCA )是最常用的
一种降维方法,通常用于高维数据集的探索与可视化,还可以用作数
据压缩和预处理等。
(2)PCA 可以把具有相关性的高维变量合成为线性无关的低维变量,称为
主成分。主成分能够尽可能保留原始数据的信息
原理 :矩阵的主成分就是其协方差矩阵对应的特征向量,按照对应的特征值大小进行排序,最大的特征值就是第一主成分,其次是第二主成分,以此类推。

2.3 算法过程 

人工智能(降维)——主成分分析(PCA)_第2张图片  

3 参数说明 

3.1 sklearn.decomposition.PCA

sklearn.decomposition.PCA(n_components=None, copy=True, whiten=False)

参数说明:

--------------------------------------------------

n_components: 

意义:PCA算法中所要保留的主成分个数n,也即保留下来的特征个数n
类型:int 或者 string,缺省时默认为None,所有成分被保留。
          赋值为int,比如n_components=1,将把原始数据降到一个维度。
          赋值为string,比如n_components='mle',将自动选取特征个数n,使得满足所要求的方差百分比。
————————————————
copy:

类型:bool,True或者False,缺省时默认为True。
意义:表示是否在运行算法时,将原始训练数据复制一份。若为True,则运行PCA算法后,原始训练数据的值不            会有任何改变,因为是在原始数据的副本上进行运算;若为False,则运行PCA算法后,原始训练数据的              值会改,因为是在原始数据上进行降维计算。
————————————————
whiten:

类型:bool,缺省时默认为False

意义:白化,使得每个特征具有相同的方差。如果为 True,它将分量向量标准化为单位方差,这在某些情况下可用于预测模型(默认为 False)

---------------------------------------------------

svd_solver :设置特征值分解的方法,默认为‘auto’,其他可选有
‘full’, ‘arpack’, ‘randomized’。
对于 svd_solver=full,有两个附加选项:区间 [0, 1] 中的浮点数计算保留数据中相应方差份额所需的分量数,选项 mle 使用以下方法估计维数最大似然。

3.2 PCA对象的方法 

------------------------------------------------

fit(X,y=None):

fit()可以说是scikit-learn中通用的方法,每个需要训练的算法都会有fit()方法,它其实就是算法中的“训练”这一步骤。因为PCA是无监督学习算法,此处y自然等于None。

fit(X),表示用数据X来训练PCA模型。

函数返回值:调用fit方法的对象本身。比如pca.fit(X),表示用X对pca这个对象进行训练。
————————————————
fit_transform(X):

用X来训练PCA模型,同时返回降维后的数据。

newX=pca.fit_transform(X),newX就是降维后的数据。

---------------------------------------------------

transform(X):

将数据X转换成降维后的数据。当模型训练好后,对于新输入的数据,都可以用transform方法来降维。

4 案例 

目标:已知鸢尾花数据是4维的,共三类样本。使用PCA实现对鸢尾花数据进行降维,实现在
二维平面上的可视化。

                             人工智能(降维)——主成分分析(PCA)_第3张图片 

5 Python代码实现

5.1 代码

#===========1. 建立工程,导入sklearn相关工具包:============
import matplotlib.pyplot as plt
from sklearn.decomposition import PCA    ##加载PCA算法包
from sklearn.datasets import load_iris   #加载鸢尾花数据集导入函数

#=====2. 加载数据并进行降维=============================
data = load_iris()      #以字典形式加载鸢尾花数据集
y = data.target          #使用y表示数据集中的标签
X = data.data             #使用X表示数据集中的属性数据
pca = PCA(n_components=2)    #加载PCA算法,设置降维后主成分数目为2
reduced_X = pca.fit_transform(X)   #对原始数据进行降维,保存在reduced_X中

#======3. 按类别对降维后的数据进行保存:==================
red_x, red_y = [], []        #第一类数据点
blue_x, blue_y = [], []       #第二类数据点
green_x, green_y = [], []      #第三类数据点

for i in range(len(reduced_X)):   #按照鸢尾花的类别将降维后的数据点保存在不同的列表中。
    if y[i] == 0:
        red_x.append(reduced_X[i][0])
        red_y.append(reduced_X[i][1])
    elif y[i] == 1:
        blue_x.append(reduced_X[i][0])
        blue_y.append(reduced_X[i][1])
    else:
        green_x.append(reduced_X[i][0])
        green_y.append(reduced_X[i][1])

#=======4. 降维后数据点的可视化=======================
plt.scatter(red_x, red_y, c='r', marker='x')
plt.scatter(blue_x, blue_y, c='b', marker='D')
plt.scatter(green_x, green_y, c='g', marker='.')
plt.show()




5.2 结果

        人工智能(降维)——主成分分析(PCA)_第4张图片

你可能感兴趣的:(#,机器学习,深度学习,python,人工智能,开发语言)