机器学习笔记-主成分分析（PCA）

主成分分析（PCA）简介

PCA（principal components analysis）即主成分分析技术，又称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。具体如下图将2D压缩为1D：

如下图将3D压缩为2D：

降维分析

降维就是找到数据中最重要的方向，即方差最大的方向。

对于高维数据需要先找到第一个主成分方差最大的方向提取出来，第二个主成分来自于方差次大的那个数据，并且与第一个主成分正交，具体如下图所示：

PCA算法流程如下图所示：

PCA实例

导包：

import numpy as np
import matplotlib.pyplot as plt
plt.style.use('ggplot')

载入数据并可视化

#载入数据
data=np.genfromtxt("data.csv",delimiter=",")
x_data=data[:,0]
y_data=data[:,1]
plt.scatter(x_data,y_data)
plt.show()
print(x_data.shape)

数据可视化结果如下图所示：

数据中心化及求解协方差矩阵，求解特征值和特征向量

#数据中心化
def zeroMean(dataMat):
    #按列求平均，即各个特征的平均
    meanVal=np.mean(dataMat,axis=0)
    newData=dataMat-meanVal
    return newData,meanVal
newData,meanVal=zeroMean(data)
#np.cov用于求协方差矩阵，参数rowvar=0说明数据第一行代表一个样本
covMat=np.cov(newData,rowvar=0)
#np.linalg.eig求矩阵的特征值和特征向量
eigVals,eigVects=np.linalg.eig(np.mat(covMat))
#对特征值从小到大排序
eigValIndice=np.argsort(eigVals)
top=1
#最大的n个特征值的下标
n_eigValIndice=eigValIndice[-1:-(top+1):-1]#从-1，-2从右往左一个一个－
#最大的top个特征值对应的特征向量
n_eigVect=eigVects[:,n_eigValIndice]
#低维特征空间的数据
lowDataMat=newData*n_eigVect
reconMat=lowDataMat*n_eigVect.T+meanVal
#载入数据
data=np.genfromtxt("data.csv",delimiter=",")
x_data=data[:,0]
y_data=data[:,1]
plt.scatter(x_data,y_data)
#重构的数据
x_data=np.array(reconMat)[:,0]
y_data=np.array(reconMat)[:,1]
plt.scatter(x_data,y_data,c='r')
plt.show()

PCA降维结果

参考视频：B站机器学习算法基础-覃秉丰