PCA降维 python实现

主成分分析,Principal Component Analysis

计算协方差矩阵,由于是hermitian的,所以100%可正交对角化而且特征值一定非负

求出特征值特征向量以后,取特征值比较大的那几个方向构成线性空间,把数据投影上去就OK了

补详细公式推导:

http://blog.csdn.net/u013648367/article/details/73824049

import os
import numpy as np
import matplotlib.pylab as plt

def dataLoader(file):
    return np.array([ i.split() for i in open(file)],dtype="float")
 

def pca(dataSet,rank=0):
    means = np.mean(dataSet,axis=0)
    dataSet = dataSet - means #去中心化 ,使得E(X),E(Y),... =0, 方便求方差
    #plt.scatter(*dataSet.T)
    lenth = dataSet.shape[0]
    if rank == 0:
        rank = dataSet.shape[1]+1
    dataSet = np.matrix(dataSet)
    covMat = dataSet.T*dataSet/(lenth-1)
    eigenVals, eigenVec = np.linalg.eigh(covMat)
    pick_id = eigenVals.argsort()[::-1][:rank] #从小到大排序,返回数组序号,然后倒着取,取前r个
    eigenVec_picked = eigenVec[:,pick_id]#取出排序后的特征向量
    #print(eigenVec_picked)
    #print(eigenVals, eigenVec)
    Y= dataSet*eigenVec_picked; #相当于求了个新坐标系下的数据分布
    
    return Y, eigenVec_picked, means
      
datas = dataLoader('testSet.txt')
Y,P,means = pca(datas,1)
plt.scatter(*datas.T) #原数据
plt.scatter(*( Y*P.T+np.tile(means,(len(Y),1)) ).T,color='r')#降维以后的数据变换到原来的坐标下...