@author:wepon
@blog:http://blog.csdn.net/u012162613/article/details/42177327
主成分分析(Principal Components Analysis),简称PCA,是一种数据降维技术,用于数据预处理。一般我们获取的原始数据维度都很高,比如1000个特征,在这1000个特征中可能包含了很多无用的信息或者噪声,真正有用的特征才100个,那么我们可以运用PCA算法将1000个特征降到100个特征。这样不仅可以去除无用的噪声,还能减少很大的计算量。
PCA算法是如何实现的?
简单来说,就是将数据从原始的空间中转换到新的特征空间中,例如原始的空间是三维的(x,y,z),x、y、z分别是原始空间的三个基,我们可以通过某种方法,用新的坐标系(a,b,c)来表示原始的数据,那么a、b、c就是新的基,它们组成新的特征空间。在新的特征空间中,可能所有的数据在c上的投影都接近于0,即可以忽略,那么我们就可以直接用(a,b)来表示数据,这样数据就从三维的(x,y,z)降到了二维的(a,b)。
问题是如何求新的基(a,b,c)?
一般步骤是这样的:先对原始数据零均值化,然后求协方差矩阵,接着对协方差矩阵求特征向量和特征值,这些特征向量组成了新的特征空间。具体的细节,推荐Andrew Ng的网页教程:Ufldl 主成分分析 ,写得很详细。
>>> import numpy as np
-
def zeroMean(dataMat):
-
meanVal=np.mean(dataMat,axis=
0)
#按列求均值,即求各个特征的均值
-
newData=dataMat-meanVal
-
return newData,meanVal
-
newData,meanVal=zeroMean(dataMat)
-
covMat=np.cov(newData,rowvar=
0)
eigVals,eigVects=np.linalg.eig(np.mat(covMat))
eigVals存放特征值,行向量。
-
eigValIndice=np.argsort(eigVals)
#对特征值从小到大排序
-
n_eigValIndice=eigValIndice[
-1:-(n+
1):
-1]
#最大的n个特征值的下标
-
n_eigVect=eigVects[:,n_eigValIndice]
#最大的n个特征值对应的特征向量
-
lowDDataMat=newData*n_eigVect
#低维特征空间的数据
-
reconMat=(lowDDataMat*n_eigVect.T)+meanVal
#重构数据
-
return lowDDataMat,reconMat
-
#零均值化
-
def zeroMean(dataMat):
-
meanVal=np.mean(dataMat,axis=
0)
#按列求均值,即求各个特征的均值
-
newData=dataMat-meanVal
-
return newData,meanVal
-
-
def pca(dataMat,n):
-
newData,meanVal=zeroMean(dataMat)
-
covMat=np.cov(newData,rowvar=
0)
#求协方差矩阵,return ndarray;若rowvar非0,一列代表一个样本,为0,一行代表一个样本
-
-
eigVals,eigVects=np.linalg.eig(np.mat(covMat))
#求特征值和特征向量,特征向量是按列放的,即一列代表一个特征向量
-
eigValIndice=np.argsort(eigVals)
#对特征值从小到大排序
-
n_eigValIndice=eigValIndice[
-1:-(n+
1):
-1]
#最大的n个特征值的下标
-
n_eigVect=eigVects[:,n_eigValIndice]
#最大的n个特征值对应的特征向量
-
lowDDataMat=newData*n_eigVect
#低维特征空间的数据
-
reconMat=(lowDDataMat*n_eigVect.T)+meanVal
#重构数据
-
return lowDDataMat,reconMat
-
def percentage2n(eigVals,percentage):
-
sortArray=np.sort(eigVals)
#升序
-
sortArray=sortArray[
-1::
-1]
#逆转,即降序
-
arraySum=sum(sortArray)
-
tmpSum=
0
-
num=
0
-
for i
in sortArray:
-
tmpSum+=i
-
num+=
1
-
if tmpSum>=arraySum*percentage:
-
return num
-
def pca(dataMat,percentage=0.99):
-
newData,meanVal=zeroMean(dataMat)
-
covMat=np.cov(newData,rowvar=
0)
#求协方差矩阵,return ndarray;若rowvar非0,一列代表一个样本,为0,一行代表一个样本
-
eigVals,eigVects=np.linalg.eig(np.mat(covMat))
#求特征值和特征向量,特征向量是按列放的,即一列代表一个特征向量
-
n=percentage2n(eigVals,percentage)
#要达到percent的方差百分比,需要前n个特征向量
-
eigValIndice=np.argsort(eigVals)
#对特征值从小到大排序
-
n_eigValIndice=eigValIndice[
-1:-(n+
1):
-1]
#最大的n个特征值的下标
-
n_eigVect=eigVects[:,n_eigValIndice]
#最大的n个特征值对应的特征向量
-
lowDDataMat=newData*n_eigVect
#低维特征空间的数据
-
reconMat=(lowDDataMat*n_eigVect.T)+meanVal
#重构数据
-
return lowDDataMat,reconMat