机器学习实战-利用PCA来简化数据

在体育比赛中，人们面对的原本是百万像素的数据，但是只有球的三维位置才最重要，这就成为降维（dimensionlity reduction）。通常而言，我们在应用其他机器学习算法之前，必须先识别出其相关特征。
第一种降维称作主方法分析（Principal Component Analysis，PCA）。
第一个坐标值选择的是原始数据中方差最大的方向，第二个新坐标轴的选择和第一个坐标轴正交且具有最大方差的方向。
另一种降维技术是因子分析（Factor Analysis）。在因子分析中，我们假设在观察数据的生成一些观察不到的隐变量（latent variable）。假设观察数据是这些隐变量和某些噪声的线性组合。那么隐变量的数据可能比观察数据的数目少，也就是说通过隐变量可以实现数据的降维。
还有一种方法就是独立成分分析（Independent Component Analysis，ICA）。ICA假设数据是从N个数据源生成的，这一点和因子分析有些类似。假设数据为多个数据源的混合观察结果，这些数据源之间在统计上是互相独立的，而在PCA中之假设数据是不相关的。
在上述3种降维技术中，PCA的应用目前最为广泛，因此本章主要关注PCA。在下一节中，我们将会对PCA进行介绍，然后再通过一段Python代码来运行PCA。

主成分分析
优点：降低数据的复杂性，识别最重要的多个特征
缺点：不一定需要，且可能损失有用信息
适用数据类型：数据型数据

将数据转化成前N个主成分的伪代码大致如下：

去除平均值
计算协方差矩阵
计算协方差矩阵的特征值和特征向量
将特征值从打到小排序
保留最上面的N个特征向量
将数据转换到上述N个特征向量构建的新空间中

下面开始构建PCA算法

from numpy import *

def loadDataSet(fileName, delim='\t'):
    fr = open(fileName)
    stringArr = [line.strip().split(delim) for line in fr.readlines()]
    datArr = [map(float,line) for line in stringArr]
    return mat(datArr)

def pca(dataMat, topNfeat=9999999):#数据集，返回特征数
    meanVals = mean(dataMat, axis=0)
    meanRemoved = dataMat - meanVals #去平均值
    covMat = cov(meanRemoved, rowvar=0) #协方差
    eigVals,eigVects = linalg.eig(mat(covMat))#特征值，特征矩阵
    eigValInd = argsort(eigVals)            #从小到大排序
    eigValInd = eigValInd[:-(topNfeat+1):-1]  #逆序，从大到小
    redEigVects = eigVects[:,eigValInd]       
    lowDDataMat = meanRemoved * redEigVects#将数据转化到新的维度空间
    reconMat = (lowDDataMat * redEigVects.T) + meanVals
    return lowDDataMat, reconMat

我们在testSet.txt文件中加入一个由1000个数据点组成的数据集，开始进行PCA操作：

In [17]: import pca
    ...: dataMat = pca.loadDataSet('testSet.txt')
    ...: lowDMat, reconMat = pca.pca(dataMat, 1)
    ...: shape(lowDMat)
    ...: 
Out[17]: (1000L, 1L)

lowDMat,包含了降维之后的矩阵。我们可以通过如下命令将降维后的数据和原始数据一起绘制出来：

import matplotlib
import matplotlib.pyplot as plt
fig = plt.figure()
ax = fig.add_subplot(111)

ax.scatter(dataMat[:,0].flatten().A[0], dataMat[:,1].flatten().A[0], marker='^', s=90)

ax.scatter(reconMat[:,0].flatten().A[0], reconMat[:,1].flatten().A[0], marker = 'o', s = 50, c='red')
plt.show()
    ...:

使用如下命令代替PCA调用，也会看到类似结果：

lowDMat, reconMat = pca.pca(dataMat, 2)

下面我们先处理一些异常值，用平均值代替NaN：

def replaceNanWithMean(): 
    datMat = loadDataSet('secom.data', ' ')
    numFeat = shape(datMat)[1]
    for i in range(numFeat):
        meanVal = mean(datMat[nonzero(~isnan(datMat[:,i].A))[0],i]) 
        datMat[nonzero(isnan(datMat[:,i].A))[0],i] = meanVal  #将所有nan置为平均值
    return datMat

PCA会给出数据中所包含的信息量。数据（data）和信息（information）之间具有巨大的差别。数据指的是接受的原始材料，其中包含噪声和不相关的信息。信息指数据中的相关部分。下面开始操作，首先将所有的NaN值替换为平均值：

In [36]: import pca
    ...: dataMat = pca.replaceNanWithMean()
    ...: 

接下来从pca()函数中借用一些代码来达到我们的目的，之所以借用是因为我们想了解中间结果而非最后输出结果，调用如下语句去除均值：

In [37]: meanVals = mean(dataMat, axis = 0)
    ...: meanRemoved = dataMat - meanVals
    ...:

然后计算协方差矩阵：

In [38]: covMat = cov(meanRemoved, rowvar=0)

最后对该矩阵进行特征值分析：

In [39]: eigVals,eigVects = linalg.eig(mat(covMat))
    ...: 
    ...: eigVals
    ...: 
Out[39]: 
array([ 53415197.85687517+0.j,  21746671.90465918+0.j,
         8248376.61529074+0.j, ...,         0.00000000+0.j,
               0.00000000+0.j,         0.00000000+0.j])

我们会发现超过20%的特征值都是0。这意味着这些特征都是其他特征的副本，也就是说，他们可以通过其他特征来表示，而本身并没有提供额外的信息。
接下来，我们了解一下部分数值的数量级。最前面15个值的数量级大于10的五次方，实际上那以后的值都变得非常小。这相当于告诉我们部分重要特征，重要特征的数目也很快就会下降。
最后，我们注意到一些负值，他们主要源于数值误差，应该四舍五入为0。