PCA求解思路
学习完了NG的PCA和《机器学习实战》的PCA
有一点很疑惑不解，对矩阵A，
NG是先用A - Amean，然后求协方差矩阵 covA = 1/m * AT * A 然后进行SVD分解，得到 U
因为 1/m*( AT * A) = V * (lambda**2/m) * VT ,所以其实就是求出对A进行SVD分解的V
《实战》是用A - Amean， 然后求协方差矩阵 covA = 1/m * AT *A 然后求特征值和特征向量
也就是对A进行 SVD分解之后得到的V
那么问题就来了，为什么一定要求协方差矩阵，而不是直接对A进行SVD分解得到V呢？
想太多也没有用，直接来实践吧，直接修改《实战》中的代码
原代码：
def pca(dataMat, topNfeat = 9999999):
meanVals = mean(dataMat, axis = 0)
meanRemoved = dataMat - meanVals
#covariance matrix, x.T * x
#If rowvar is True (default), then each row represents a variable, with observations in the columns
covMat = cov(meanRemoved, rowvar = False)
#Compute the eigenvalues and right eigenvectors of a square array.
eigVals,eigVects = linalg.eig(mat(covMat))
#Returns the indices that would sort an array.
eigValInd = argsort(eigVals)
eigValInd = eigValInd[:-(topNfeat + 1):-1]
redEigVects = eigVects[:,eigValInd]
lowDDataMat = meanRemoved * redEigVects
reconMat = (lowDDataMat * redEigVects.T) + meanVals
return lowDDataMat, reconMat
修改后的代码：
def pca(dataMat, topNfeat = 9999999):
meanVals = mean(dataMat, axis = 0)
meanRemoved = dataMat - meanVals
#covariance matrix, x.T * x
#If rowvar is True (default), then each row represents a variable, with observations in the columns
#covMat = cov(meanRemoved, rowvar = False)
#Compute the eigenvalues and right eigenvectors of a square array.
#eigVals,eigVects = linalg.eig(mat(covMat))
#Returns the indices that would sort an array.
s,eigVals,d = linalg.svd(meanRemoved)
eigVects = d.T
eigValInd = argsort(eigVals)
eigValInd = eigValInd[:-(topNfeat + 1):-1]
redEigVects = eigVects[:,eigValInd]
lowDDataMat = meanRemoved * redEigVects
reconMat = (lowDDataMat * redEigVects.T) + meanVals
return lowDDataMat, reconMat
只有一点点小改动，就是不求协方差矩阵，而是直接对减去平均值之后的矩阵进行SVD分解，然后求出V
然后得出的结果，一模一样
然后更改《实战》里查看特征值的代码
不求协方差矩阵，而是直接对减去平均值之后的矩阵进行SVD分解，然后查看lambda
记住协方差矩阵的特征值为lambda**2/m
所以我们对求得的lambda先平方，再除以样本的数目，得出的结果。。仍然是一模一样
也就是说，按照我的推论，不求协方差矩阵，而是直接对减去平均值之后的矩阵进行SVD分解，然后求出V，这样的推论是合理的。
如果有不对的地方，请大家回复一下帮我改正，感谢。
**************************************************************************分割线********************************************************************************
因为尝试了可以直接对减去平均值之后的矩阵进行SVD分解，然后求出V
又因为不理解PCA的本质，所以尝试了不减去平均值，直接对原矩阵进行SVD分解，
得出的结果如下
（查了资料，这样的效果并不好，因为PCA寻找的是“保留更多信息的维度”，也就是说在这个维度的投影尽量分散，如果不先求均值的话，就达不到分散的效果。。这样求的是过原点的尽量分散的维度。这并不符合我们的目的），更新，这一段是错误的，如果这样的话，得到的只会是过原点的一条直线，这样不行，我们需要得到的数据，是一条有斜率并且有偏置的线/面，并不是一条过原点的线/面。
更详细的理解：
http://www.360doc.com/content/13/1124/02/9482_331688889.shtml
TruncatedSVD is very similar to PCA, but differs in that it works on sample matrices directly instead of their covariance matrices. When the columnwise (per-feature) means of are subtracted from the feature values, truncated SVD on the resulting matrix is equivalent to PCA.