主成分分析——数据中心化与标准化处理

在主成分分析法中，一般来说，我们进行的第一步应该是对所有样本数据进行中心化，甚至是标准化处理。那么我们为什么要对样本数据进行中心化和标准化处理呢？
在一般的实际问题当中，我们要分析的数据一般是多个维度的，由多个特征或者属性构成的复杂数据集合。例如对某个地区的人均收入构建预测模型或者进行分析的时候，我们会考虑到该地区的GDP总量、人口数量、税收等，显然它们的单位或者说是数量级都是不一样的。我们通过中心化将各类数据整合在原点附近，使其统一起来便于后续处理。也可以进一步进行标准化处理，使得各类数据在每个维度上的取值范围都相同。
中心化的方法：

上式中，x是原始样本数据，μ是样本期望，通过上述变换，我们得到期望是0的新的样本数据集。
标准化的方法：

在中心化的基础上除以原始样本数据的标准差，我们得到期望是0，标准差是1的新的样本数据集。
以下分别为原始数据集、中心化数据集、标准化数据集的运行结果：



通过对比可以发现，原始数据集离散程度比较大，数据集合并不是以原点为中心，而通过中心化处理后数据集合基本以原点为中心形成一个簇，再通过标准化处理后，数据集合在x和y两个维度上分布范围基本都落在[-2,2]区间之内。