协方差矩阵的几何解释【翻译】

在本文中，我们通过探索线性变换与结果数据协方差之间的关系，提供协方差直观、几何解释。绝大部分教科书是基于协方差的矩阵概念来解释数据的形状。相反，我们采用向后的方法，用数据的形状来解释协方差矩阵的概念。

在之前的文章中，我们讨论了方差的概念，同时证明了样本方差。图一为标准差，标准差提供了一种衡量数据在特征空间的分布程度。

图一.高斯密度函数。对于正态分布的数据，68%的向本都分布在平均值正负标准差的区间内。

我们知道无偏估计的样本方差公式可以通过如下方式获得：

但是，方差只能用于解释数据在平行于特征空间轴上的扩展。参考图二中的二维特征空间：

图二.对角线式的数据能通过协方差根号解释。

对于这个数据，我们可以用x轴方向计算出方差σ(x,x)，用y轴方向计算出方差σ(y,y)。然而，数据的水平扩展和垂直扩展不能清晰解释对角线上的相关性。图二清晰表明，整体而言，如果数据点x值增加，那么y值也增加，他们之间是正相关的。我们将方差的概念扩展为协方差时，就能更好地解释这种相关性。

对于二维的数据，我们可以得到σ(x,x)，σ(y,y)，σ(x,y)，σ(y,x)。这四个值可以汇总成一个矩阵，称为协方差矩阵：

如果x正相关与y，那么y也同样正相关与x；换句话说，σ(x,y)=σ(y,x)。因此，协方差矩阵通常都是一个对称矩阵，其对角线上为方差，非对角线上为协方差。二维正态分布的数据完全由其均值和2x2的协方差矩阵解释。同样，3x3的协方差矩阵用来解释三维空间上的数据，NxN的协方差矩阵用来解释N维的空间数据。

图三说明了数据的整体形状和协方差矩阵之间的关系

图三.协方差矩阵与数据形状之间的关系。对角线用协方差解释，坐标轴方向用方差解释。

协方差矩阵的特征值特点

在下一节中，我们将讨论如何将协方差矩阵解释为将白数据转换为我们能够观察数据的线性算子。在深入研究技术细节之前，重要的是要去直观地了解特征向量和特征值如何去唯一地定义协方差矩阵，从而确定数据的形状。

正如图三所示，协方差矩阵同时定义了我们数据的大小（方差量）和方向（协方差量）。所以，如果我们想用一个向量及其大小来表示协方差矩阵，我们应该简单尝试找到数据最大的扩展方向，其大小等于在此方向上的（方差）。

【注：翻译得不怎么好。我倾向于采用PCA的理解：找到最大的投影方差以表示整个投影矩阵】

换句话说，协方差最大的特征向量永远指向能够使得投影方差最大的方向，其方向向量大小刚好等于对应的特征值。第二大的特征向量总是与第一大特征向量正交，并指向数据第二大扩展方向。

【注：事实上，我对这个方差表示不熟悉，只能推出其值与特征值相同，但是其是否是最大存疑。】

下面我们将举例说明：

如果协方差矩阵是对角矩阵，即协方差全为0，这就意味着常查等于特征值λ。如图四 ，其中特征向量用绿色和品红区分，可以明显看出特征值等于协方差矩阵的方差分量。

图四.协方差矩阵的特征向量及特征值

然而，如果协方差矩阵不是对角矩阵，情况就会变得复杂一些。特征值依然表示在最大扩展方向上的方差幅度，同时，协方差的方差分量依然表示数据关于x轴和y轴的方差幅度大小。因为这些数据不再是轴对称的，所以这些值不再相同。

特征值和方差

通过比较图四和图五，特征值表示数据随特征向量方向的方差，同时，协方差的方差分量表示沿着坐标轴的扩散。如果不存在相关性，那么两个值都应该相等。

原文：A geometric interpretation of the covariance matrix