协方差矩阵学习心得

协方差矩阵的物理意义主要分为对角阵和非对角阵来记录。

1.基础知识

一维数据中：

方差：描述数据的偏离程度，数值越大偏离越大

标准差：描述数据的聚散程度。数值越大散度越大，除以 N-1

二位数据中：

协方差：描述两个随机变量之间的相关性，随着X变大Y变大则为正相关，否则为负相关。cov=0则不相关。由此可知，xy独立一定不相关，但是xy不相关，不一定独立。在高斯过程中，不相关和独立是等价的，因此高斯情况下不相关的xy独立，可以将联合分布分开乘。

协方差矩阵中的每个量都是相同样本下不同维度之间的协方差。对角线值则为该维度方差值。所以协方差矩阵为对称阵。

其中协方差矩阵的物理意义为：高维度在协方差所求维度的投影，如下图所示。协方差矩阵是对等高线上投影出的椭圆的形状描述。

 

2.对角阵

当协方差矩阵为对角矩阵时，只有对角线有值。因此各个维度之间协方差为0，所以各个维度之间不相关。标准高斯分布中，协方差为单位阵，因此标准高斯变量之间不相关，高斯过程不相关=独立，所以各个维度见相互独立，联合分布等于各分布乘积。

而对角线的值为该维度的方差值，所以数值越大，偏离程度越大，确定性越小。此时投影椭圆是一个正椭圆，长轴短轴分别和投影的坐标轴平行。

3.非对角阵

协方差矩阵实际是对标准高斯分布的协方差矩阵（单位矩阵）的线性变换，如下图。其中可分解为一个旋转矩阵（表示相关程度）和一个对角阵（描述各维度偏离）的乘积。如果高斯随机向量的协方差矩阵是非对角阵（一些变量是相关的），那么概率密度函数曲面在X0Y投影的椭圆曲线的两个轴仍然是相互重直，但与坐标轴并不平行。

 总结：

协方差矩阵的物理意义实际为单位阵的线性变换，描述的是高维数据中两两维度间的相关性和聚散程度，在高斯分布中，体现了概率的确定性。明确物理意义的优点在于，看到协方差矩阵的具体形式，就可以定性的分析出各个维度之间的相关关系和运算前后概率变换意义。

参考文章：

关于高斯概率密度的概念辨析 - 知乎  （我的知乎，欢迎关注）

协方差代表的意义是什么? - Tsingke - 博客园协方差代表的意义是什么? 在概率论中，两个随机变量 X 与 Y 之间相互关系，大致有下列3种情况： 情况一,如上, 当 X, Y 的联合分布像上图那样时，我们可以看出，大致上有： X 越大 Y 也越大https://www.cnblogs.com/tsingke/p/6273970.html