协方差矩阵 多元高斯分布

协方差矩阵

对于一维随机变量直接用方差即可衡量随机变量x与其期望E(x)的偏离程度，对于多维随机变量X，需要用一个矩阵来表示偏离程度，矩阵的对角线是每个维度自己的方差，对角线以外表示不同的维度之间的协方差，所以协方差矩阵是实对称矩阵。

协方差矩阵的计算公式

所以有如下性质：

如果随机向量Y=PX，其中X，Y为随机向量，P为矩阵（方阵）

也就是

多元高斯分布

一元高斯分布概率密度函数如下：

多元高斯分布为：

具体推导过程可以参考：从零开始推导多元高斯分布 - 知乎

多元高斯分布完全解析 - 知乎

主要的更改是把方差换成了协方差矩阵，2的次方换成n次，n为X向量的维数。

如果协方差矩阵是对角阵，则X向量的每一维彼此独立，互相概率不影响，高维的不好想象可以想象二维的，此时X随机变量的概率密度函数是一个立体的高斯，其平行于坐标平面的截面是一个圆。

如果协方差矩阵除对角线外其他位置为非零，则X向量存在彼此不独立的维，拿二维举例，此时X随机变量的概率密度函数是一个立体的高斯，其平行于坐标平面的截面是一个椭圆，且椭圆的长轴不与坐标轴平行，即椭圆是倾斜的。

根据线性代数的知识可知，由于协方差矩阵为实对称矩阵，所以必定可以用单位正交矩阵相似对角化，根据Y=PX，则，可知，只需要求出协方差矩阵的特征值，并进一步求出单位正交矩阵P，就可以将X向量转换为Y向量，此时Y向量的协方差矩阵Cov(Y)就是经过Cov(X)相似对角化所得，所以是对角阵，所以Y向量的每个维度相互独立，也就是X向量可以经过线性变换由每个维度相互不独立转换成相互独立，对于二维来说，就是概率密度函数的截面由倾斜的椭圆转换成不倾斜的椭圆。

另外协方差矩阵为非负定矩阵，也就是半正定阵（正定的定义见实对称矩阵 二次型 合同 相似对角化_吾生也有涯，而知也无涯-CSDN博客），证明如下：

第二行左边乘以一个矩阵的转置，右边乘以一个矩阵，是参考正定的定义来的，只要证明其结果大于等于0，即为半正定阵，

最后的结果中是一个数，转置之后还是一个数，所以相当于求一个数平方的期望，肯定是大于等于0的，所以为半正定阵。