多维高斯分布与协方差矩阵的关系以及高斯椭圆

一维高斯分布概率密度函数

f(x;μ,σ)=1σ2π−−√exp(−(x−μ)22σ2) f ( x ; μ , σ ) = 1 σ 2 π exp ⁡ ( − ( x − μ ) 2 2 σ 2 )

若随机变量 X X 服从这个高斯分布，则可写作 X∼N(μ,σ) X ∼ N ( μ , σ ) 。其中 μ μ 为均值， σ σ 为标准差， σ2 σ 2 为方差。

多维高斯分布概率密度函数

如果随机变量 X=(X1,X2,…,Xp)′ X = ( X 1 , X 2 , … , X p ) ′ 的分布密度函数有如下形式

f(x1,x2,…,xp)=f(x)=12π−−√p/21|Σ|1/2exp[−12(x−μ)TΣ−1(x−μ)] f ( x 1 , x 2 , … , x p ) = f ( x ) = 1 2 π p / 2 1 | Σ | 1 / 2 exp ⁡ [ − 1 2 ( x − μ ) T Σ − 1 ( x − μ ) ]

其中 μ μ 为均值， Σ Σ 为协方差矩阵。关于协方差矩阵的内容可以看 关于协方差矩阵在机器学习中的理解。
1. 针对二维高斯分布，若随机变量中的两个维度不相关，协方差矩阵对对角阵，则如下图所示


构成一个圆形。

2.若两个维度数据相关，协方差矩阵为对称矩阵，则如下图所示


构成一个椭圆形。

3.针对二维高斯分布，协方差矩阵的对角线元素为 X1 X 1 与 X2 X 2 轴的方差，反斜对角线上的两个值为协方差，表明 X1 X 1 与 X2 X 2 的线性相关程度，（正值时： X1 X 1 增大， X2 X 2 也随之增大；负值时： X1 X 1 增大， X2 X 2 随之减小）。
图片来自

能够看出，图形的形状跟方向跟协方差矩阵 XXT X X T 相关，所在轴的方差越大则该方向越长，协方差矩阵最大特征值对应的特征向量的方向为椭圆的朝向。