多元高斯分布简述

本文简单概括多元高斯分布的定义、性质与应用，内容会持续更新。读者也可参考此文。

多元高斯分布定义

设 $s$ 维随机向量 $X=(X_1,X_2,\dots ,X_s{)}^T$ 的概率密度函数为：
$$f(x_1,x_2,\dots ,x_s)=\frac{1}{(2\pi {)}^{s/2}|\Sigma {|}^{1/2}}\exp \left(-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )\right)$$
其中 $x=(x_1,x_2,\dots ,x_s{)}^T$，$\mu$ 是 $s$ 维非随机向量，$\Sigma$ 是 $s$ 阶正定阵。则称 $X$ 服从 $s$ 元高斯（正态）分布，简单记为 $X\sim N_s(\mu ,\Sigma )$。

• $\mu$ 是 $X$ 的均值向量：$\mu =\mathbb{E}[x]$。
• $\Sigma$ 是 $X$ 的协方差矩阵：$\Sigma =\mathrm{c}\mathrm{o}\mathrm{v}[x]=\mathbb{E}[(x-\mu )(x-\mu {)}^T]$
• ${\Sigma }^{-1}$ 被定义为精度矩阵（Precision Matrix or Concentration Matrix）。

指数函数括号内的表达式被称为两个向量之间的马氏距离（Mahalanobis distance）。为了更深入理解这个值，对$\Sigma$进行特征值分解：$\Sigma =U\Lambda U^T$，其中$U$是由特征向量组成对标准正交阵，$U^{T}U=I$；$\Lambda$ 是由特征值组成的对角阵。
$${\Sigma }^{-1}=U^{-T}{\Lambda }^{-1}{U}^{-1}=U{\Lambda }^{-1}{U}^T=\sum _{i=1}^s\frac{1}{{\lambda }_i}{u}_i{u}_i^T$$ 其中 $u_i$ 是 $U$ 中的列向量。如此，这个马氏距离可以被重写为：
$$\begin{array}{rl}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )& =(x-\mu {)}^T\left(\sum _{i=1}^s\frac{1}{{\lambda }_i}{u}_i{u}_i^T\right)(x-\mu )\\ & =\sum _{i=1}^s\frac{1}{{\lambda }_i}(x-\mu {)}^T{u}_i{u}_i^T(x-\mu )\\ & =\sum _{i=1}^s\frac{y_i^2}{{\lambda }_i}\end{array}$$ 其中 $y_i\triangleq u_i^T(x-\mu )$。 可见，二维情况下高斯分布的等概率密度曲线是一个椭圆，长短轴方向为 $u$ 的方向，半径为 ${\lambda }^{\frac{1}{2}}$ 。

多元高斯分布性质

多元高斯（正态）分布具有如下性质：

• 若 $X\sim N_s(\mu ,\Sigma )$，其中 $\Sigma$ 是对角阵，则 $X_1,X_2,\dots ,X_s$ 相互独立。
• 多元高斯分布随机向量的任意子向量分布（即边缘分布）仍是高斯分布。反之不成立。
• 设 $X\sim N_s(\mu ,\Sigma )$，$A\in {\mathbb{R}}^{t\times s}$ 是常数矩阵，$b\in {\mathbb{R}}^t$ 是常数向量，则 $$AX+b\sim N_s(A\mu +b,A\Sigma A^T)$$ 即高斯随机向量的线性函数还是高斯随机向量。
• 设 $X\sim N_s(\mu ,\Sigma )$，将 $X,\mu ,\Sigma$ 作如下剖分：$$X=\left[\begin{array}{c}{X}^{(1)}\\ X^{(2)}\end{array}\right],\mu =\left[\begin{array}{c}{\mu }^{(1)}\\ {\mu }^{(2)}\end{array}\right],\Sigma =\left[\begin{array}{cc}{\Sigma }_{11}& {\Sigma }_{12}\\ {\Sigma }_{21}& {\Sigma }_{22}\end{array}\right]$$ 则 $X^{(1)}\sim N_q({\mu }^{(1)},{\Sigma }_{11})$，$X^{(2)}\sim N_{s-q}({\mu }^{(2)},{\Sigma }_{22})$ 以及条件分布：$$(X^{(1)}|X^{(2)})\sim N_s({\mu }^{(1)}+{\Sigma }_{12}{\Sigma }_{22}^{-1}(X^{(2)}-{\mu }^{(2)}),{\Sigma }_{11}-{\Sigma }_{12}{\Sigma }_{22}^{-1}{\Sigma }_{21})$$ 即高斯随机向量的边缘分布、条件部分都还是高斯分布。
• 设 $X\sim N_s(\mu ,\Sigma )$ ，样本的均值向量 $\bar{X}$ 和样本的协方差阵 $S$。$$\begin{array}{rl}\hat{\mu }& =\frac{1}{n}\sum _{i=1}^n{X}_i\triangleq \bar{X}\\ \hat{\Sigma }& =\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X})(X_i-\bar{X}{)}^T=\frac{1}{n}\left(\sum _{i=1}^n{X}_i{X}_i^T\right)-\bar{X}{\bar{X}}^T\end{array}$$ $\bar{X}$是总体均值向量 $\mu$ 的极大似然估计也是其无偏估计；$n^{-1}S$ 是总体协方差阵 $\Sigma$ 的极大似然估计但不是无偏估计，$(n-1{)}^{-1}S$ 是 $\Sigma$ 的无偏估计以及有效估计、一致估计。$S$ 为正定阵的充要条件是 $n>s$。

多元高斯分布乘法

假设有两个高斯分布：$N_x({\mu }_1,{\Sigma }_1)$ 和 $N_x({\mu }_2,{\Sigma }_2)$ 那么
$$N_x(\cdot )N_x(\cdot )=c{N}_x({\mu }_3,{\Sigma }_3)$$ 其中 $c$ 是常数：
$$c=N_{{\mu }_1}({\mu }_2,({\Sigma }_1+{\Sigma }_2))=\frac{1}{\sqrt{2\pi |{\Sigma }_1+{\Sigma }_2|}}\exp \left(-\frac{1}{2}({\mu }_1-{\mu }_2{)}^T({\Sigma }_1+{\Sigma }_2{)}^{-1}({\mu }_1-{\mu }_2)\right)$$ $${\mu }_3=({\Sigma }_1^{-1}+{\Sigma }_2^{-1}{)}^{-1}({\Sigma }_1^{-1}{\mu }_1+{\Sigma }_2^{-1}{\mu }_2)$$ $${\Sigma }_3=({\Sigma }_1^{-1}+{\Sigma }_2^{-1}{)}^{-1}$$ 注意两个高斯分布的积不是高斯分布，但是却正比于第三个高斯分布。因此通常情况下如果对具体数值不严格要求，仅做统计学分析，那么可以按照如下方法计算：

算法一

如果已知两个协方差矩阵，那么使用如下公式：
$${\Sigma }_3={\Sigma }_1({\Sigma }_1+{\Sigma }_2{)}^{-1}{\Sigma }_2$$ $${\mu }_3={\Sigma }_2({\Sigma }_1+{\Sigma }_2{)}^{-1}{\mu }_1+{\Sigma }_1({\Sigma }_1+{\Sigma }_2{)}^{-1}{\mu }_2$$ 这里使用 Cholesky 分解得：
$$L{L}^T={\Sigma }_1+{\Sigma }_2$$ 那么
$${\bar{\Sigma }}_1=L^{-1}{\Sigma }_1,{\bar{\Sigma }}_2=L^{-1}{\Sigma }_2$$ $${\bar{\mu }}_1=L^{-1}{\mu }_1,{\bar{\mu }}_2=L^{-1}{\mu }_2$$ 其中 $L$ 是下三角矩阵，这种算法效率较高。最终：
$${\Sigma }_3={\bar{\Sigma }}_1^T{\bar{\Sigma }}_2,{\mu }_3={\bar{\Sigma }}_2^T{\bar{\mu }}_1+{\bar{\Sigma }}_1^T{\bar{\mu }}_2$$

算法二

如果已知协方差矩阵的逆，那么计算可以更加简化，如下：
$${\Sigma }_3^{-1}={\Sigma }_1^{-1}+{\Sigma }_2^{-1}$$ $${\mu }_3={\Sigma }_3({\Sigma }_1^{-1}{\mu }_1+{\Sigma }_2^{-1}{\mu }_2)$$

线性高斯系统

假设有两个变量 $x$ 和 $y$，其中 $y$ 是 $x$ 的含噪声观测，注意二者维度可能不同。那么，假设：
$$\begin{array}{rl}p(x)& =N(x|{\mu }_x,{\Sigma }_x)\\ p(y|x)& =N(y|Ax+b,{\Sigma }_y)\end{array}$$ 这是一个线性高斯系统。根据系统的状态变量 $x$ 我们可以生成观测变量 $y$。回顾第2节中的性质3，易知：
$$p(y)=N(y|A{\mu }_x+b,{\Sigma }_y+A{\Sigma }_x{A}^T)$$
如果给定观测变量 $y$，利用贝叶斯公式，我们可以推测状态变量 $x$：
$$\begin{array}{rl}p(x|y)& =N(x|{\mu }_{x|y},{\Sigma }_{x|y})\\ {\mu }_{x|y}& ={\Sigma }_{x|y}\left[A^T{\Sigma }_y^{-1}(y-b)+{\Sigma }_x^{-1}{\mu }_x\right]\\ {\Sigma }_{x|y}^{-1}& ={\Sigma }_x^{-1}+A^T{\Sigma }_y^{-1}A\end{array}$$

高斯分布的KL散度

KL散度（Kullback-Leibler divergence）用以衡量两个概率分布之间的差异。对于两个$s$维高斯分布$N_x({\mu }_x,{\Sigma }_x)$ 与 $N_y({\mu }_y,{\Sigma }_y)$ 其KL散度定义为：
$$\begin{array}{rl}{D}_{KL}(N_x||N_y)& =\int N_x(\xi )\log \frac{N_x(\xi )}{N_y(\xi )}\mathrm{d}\xi \\ & =\frac{1}{2}\left(\log \frac{\det {\Sigma }_y}{\det {\Sigma }_x}-s+trace({\Sigma }_y^{-1}{\Sigma }_x)+({\mu }_y-{\mu }_x{)}^T{\Sigma }_y^{-1}({\mu }_y-{\mu }_x)\right)\end{array}$$ 注意KL散度不具有对称性。

---

更多详细内容可参考：

• Kevin P. Murphy, Machine Learning - A Probabilistic Perspective, MIT Press, 2012.
• How to analytically compute KL divergence of two Gaussian distributions?