高斯分布

高斯分布概念

高斯分布（正态分布）是一个常见的连续概率分布。正态分布的数学期望值或期望值$\mu$ 等于位置参数，决定了分布的位置；其方差${\sigma }^2$的开平方或标准差$\sigma$ 等于尺度参数，决定了分布的幅度。正态分布的概率密度函数曲线呈钟形，因此人们又经常称之为钟形曲线（类似于寺庙里的大钟，因此得名）。我们通常所说的标准正态分布是位置参数$\mu =0$，方差${\sigma }^2=1$的正态分布。（源自wiki百科）

若随机变量$X$服从一个位置参数为$\mu$、方差为${\sigma }^2$的正态分布，可以记为$X$~$N(\mu ,{\sigma }^2)$，则其概率密度函数为$$f(x)=\frac{1}{\sigma \sqrt{2\pi }}exp(-\frac{(x-\mu {)}^2}{2{\sigma }^2})$$

从上面可以看到，一维高斯分布可以用变量均值和方差进行描述，那么二维高斯分布的呢？一维正态分布只有一个变量，则二维高斯分布则包含有两个变量，二维高斯分布的均值$\mu$由两个变量的均值描述，其方差由变量的协方差矩阵进行描述，协方差矩阵 $\Sigma$ 表示的是两个变量之间的关系。

$$\mu =\left(\genfrac{}{}{0ex}{}{{\mu }_a}{{\mu }_b}\right)\Sigma =\left(\begin{array}{cc}{\sigma }_x^2& \rho {\sigma }_x{\sigma }_y\\ \rho {\sigma }_x{\sigma }_y& {\sigma }_y^2\end{array}\right)$$

其中，$\rho {\sigma }_x{\sigma }_y$和$\rho {\sigma }_y{\sigma }_x$分别为两个变量的协方差值。协方差的计算公式如下：
$$\begin{array}{rl}Cov(X,Y)& =E[(X-E(X)(Y-E(Y)]\\ & =E[XY]-E[X]E[Y]\end{array}$$

协方差为正，则说明这两个变量呈正相关，为零则不相关，为负则为负相关。

对于一个二维高斯随机变量$x$~$N(\mu ,\Sigma )$，其概率密度可以表示为：
$$P(x)=\frac{1}{|2\pi \Sigma |}exp(-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu ))$$

其图形可表示为：

协方差矩阵的传播（covariance propagation）

1. 一个高斯随机变量的线性变换仍是高斯随机变量。
   假设一个高斯随机变量$x$~$N(\mu ,\Sigma )$，如果有$x^{\prime }=Ax+b$，则$x^{\prime }$~$N({\mu }^{\prime },{\Sigma }^{\prime })$。其中，${\mu }^{\prime }$和${\Sigma }^{\prime }$为：
   $${\mu }^{\prime }=E[x^{\prime }]=E[Ax+b]=AE[x]+b=A\mu +b$$

$$\begin{array}{rl}{\Sigma }^{\prime }& =cov[x^{\prime }]=E[(x^{\prime }-E[x^{\prime }])(x^{\prime }-E[x^{\prime }])]\\ & =AE[(x-\mu )(x-\mu {)}^T]A^T\\ & =A\Sigma A^T\end{array}$$

2. 多个独立的高斯随机变量的线性组合仍是高斯随机变量。
   假设$x_1\sim N({\mu }_1,{\Sigma }_1)$; $x_2\sim N({\mu }_2,{\Sigma }_2)$
   且 $x^{\prime }=Ax1+Bx2$，有：
   $$\begin{array}{rl}{\mu }^{\prime }& =E[x^{\prime }]=A{\mu }_1+B{\mu }_2\\ {\Sigma }^{\prime }& =cov[x^{\prime }]=A{\Sigma }_1{A}^T+B{\Sigma }_2{B}^T\end{array}$$

多元高斯概率密度函数的拆分与组合

1. 多元高斯联合分布可拆分为一个先验分布与条件分布的乘积。（拆分公式）
   有$P(x)=P(x_1|x_2)P(x_2)$，假设该分布为：$x=[(\genfrac{}{}{0ex}{}{x_1}{x_2})]$~$N([\left(\genfrac{}{}{0ex}{}{{\mu }_1}{{\mu }_2}\right)],\left[\begin{array}{cc}{\Sigma }_{11}& {\Sigma }_{12}\\ {\Sigma }_{21}& {\Sigma }_{22}\end{array}\right])$，那么条件概率密度函数与先验（边缘）概率密度函数分别为：
   $$\begin{gathered} P(x_1|x_2)\sim N({\mu }_1+{\Sigma }_{12}{\Sigma }_{22}^{-1}(x_2-{\mu }_2),{\Sigma }_{11}-{\Sigma }_{12}{\Sigma }_{22}^{-1}{\Sigma }_{21}) \\ P(x_2)\sim N({\mu }_2,{\Sigma }_{22}) \end{gathered}$$
   我们把上式称之为多元高斯联合分布的拆分公式，这个公式是如何来的呢，可以先使用舒尔补求逆，然后化简得到，有时间的话我会出一篇讲边缘化的博客，里面会证明这个式子。总之，我们可以把上式称之为拆分公式。

2. 反之，一个多元高斯联合分布也可以由先验概率和条件概率组合而成。（组合公式）
   如果有$P(x_2)\sim N({\mu }_2,{\Sigma }_{22})$,$P(x_1|x_2)\sim N(H{x}_2,R)$，将两者组成有：
   $$x=[(\genfrac{}{}{0ex}{}{x_1}{x_2})]\sim N([\left(\genfrac{}{}{0ex}{}{H{\mu }_2}{{\mu }_2}\right)],\left[\begin{array}{cc}H{\Sigma }_{22}{H}^T& H{\Sigma }_{22}\\ {\Sigma }_{22}{H}^T& {\Sigma }_{22}\end{array}\right])$$
   同上，证明可以先不管，但如果你想证也是简单的，我们把上式称之为组合公式。

高斯分布边缘化(Marginalization)

定义：联合概率中，把最终结果中不需要的那些事件合并成其事件的全概率而消失（对离散随机变量用求和得全概率，对连续随机变量用积分得全概率），这称为边缘化（marginalization）。

假设有一个离散的联合分布律如下图表示：

x的边缘概率可表示为：$p_X(x_i)=\sum _{j}p(x_i,y_j)$；y的边缘概率可以表示为：$p_Y(y_j)=\sum _{i}p(x_i,y_j)$。
可以看到要求某一变量的边缘概率，要对另一变量进行求和。
那么在连续概率分布（如高斯分布中）呢？可以假设有两个变量$x_1,x_2$，我们要求$x1$的边缘分布，实际上就是把$x_2$边缘化。
$$\begin{array}{rl}{\int }_{x_2}P(x_1,x_2)d{x}_2& ={\int }_{x_2}P(x_2|x_1)P(x_1)d{x}_2\\ & ={\int }_{x_2}P(x_2|x_1)d{x}_{2}P(x_1)\\ & =P(x_1)\sim N({\mu }_1,{\Sigma }_{11})\end{array}$$
可以看到，对于高斯分布的边缘化，我们只需要在协方差矩阵将无关的变量（对应变量的行和列）去除掉即可。

$$N({\mu }_1,{\Sigma }_{11})=N([\left(\genfrac{}{}{0ex}{}{{\mu }_1}{\sout{{\mu }_2}}\right)],\left[\begin{array}{cc}{\Sigma }_{11}& \sout{{\Sigma }_{12}}\\ \sout{{\Sigma }_{21}}& \sout{{\Sigma }_{22}}\end{array}\right])$$

高斯分布的独立性与不相关性

由上述高斯分布的拆分公式中，有$P(x)=P(x_1|x_2)P(x_2)$。
右式分别满足以下分布：
$$\begin{gathered} P(x_1|x_2)\sim N({\mu }_1+{\Sigma }_{12}{\Sigma }_{22}^{-1}(x_2-{\mu }_2),{\Sigma }_{11}-{\Sigma }_{12}{\Sigma }_{22}^{-1}{\Sigma }_{21}) \\ P(x_2)\sim N({\mu }_2,{\Sigma }_{22}) \end{gathered}$$

假设$x_1$和$x_2$不相关，那么有：${\Sigma }_{12}=0$ ，两者协方差为0。

${\Sigma }_{12}=E[(x_1-{\mu }_1)(x_2-{\mu }_2)]=E[x_1{x}_2^T]-E[x_1]E[x_2{]}^T=0$

根据独立的概念，$E(x_1{x}_2)=E(x_1)E(x_2)$，该式和上式显然一样。

说明了，高斯分布的变量的不相关即为变量独立。

好了，关于高斯分布就告一段落。

如果我的文章对你有帮助，欢迎关注，点赞，评论。

参考：
https://games-cn.org/games-webinar-20180426-43/