【概率论】正态分布的叠加性和正态分布的标准化

1 引言

  正态分布又称为高斯分布，它在机器学习和深度学习中非常常用。如正态分布的叠加性和正态分布的标准化等，在VAE模型中重参技巧就用到了正态分布知识，特别是在高维数据中高维的正态分布更是常用。因此，准备梳理一下相应的知识，其中内容多有参考其他博客，一并在参考文献中给出链接。

2 什么是正态分布

  正态分布（Normal distribution），又名高斯分布（Gaussian distribution）。若随机变量$X$服从一个数学期望（均值）为$\mu$、方差为${\sigma }^2$的正态分布，记为$N(\mu ,{\sigma }^2)$。其概率密度函数为正态分布的期望值$\mu$决定了其位置，其标准差$\sigma$决定了分布的幅度。当$\mu =0$, $\sigma =1$时的正态分布是标准正态分布。
一维正态分布的概率密度函数为：
$$f(x)=\frac{1}{\sqrt{2\pi }\sigma }\exp \left(\frac{(x-\mu {)}^2}{2{\sigma }^2}\right)$$
高维正态分布后面再补坑…

2 正态分布的叠加性

  理论：相互独立的正态分布的线性组合仍然服从正态分布。
给定两个独立的正态分布$X_1\sim N\left({\mu }_1,{\sigma }_1^2\right)$ 和 $X_2\sim N\left({\mu }_2,{\sigma }_2^2\right)$

则$\mathrm{Z}=\mathrm{a}\mathrm{X}+\mathrm{b}\mathrm{Y}\sim N\left(\mathrm{a}{\mu }_1+b{\mu }_2,{\mathrm{a}}^2{\sigma }_1^2+b^2{\sigma }_2^2\right)$

3 正态分布的标准化

  正态分布是由两个参数$\mu$μ与$\sigma$确定的。对于任意一个服从$N(\mu ,\sigma 2)$ 分布的随机变量$X$，经过下面的变换以后都可以转化为$\mu =0$和$\sigma =1$的标准正态分布。转换公式为:
$$\mathrm{z}=\frac{\mathrm{X}-\mu }{\sigma }$$
举个例子：
假设公共汽车门的高度按成年男性碰头机会小于$1$来设计。又假设成年男性的身高服从正态分布$X\sim N(170,62)$，求问车门的高度h hh为多少?

假设身高这一随机变量为$X$，那么要求的问题为:
$P(x>h)=0.01$
即
$1-P(x\le h)=0.01$

$P(x\le h)=0.99$

因为$X\sim N(170,62)$， 所以 $\frac{h-170}{6}\sim N(0,1)$

通过查标准正态分布表可知,$P(z\le 2.33)=0.99$
因此 $h=170+6\ast 2.33=183.98cm$

4 参考文献

[1]均匀分布叠加与正态分布叠加
[2]正态分布，正态分布如何变换为标准正态分布
[3]普通正态分布如何转换到标准正态分布
[4]PRML笔记 第二章 (多维)高斯分布