两个独立的正态分布的和仍然为正态分布的证明

两个独立的正态分布的乘积公式

正态分布的密度函数：
$$\begin{array}{r}f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}\end{array}$$

在进行理论推导之前，我们先通过Matlab数值计算看看两独立正态分布的乘积情况：

如图所示绿色和红色分别代表两个独立的正态分布函数，蓝色为两个分布的乘积。

从蓝色形状可以粗略的看出乘积结果可能为一个幅值被压缩的正态分布，其期望在$[{\mu }_1,{\mu }_2]$之间，但是还需严格的理论推导。

设$N_1$的概率密度函数为 $f_1(x)=\frac{1}{\sqrt{2\pi }{\sigma }_1}{e}^{-\frac{(x-{\mu }_1{)}^2}{2{\sigma }_1^2}}$，$N_2$的概率密度函数为 $f_2(x)=\frac{1}{\sqrt{2\pi }{\sigma }_2}{e}^{-\frac{(x-{\mu }_2{)}^2}{2{\sigma }_2^2}}$，则：

$$\begin{array}{rl}{f}_1(x)f_2(x)& =\frac{1}{\sqrt{2\pi }{\sigma }_1}{e}^{-\frac{(x-{\mu }_1{)}^2}{2{\sigma }_1^2}}\cdot \frac{1}{\sqrt{2\pi }{\sigma }_2}{e}^{-\frac{(x-{\mu }_2{)}^2}{2{\sigma }_2^2}}\\ & =\frac{1}{2\pi {\sigma }_1{\sigma }_2}{e}^{-[\frac{(x-{\mu }_1{)}^2}{2{\sigma }_1^2}+\frac{(x-{\mu }_2{)}^2}{2{\sigma }_2^2}]}\end{array}$$

先单独分析指数部分：
$$\begin{array}{rl}令\beta & =\frac{(x-{\mu }_1{)}^2}{2{\sigma }_1^2}+\frac{(x-{\mu }_2{)}^2}{2{\sigma }_2^2}\\ & =\frac{({\sigma }_1^2+{\sigma }_2^2)x^2-2({\mu }_1{\sigma }_2^2+{\mu }_2{\sigma }_1^2)x+({\mu }_1^2{\sigma }_2^2+{\mu }_2^2{\sigma }_1^2)}{2{\sigma }_1^2{\sigma }_2^2}\\ & =\frac{x^2-2\frac{{\mu }_1{\sigma }_2^2+{\mu }_2{\sigma }_1^2}{{\sigma }_1^2+{\sigma }_2^2}x+\frac{{\mu }_1^2{\sigma }_2^2+{\mu }_2^2{\sigma }_1^2}{{\sigma }_1^2+{\sigma }_2^2}}{\frac{2{\sigma }_1^2{\sigma }_2^2}{{\sigma }_1^2+{\sigma }_2^2}}\end{array}$$
构造：
$$\begin{array}{r}\beta =\underset{\gamma }{\frac{(x-\frac{{\mu }_1{\sigma }_2^2+{\mu }_2{\sigma }_1^2}{{\sigma }_1^2+{\sigma }_2^2}{)}^2}{\frac{2{\sigma }_1^2{\sigma }_2^2}{{\sigma }_1^2+{\sigma }_2^2}}}+\underset{\lambda }{\frac{\frac{{\mu }_1^2{\sigma }_2^2+{\mu }_2^2{\sigma }_1^2}{{\sigma }_1^2+{\sigma }_2^2}-(\frac{{\mu }_1{\sigma }_2^2+{\mu }_2{\sigma }_1^2}{{\sigma }_1^2+{\sigma }_2^2}{)}^2}{\frac{2{\sigma }_1^2{\sigma }_2^2}{{\sigma }_1^2+{\sigma }_2^2}}}\end{array}$$
则 $\beta =\gamma +\lambda$

记：
$$\begin{array}{rl}\mu & =\frac{{\mu }_1{\sigma }_2^2+{\mu }_2{\sigma }_1^2}{{\sigma }_1^2+{\sigma }_2^2}\\ {\sigma }^2& =\frac{{\sigma }_1^2{\sigma }_2^2}{{\sigma }_1^2+{\sigma }_2^2}\end{array}$$
则：
$$\begin{array}{r}\gamma =\frac{(x-\mu {)}^2}{2{\sigma }^2}\end{array}$$
继续化简 $\lambda$：

$$\begin{array}{rl}\lambda & =\frac{\frac{{\mu }_1^2{\sigma }_2^2+{\mu }_2^2{\sigma }_1^2}{{\sigma }_1^2+{\sigma }_2^2}-(\frac{{\mu }_1{\sigma }_2^2+{\mu }_2{\sigma }_1^2}{{\sigma }_1^2+{\sigma }_2^2}{)}^2}{\frac{2{\sigma }_1^2{\sigma }_2^2}{{\sigma }_1^2+{\sigma }_2^2}}\\ & =\frac{({\mu }_1^2{\sigma }_2^2+{\mu }_2^2{\sigma }_1^2)({\sigma }_1^2+{\sigma }_2^2)-({\mu }_1{\sigma }_2^2+{\mu }_2{\sigma }_1^2{)}^2}{2{\sigma }_1^2{\sigma }_2^2({\sigma }_1^2+{\sigma }_2^2)}\\ & =\frac{{\mu }_1^2{\sigma }_1^2{\sigma }_2^2+{\mu }_2^2{\sigma }_1^2{\sigma }_2^2+{\mu }_1^2{\sigma }_2^4+{\mu }_2^2{\sigma }_1^4-({\mu }_1^2{\sigma }_2^4+{\mu }_2^2{\sigma }_1^4+2{\mu }_1{\mu }_2{\sigma }_1^2{\sigma }_2^2)}{2{\sigma }_1^2{\sigma }_2^2({\sigma }_1^2+{\sigma }_2^2)}\\ & =\frac{{\sigma }_1^2{\sigma }_2^2({\mu }_1^2-2{\mu }_1{\mu }_2+{\mu }_2^2)}{2{\sigma }_1^2{\sigma }_2^2({\sigma }_1^2+{\sigma }_2^2)}\\ & =\frac{({\mu }_1-{\mu }_2{)}^2}{2({\sigma }_1^2+{\sigma }_2^2)}\end{array}$$

可得两个高斯分布相乘为：
$$\begin{array}{rl}{f}_1(x)f_2(x)& =\frac{1}{2\pi {\sigma }_1{\sigma }_2}{e}^{-\beta }=\frac{1}{2\pi {\sigma }_1{\sigma }_2}{e}^{-(\gamma +\lambda )}\\ & =\frac{1}{2\pi {\sigma }_1{\sigma }_2}{e}^{-\gamma }\cdot e^{-\lambda }\\ & =\frac{1}{2\pi {\sigma }_1{\sigma }_2}{e}^{-\frac{(x-\mu {)}^2}{{\sigma }^2}}\cdot e^{-\frac{({\mu }_1-{\mu }_2{)}^2}{2({\sigma }_1^2+{\sigma }_2^2)}}\end{array}$$

其中
$$\begin{array}{rlrl}\mu & =\frac{{\mu }_1{\sigma }_2^2+{\mu }_2{\sigma }_1^2}{{\sigma }_1^2+{\sigma }_2^2}& & {\sigma }^2=\frac{{\sigma }_1^2{\sigma }_2^2}{{\sigma }_1^2+{\sigma }_2^2}\end{array}$$

把常数项综合为 $S_g$， 可得其直观表达式：

$$\begin{array}{rl}{f}_1(x)f_2(x)& =S_g\cdot \frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{{\sigma }^2}}\\ S_g& =\frac{1}{\sqrt{2\pi ({\sigma }_1^2+{\sigma }_2^2)}}\cdot e^{-\frac{({\mu }_1-{\mu }_2{)}^2}{2({\sigma }_1^2+{\sigma }_2^2)}}\end{array}$$

到此，两个正态分布相乘的分布函数即推导出来，即相乘后的分布函数为一个被压缩或者放大的正态分布，$S_g$ 为缩放因子，$f_1(x)f_2(x)$ 的积分等于$S_g$，它不一定等于1，但$f_1(x)f_2(x)$的方差和均值性质不变。

有关 $S_g$ 对该乘积的影响，请参阅文章 两个高斯分布乘积的理论推导 的后半部分。

两个独立的正态分布的和的直觉错误

直觉中，两个正态随机变量的和似乎应该是两个概率密度函数的和，如下图所示，其结果就近似为两个概率密度的包络线，这其实是大错特错的。

卷积公式

已知两个相互独立的随机变量$X$ 和 $Y$，他们的概率密度函数分别为$f_X(x)(-\infty <x<+\infty )$ 和 $f_Y(y)(-\infty <y<+\infty )$。则它们的联合随机变量$(X,Y)$的概率密度$f(x,y)=f_X(x)f_Y(y)$（这是两个连续型随机变量相互独立的充要条件）。

$Z=X+Y$ 的分布函数：
$$\begin{array}{rl}{F}_Z(z)& =P\{X+Y\le z\}\\ & ={\iint }_{x+y\le z}f(x,y)dxdy\\ & ={\int }_{-\infty }^{+\infty }dx{\int }_{-\infty }^{z-x}f(x,y)dy(或{\int }_{-\infty }^{+\infty }dy{\int }_{-\infty }^{z-y}f(x,y)dx)\\ & ={\int }_{-\infty }^{z-x}dy{\int }_{-\infty }^{+\infty }f(x,y)dx(或{\int }_{-\infty }^{z-y}dx{\int }_{-\infty }^{+\infty }f(x,y)dy)\end{array}$$
$Z=X+Y$的概率密度函数：
$$\begin{array}{rl}{f}_Z(z)=F_Z^{\prime }(z)& ={\int }_{-\infty }^{+\infty }f(x,z-x)dx(或{\int }_{-\infty }^{+\infty }f(z-y,y)dy)\end{array}$$
当$X$和$Y$相互独立时，$f(x,y)=f_X(x)f_Y(y)$，则

$$\begin{array}{rl}{f}_Z(z)& ={\int }_{-\infty }^{+\infty }{f}_X(x)f_Y(z-x)dx\\ 或f_Z(z)& ={\int }_{-\infty }^{+\infty }{f}_X(z-y)f_Y(y)dy\end{array}$$
(27) (28) 两个公式称为卷积公式，记为 $f_Z=f_X\ast f_Y$。

根据卷积公式和乘积公式计算两个独立正态分布的和

设$N_1$的概率密度函数为 $f_1(x)=\frac{1}{\sqrt{2\pi }{\sigma }_1}{e}^{-\frac{(x-{\mu }_1{)}^2}{2{\sigma }_1^2}}$，$N_2$的概率密度函数为 $f_2(x)=\frac{1}{\sqrt{2\pi }{\sigma }_2}{e}^{-\frac{(x-{\mu }_2{)}^2}{2{\sigma }_2^2}}$，则根据卷积公式， $N=N_1+N_2$ 的概率密度 $f(z=x+y)$为：
$$\begin{array}{rl}f(z)& ={\int }_{-\infty }^{+\infty }{f}_1(x)f_2(z-x)dx\\ & ={\int }_{-\infty }^{+\infty }\frac{1}{\sqrt{2\pi }{\sigma }_1}{e}^{-\frac{(x-{\mu }_1{)}^2}{2{\sigma }_1^2}}\cdot \frac{1}{\sqrt{2\pi }{\sigma }_2}{e}^{-\frac{(z-x-{\mu }_2{)}^2}{2{\sigma }_2^2}}dx\end{array}$$
记：
$$\begin{array}{rl}{f}_2^{\prime }(x)& =\frac{1}{\sqrt{2\pi }{\sigma }_2}{e}^{-\frac{(z-x-{\mu }_2{)}^2}{2{\sigma }_2^2}}=\frac{1}{\sqrt{2\pi }{\sigma }_2}{e}^{-\frac{[x-(z-{\mu }_2){]}^2}{2{\sigma }_2^2}}\end{array}$$
不难看出 $f_2^{\prime }(x)$对应的随机变量$N_2^{\prime }\sim (z-{\mu }_2,{\sigma }_2^2)$（这里的$f_2^{\prime }(x)$和$N_2^{\prime }$不需要追问它的实际意义，只是为了帮助理解运用正态分布乘积公式）

$$\begin{array}{rl}{f}_1(x)\cdot f_2^{\prime }(x)& =S_g\cdot \frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{{\sigma }^2}}\\ 其中S_g& =\frac{1}{\sqrt{2\pi ({\sigma }_1^2+{\sigma }_2^2)}}\cdot e^{-\frac{[z-({\mu }_1+{\mu }_2){]}^2}{2({\sigma }_1^2+{\sigma }_2^2)}}\\ 则f(z)& ={\int }_{-\infty }^{+\infty }{f}_1(x)\cdot f_2^{\prime }(x)dx\\ & ={\int }_{-\infty }^{+\infty }{S}_g\cdot \frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{{\sigma }^2}}dx\\ & =S_g\cdot {\int }_{-\infty }^{+\infty }\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{{\sigma }^2}}dx\\ & =S_g\\ & =\frac{1}{\sqrt{2\pi ({\sigma }_1^2+{\sigma }_2^2)}}\cdot e^{-\frac{[z-({\mu }_1+{\mu }_2){]}^2}{2({\sigma }_1^2+{\sigma }_2^2)}}\end{array}$$
也就是 $N=N_1+N_2\sim N({\mu }_1+{\mu }_2,{\sigma }_1^2+{\sigma }_2^2)$。