正态分布（高斯分布）的由来（公式推导）

1809年，高斯在研究《天体运动理论》的过程中发现其中的误差分布是正态分布。
比较接近原著的推导可以参考：https://zhuanlan.zhihu.com/p/387653090，但原著中高斯的数学直觉太强，有点难以理解，个人认为从以下方式理解更容易理解，故分享。

设误差密度函数为f(x)，有n个独立观测值x1, x2, … , xn，真值为X。f(x)表示误差为x的概率，而误差=观测值-真值。假设每次观测都是独立且随机的，高斯认为误差密度函数f(x)应具有以下特点：

1. f(x)为连续函数；
2. x=0 时，f(x)应有最大值；
3. x→∞ 时，f(x)→0；
4. 从 x=0 开始，f(x)向两侧逐渐趋近于0；
5. ∫ f(x) = 1，即f(x)在实数域R上的积分为1；

以下几点，高斯在原书中没有明确提到，但根据上面5点，可以认为是他的潜在假定：

6. f(x)关于 x=0 处对称，即 f(x) = f(-x)，是偶函数；
7. [-∞, 0]，f(x) 单调递增；
8. [0, +∞]，f(x) 单调递减；
9. f(x) 恒大于0；
10. f(x) 在实数域R上处处可导。

极大似然函数为：$L(x)=f(x_1-X)f(x_2-X)...f(x_n-X)$，我们希望L(x)最大，此时导数为0，即求令L(x)最大的f(x)。为了方便计算，做对数转换：

$\ln L(x)={\sum }_{i=1}^n\ln f(x_i-X)$

再对两边求导：

$\frac{d\ln L(x)}{dx}=-{\sum }_{i=1}^n\frac{f^{\prime }(x_i-X)}{f(x_i-X)}=0$，我们希望求L(x)的最大值，所以令其导数为0。

记$g(x)=\frac{f^{\prime }(x)}{f(x)}$，则 ${\sum }_{i=1}^{n}g(x_i-X)=0$，根据“高斯关于误差函数的设定”可知，g(x)是实数域R上的奇函数。可将${\sum }_{i=1}^{n}g(x_i-X)$看成一个多元函数，现欲求多元函数的极值点，所以希望对所有参数的偏导都为0。此时高斯假设真值X的估计为$\bar{x}$，则有以下方程组：

$g^{\prime }(x_1-\bar{x})(1-\frac{1}{n})+g^{\prime }(x_2-\bar{x})(-\frac{1}{n})+...+g^{\prime }(x_n-\bar{x})(-\frac{1}{n})=0$
$g^{\prime }(x_1-\bar{x})(-\frac{1}{n})+g^{\prime }(x_2-\bar{x})(1-\frac{1}{n})+...+g^{\prime }(x_n-\bar{x})(-\frac{1}{n})=0$
…
$g^{\prime }(x_1-\bar{x})(-\frac{1}{n})+g^{\prime }(x_2-\bar{x})(-\frac{1}{n})+...+g^{\prime }(x_n-\bar{x})(1-\frac{1}{n})=0$

利用齐次线性方程组解得：$x=C(1,1,...,1{)}^{\top }$

即 $g^{\prime }(x_1-\bar{x})=g^{\prime }(x_2-\bar{x})=...=g^{\prime }(x_n-\bar{x})=C$

由于g(x)导数为C，则设 $g(x)=Cx+b$

由于 ${\sum }_{i=1}^{n}g(x_i-X)={\sum }_{i=1}^{n}C(x_i-\bar{x})+nb=0$，所以 $b=0$

可得 $\frac{f^{\prime }(x)}{f(x)}=Cx$，则 $f(x)=k{e}^{\frac{1}{2}C{x}^2}$

欲使 ${\int }_{-\infty }^{+\infty }f(x)dx=1$，求得 $C=-\frac{1}{{\sigma }^2}$

利用 ${\int }_{-\infty }^{+\infty }{e}^{-x^2}dx=\sqrt{\pi }$，求得 $k=\frac{1}{\sqrt{2\pi }\sigma }$

最后得正态分布概率分布函数： $f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{x^2}{2{\sigma }^2}}$