机器学习小组知识点15：高斯分布/正态分布（Gaussian Distribution/Normal Distribution）

试用环境

正态分布是自然科学与行为科学中的定量现象的一个方便模型。各种各样的心理学测试分数和物理现象比如光子计数都被发现近似地服从正态分布。尽管这些现象的根本原因经常是未知的，理论上可以证明如果把许多小作用加起来看做一个变量，那么这个变量服从正态分布（在R.N.Bracewell的Fourier transform and its application中可以找到一种简单的证明）。在概率论，正态分布是几种连续以及离散分布的极限分布。

概率密度函数

正态分布的概率密度函数均值为 μ 方差为 σ2 (或标准差 σ )是高斯函数的一个实例：

f(x;μ,σ)=1σ2π−−√exp(−(x−μ)22σ2)

如果一个随机变量 X 服从这个分布，我们写作 X N(μ,σ2) . 如果 μ=0 并且 σ=1 ，这个分布被称为标准正态分布，这个分布能够简化为:

f(x)=12π−−√exp(−x22)

正态分布中一些值得注意的量：

密度函数关于平均值对称

平均值与它的众数（statistical mode）以及中位数（median）同一数值。

函数曲线下68.268949%的面积在平均数左右的一个标准差范围内。

95.449974%的面积在平均数左右两个标准差 2σ 的范围内。

99.730020%的面积在平均数左右三个标准差 3σ 的范围内。

99.993666%的面积在平均数左右四个标准差 4σ 的范围内。

性质

如果 X∼N(μ,σ2) ,且 a 与 b 是实数，那么 aX+b∼N(aμ+b,(aσ)2) (参见期望值和方差).

如果 X∼N(μX,σ2X) 与 Y∼N(μY,σ2Y) 是统计独立的常态随机变量，那么：

它们的和也满足正态分布 U=X+Y∼N(μX+μY,σ2X+σ2Y)

它们的差也满足正态分布 V=X−Y∼N(μX−μY,σ2X+σ2Y)

U 与 V 两者是相互独立的。（要求X与Y的方差相等）

如果 X1,⋯,Xn 为独立标准常态随机变量，那么 X21+⋯+X2n 服从自由度为 n 的卡方分布。