概率论与统计（三）常见分布

1.离散变量分布

1.1伯努利分布与二项分布(Bernoulli and Binomial Distribution)

伯努利实验：实验结果为成功或失败两种情况（抛硬币）
伯努利随机变量：在伯努利实验中，令X=1代表成功，X=0代表失败，则X称为伯努利随机变量
$P(X=1)=p$
$P(X=0)=1-p$
二项分布随机变量：在n次独立重复的伯努利实验中，X为成功次数，则X服从二项分布
$P(X=i)=C_n^i{p}^i(1-p{)}^{n-i}$
二项分布：
$P(X\le i)={\sum }_{k=0}^i{C}_n^k{p}^k(1-p{)}^k$
$P(X=k+1)=\frac{p}{1-p}\frac{n-k}{k+1}P(X=k)$
$E[X]=np$
$Var[X]=np(1-p)$

1.2泊松分布(Poisson Distribution)

泊松随机变量：随机变量X，取值为0,1,2…，且随机变量取值的概率如下，则X为泊松随机变量
$P(X=i)=e^{-\lambda }\frac{{\lambda }^i}{i!}$ i = 0,1,2…
$\lambda$取值为4时，概率分布情况如下

$E[X]=\lambda$
$Var[X]=\lambda$
当n很大，p很小时，二项分布可以近似为泊松分布，其中$\lambda =np$
两个泊松随机变量相加，结果依然符合泊松分布，期望为${\lambda }_1+{\lambda }_2$
$P(X=i+1)=\frac{\lambda }{i+1}P(X=i)$

1.3超几何分布(Hypergeometric Distribution)

超几何分布：N+M个样本，其中N个样本属于A类，M个样本属于B类，选出n个样本，其中A类样本的数量分布为超几何分布
$P(X=i)=\frac{C_{N+M}^n{C}_M^{n-i}}{C_{N+M}^n}$
$E[X]=\frac{nN}{N+M}$
$Var[X]=\frac{nNM}{(N+M{)}^2}(1-\frac{n-1}{N+M-1})$
超几何分布可以看作连续不放回抽取样本，每次抽取可以视作伯努利分布
当超几何分布样本数量很大时，近似为二项分布，因为每次抽取可视为总体样本量不变

2.连续变量分布

2.1均匀分布(Uniform Distribution)

$f(x)=\frac{1}{\beta -\alpha }$ if $\alpha \le x\le \beta$ else $f(x)=0$
$E[x]=\frac{\beta +\alpha }{2}$
$Var[x]=\frac{(\beta -\alpha {)}^2}{12}$

2.2正态分布(Normal Distribution)

$f(x)=\frac{1}{\sqrt{2\pi }\sigma }exp(-(x-\mu {)}^2/2{\sigma }^2)$
$E[X]=\mu$
$Var[X]={\sigma }^2$
在计算正态分布的概率时，通常转化为标准正态分布，再通过查
表的方法计算
正态分布的数乘以及线性组合依然服从正态分布
$E[\sum X_i]=\sum {\mu }_i$
$E[\sum X_i]=\sum {\sigma }_i^2$

2.3指数分布(Exponential distribution)

if $x\ge 0$ $f(x)=\lambda exp(-\lambda x)$
if $x<0$ $f(x)=0$

$F(x)=1-exp(-\lambda x)$
$E[X]=\frac{1}{\lambda }$
$Var[X]=\frac{1}{{\lambda }^2}$
指数分布的变量是无记忆的(memoryless)
$P(X>s+t|X>t)=P(X>s)$

2.4卡方分布(Chi-square Distribution)

$X=Z_1^2+Z_2^2+...+Z_n^2$
X服从n个自由度的卡方分布
$E[X]=n$
$Var[X]=2n$

2.5 t分布(t-Distribution)

$T_n=\frac{Z}{\sqrt{X_n^2/n}}$
t分布与正态分布类似，当自由度足够大时，t分布近似于正态分布

2.6 F分布(F-Distribution)

$F_{n,m}=\frac{X_n^2/n}{X_m^2/m}$

下面链接时概率论与统计知识连载
概率论与统计（一）描述性统计
概率论与统计（二）概率论知识总结