【概率分布】--- 离散与连续概率分布

• 一. 随机变量
  • 离散随机变量
  • 连续性随机变量
• 概率分布
  • 离散分布
    • 伯努利分布
    • 二项分布
    • 几何分布
    • 泊松分布
  • 连续分布
    • 均匀分布
    • 正态分布
    • 卡方分布
    • 指数分布
    • F分布

---

概率分布描述了随机变量取值的规律，首先了解什么是随机变量。

一. 随机变量

随机变量是一个函数，它用数字来表示一个可能出现的事件。你可以定义你自己的随机变量，然后生成一些样本来观察它的经验分布。

多用 $X$ 表示随机变量，用 $x$ 来表示随机变量的取值

常见的随机变量有两种类型：

• 离散型随机变量，可能的取值范围只有有限个或可列个的值
• 连续型随机变量，可能取值的范围是一个无限不可数集合（如全体实数)

1. 离散随机变量

定义: 如果$X$是一个随机变量，存在非负函数$f(x)$和$F(X)$, 使得$$\begin{gathered} P(X=x)=f(x) \\ P(X<x)=F(x) \end{gathered}$$则称$X$是一个离散型随机变量。

一种离散变量的概率质量函数$f(x)$和分布函数$F(x)$:(伯努利分布)

对于离散变量满足一些分布，如下只介绍4种：

• 伯努利分布 Bernoulli
• 二项分布 Binomial
• 几何分布 Geometric
• 泊松分布 Poisson

上述四种离散的分布将在后面介绍

2. 连续性随机变量

定义：如果$X$是一个随机变量，存在非负函数$f(x)$, 使得$$\begin{gathered} P(a\le X\le b)={\int }_a^{b}f(x)dx \\ P(X<x)=F(x) \end{gathered}$$则$X$是连续型随机变量。

一种连续变量的概率质量函数$f(x)$和分布函数$F(x)$:(正态分布)

对于连续变量满足以下一些分布，如下只介绍其中的6种：

• 均匀分布 Uniform
• 正态分布（也称高斯分布） Normal(Gaussian)
• 卡方分布 Chi Squared
• 指数分布 Exponential
• F分布 F

上述五种离散的分布将在后面介绍

二. 概率分布

1. 离散分布

a) 伯努利分布

如果一个随机变量$X$只取值$0$或$1$，概率分布是$$\begin{gathered} P(X=1)=p \\ P(x=0)=1-p \end{gathered}$$则称$X$符合伯努利分布(Bernoulli)。

PMF	期望	方差
$f(x;p)=\{\begin{array}{ccc}p,& x=1& \\ 1-p,& x=0& \end{array}$	$p$	$p(1-p)$

常用伯努利分布来模拟只有两种结果的试验，如抛硬币实验。

b) 二项分布

如果随机变量$X$是$n$个参数为$p$的独立伯努利随机变量之和，则称$X$是二项分布(binomial)。

PMF	期望	方差
$f(x;n,p)=\left(\genfrac{}{}{0ex}{}{n}{x}\right)p^x(1-p{)}^{n-x}$	$np$	$np(1-p)$

常用二项分布来模拟若干独立同分布的伯努利试验中的成功次数。比如说，抛五次硬币，其中正面的次数可以用二项分布来表示：Bin$(5,\frac{1}{2})$

c) 几何分布

一个服从几何分布的随机变量表示了在重复独立同分布的伯努利试验中获得一次成功所需要的试验次数。
记成功概率为$p$独立的伯努利实验中，$X$为首次成功的试验次数，这个$X$就俯冲与几何分布。

PMF	期望	方差
$f(x;n,p)=(1-p{)}^{x}p$	$\frac{1}{p}$	$\frac{1-p}{p^2}$

比如说，如果我们重复投一枚骰子，我们则可以用几何分布来表示投出一个6所需要的试验次数。

d) 泊松分布

泊松分布表示了一个事件在固定时间或者空间中发生的次数。泊松分布的参数$\lambda$是这个时间发生的频率。

PMF	期望	方差
$f(x;\lambda )=\frac{{\lambda }^x{e}^{-\lambda }}{x!}$	$\lambda$	$\lambda$

比方说，我们可以用泊松分布来刻画流星雨或者足球比赛中的进球数。

2. 连续分布

a) 均匀分布

如果随机变量$X$在其支撑集上所有相同长度的区间上有相同的概率，即如果$b1-a1=b2-a2$,则$$P(X\in [a_1,b_1])=P(X\in [a_2.b_2])$$那么称$X$服从均匀分布。

PMF	期望	方差
$f(x;a,b)=\{\begin{array}{ccc}\frac{1}{b-a},& x\in [a,b]& \\ 0,& otherwise& \end{array}$	$\frac{a+b}{2}$	$\frac{(b-a{)}^2}{12}$

比方说，我们一般可以假设人在一年中出生的概率是相等的，因此可以用均匀分布来模拟人的出生时间。

b) 正态分布

很重要，也很特别

正态分布（也称高斯分布）的密度函数是一个钟形曲线。科学中常用正态分布来模拟许多小效应的叠加。

PMF	期望	方差
$f(x;\mu ,{\sigma }^2)=\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-1\frac{(x-\mu {)}^2}{2{\sigma }^2}}$	$\mu$	${\sigma }^2$

比方说，我们知道人的身高是许多微小的基因和环境效应的叠加。因此可以用正态分布来表示人的身高。

c) 卡方分布

如果随机变量$X$是$k$个独立的标准正态随机变量的平方和，则称$X$是自由度为$k$的卡方随机变量：$$X\sim {\chi }_k^2$$

PMF	期望	方差
${\sum }_{i=1}^k{Z}_i^2{Z}_i\sim N(0,1)$	$k$	$2k$

卡方分布常见于假设检验和构造置信区间.

d) 指数分布

指数分布可以看作是几何分布的连续版本。

PMF	期望	方差
$f(x;\lambda )=\{\begin{array}{ccc}\lambda e^{-\lambda x}& x\ge 0& \\ 0& otherwise& \end{array}$	$\frac{1}{\lambda }$	$\frac{1}{{\lambda }^2}$

指数分布常见于描述等待时间。

e) F分布

F分布(Fisher–Snedecor分布)常在假设检验中出现。

PMF	期望	方差
$\frac{U_1/d_1}{U_2/d_2}\begin{array}{cc}{U}_1\sim {\chi }_{d_1}& \\ U_2\sim {\chi }_{d_2}& \end{array}$	$\frac{d_2}{d_2-2}$	$\frac{2d_2^2(d_1+d_2-2)}{d_1(d_2-2{)}^2(d_2-4)}$

一个比较有名的例子是方差分析