概率论与数理统计笔记系列之第二章：随机变量及其分布

概率论与数理统计笔记（第二章 随机变量及其分布）

对于统计专业来说，书本知识总有遗忘，翻看教材又太麻烦，于是打算记下笔记与自己的一些思考，主要参考用书是茆诗松老师编写的《概率论与数理统计教程》，其他知识待后续书籍补充。

第二章 随机变量及其分布

2.1 随机变量及其分布

2.1.1 随机变量的概念

定义 2.1.1
定义在样本空间 $\Omega$ 上的实值函数 $X=X(\omega )$ 称为随机变量, 常用大写字母 $X,Y,Z$ 等表示随机变量, 其取值用小写字母 $x,y,z$ 等表示. 假如一个随机变量仅可能取有限个或可列个值, 则称其为离散随机变量. 假如一个随机变量的可能取值充满数轴上的一个区间 $(a,b)$, 则称其为连续随机变量,其中 $a$ 可以是 $-\infty ,b$ 可以是 $\infty$.

2.1.2 随机变量的分布函数

定义 2.1.2
设 $X$ 是一个随机变量, 对任意实数 $x$, 称
$$F(x)=P(X⩽x)$$
为随机变量 $X$ 的分布函数. 且称 $X$ 服从 $F(x)$, 记为 $X\sim F(x)$. 有时也可用 $F_x(x)$ 以表明是 $X$ 的分布函数 (把 $X$ 写成 $F$ 的下标).

定理 2.1.1 任一分布函数 $F(x)$ 都具有如下三条基本性质：
(1) 单调性 $F(x)$ 是定义在整个实数轴 $(-\infty ,\infty )$ 上的单调非减函数, 即对任意的 $x_1<x_2$, 有 $F\left(x_1\right)⩽F\left(x_2\right)$.
(2) 有界性 对任意的 $x$, 有 $0⩽F(x)⩽1$, 且
$$\begin{array}{c}F(-\infty )=\underset{x\to -\infty }{\lim }F(x)=0,\\ F(\infty )=\underset{x\to \infty }{\lim }F(x)=1.\end{array}$$
(3) 右连续性 $F(x)$ 是 $x$ 的右连续函数, 即对任意的 $x_0$, 有
$$\underset{x\to x_0+}{\lim }F(x)=F\left(x_0\right),$$
即
$$F\left(x_0+0\right)=F\left(x_0\right).$$

2.1.3 离散随机变量的概率分布列

对离散随机变量而言, 常用以下定义的分布列来表示其分布.
定义 2.1.3
设 $X$ 是一个离散随机变量, 如果 $X$ 的所有可能取值是 $x_1,x_2$, $\cdots ,x_n,\cdots$, 则称 $X$ 取 $x_i$ 的概率
$$p_i=p\left(x_i\right)=P\left(X=x_i\right),i=1,2,\cdots ,n,\cdots$$
为 $X$ 的概率分布列或简称为分布列, 记为 $X\sim \left\{p_i\right\}$,

分布列的基本性质

(1) 非负性 $p\left(x_i\right)⩾0,i=1,2,\cdots$.
(2) 正则性${\sum }_{i=1}^{\infty }p\left(x_i\right)=1$.

以上两条基本性质是分布列必须具有的性质,也是判别某个数列是否能成为分布列的充要条件. 由离散随机变量 $X$ 的分布列很容易写出 $X$ 的分布函数
$$F(x)=\sum _{x_i\le x}p\left(x_i\right).$$

2.1.4 连续随机变量的概率密度函数

定义 $2.1.4$
设随机变量 $X$ 的分布函数为 $F(x)$, 如果存在实数轴上的一个非负可积函数 $p(x)$, 使得对任意实数 $x$ 有
$$F(x)={\int }_{-\infty }^{x}p(t)\mathrm{d}t,$$
则称 $p(x)$ 为 $X$ 的概率密度函数, 简称为密度函数, 或称密度.

密度函数的基本性质

（1）非负性 $p(x)⩾0$.
（2）正则性 ${\int }_{-\infty }^{\infty }p(x)\mathrm{d}x=1$. (含有 $p(x)$ 的可积性)

以上两条基本性质是密度函数必须具有的性质, 也是确定或判别某个函数是否成为密度函数的充要条件.
除了离散分布和连续分布之外, 还有既非离㪚又非连续的分布，在此不作过多介绍。

2.2 随机变量的数学期望

2.2.1 数学期望的概念

2.2.2 数学期望的定义

定义 2.2.1
设离散随机变量 $X$ 的分布列为
$$p\left(x_i\right)=P\left(X=x_i\right),i=1,2,\cdots ,n,\cdots .$$
如果
$$\sum _{i=1}^{\infty }\left|x_i\right|p\left(x_i\right)<\infty ,$$
则称
$$E(X)=\sum _{i=1}^{\infty }{x}_{i}p\left(x_i\right)$$
为随机变量 $X$ 的数学期望, 或称为该分布的数学期望, 简称期望或均值. 若级数 ${\sum }_{k=1}^{\infty }\left|x_i\right|p\left(x_k\right)$ 不收敛, 则称 $X$ 的数学期望不存在.

以上定义中, 要求级数绝对收敛的目的在于使数学期望唯一. 因为随机变量的取值可正可负, 取值次序可先可后, 由无穷级数的理论知道, 如果此无穷级数绝对收敛, 则可保证其和不受次序变动的影响. 由于有限项的和不受次序变动的影响,故取有限个可能值的随机变量的数学期望总是存在的.

定义 2.2.2
设连续随机变量 $X$ 的密度函数为 $p(x)$. 如果
$${\int }_{-\infty }^{\infty }|x|p(x)\mathrm{d}x<\infty ,$$
则称
$$E(X)={\int }_{-\infty }^{\infty }xp(x)\mathrm{d}x$$
为 $X$ 的数学期望, 或称为该分布 $p(x)$ 的数学期望, 简称期望或均值. 若 ${\int }_{-\infty }^{\infty }|x|p(x)\mathrm{d}x$ 不收敛, 则称 $X$ 的数学期望不存在.

2.2.3 数学期望的性质

定理 2.2.1 若随机变量 $X$ 的分布用分布列 $p\left(x_i\right)$ 或用密度函数 $p(x)$ 表示, 则 $X$ 的某一函数 $g(X)$ 的数学期望为
$$E[g(X)]=\{\begin{array}{l}{\sum }_{i}g\left(x_i\right)p\left(x_i\right),\text{ 在离散场合 }\\ {\int }_{-\infty }^{\infty }g(x)p(x)\mathrm{d}x,\text{ 在连续场合 }\end{array}$$

现基于这个定理来证明数学期望的几个常用性质, 以下均假定所涉及的数学期望是存在的.

性质 2.2.1 若 $c$ 是常数, 则 $E(c)=c$.
性质 2.2.2 对任意常数 $a$, 有
$$E(aX)=aE(X).$$
性质 2.2.3 对任意的两个函数 $g_1(x)$ 和 $g_2(x)$, 有
$$E\left[g_1(X)\pm g_2(X)\right]=E\left[g_1(X)\right]\pm E\left[g_2(X)\right].$$

2.3 随机变量的方差与标准差

2.3.1 方差与标准差的定义

定义 2.3.1
若随机变量 $X^2$ 的数学期望 $E\left(X^2\right)$ 存在, 则称偏差平方 $(X-$ $EX{)}^2$ 的数学期望 $E(X-EX{)}^2$ 为随机变量 $X$ (或相应分布) 的方差, 记为
$$\begin{array}{rl}\mathrm{Var}(X)& =E(X-E(X){)}^2\\ & =\{\begin{array}{l}{\sum }_i{\left(x_i-E(X)\right)}^{2}p\left(x_i\right),\text{ 在离散场合, }\\ {\int }_{-\infty }^{\infty }(x-E(X){)}^{2}p(x)\mathrm{d}x,\text{ 在连续场合. }\end{array}\end{array}$$
称方差的正平方根 $\sqrt{\mathrm{Var}(X)}$ 为随机变量 $X$ (或相应分布)的标准差,记为 $\sigma (X)$. 或 ${\sigma }_x$.

2.3.2 方差的性质

以下均假定随机变量的方差是存在的.

性质 2.3.1 $\mathrm{Var}(X)=E\left(X^2\right)-[E(X){]}^2$.
性质 2.3.2 常数的方差为 0 , 即 $\mathrm{Var}(c)=0$, 其中 $c$ 是常数.
性质 2.3.3 若 $a,b$ 是常数, 则 $\mathrm{Var}(aX+b)=a^2\mathrm{Var}(X)$.

2.3.3 切比雪夫不等式

定理 2.3.1(切比雪夫(Chebyshev, 1821-1894)不等式)
设随机变量 $X$ 的数学期望和方差都存在, 则对任意常数 $\epsilon >0$, 有
$$P(|X-EX|⩾\epsilon )⩽\frac{\mathrm{Var}(X)}{{\epsilon }^2},$$
或
$$P(|X-EX|<\epsilon )⩾1-\frac{\mathrm{Var}(X)}{{\epsilon }^2}.$$

在概率论中, 事件 {|$X-E(X)|⩾\epsilon \}$ 称为大偏差, 其概率 $P(|X-E(X)|⩾\epsilon )$ 称为大偏差发生概率.

定理 2.3.2 若随机变量 $X$ 的方差存在, 则 $\mathrm{Var}(X)=0$ 的充要条件是 $X$ 几乎处处为某个常数 a， 即 P(X=a)=1.（利用切比雪夫不等式）

2.4 常用离散分布

2.4.1 二项分布

一、二项分布
如果记 $X$ 为 $n$ 重伯努利试验中成功 (记为事件 $A$ ) 的次数, 则 $X$ 的可能取值 为 $0,1,\cdots ,n$. 记 $p$ 为每次试验中 $A$ 发生的概率, 即 $P(A)=p$, 则 $P(\bar{A})=1-p$.
因为 $n$ 重伯努利试验的基本结果可以记作
$$\omega =\left({\omega }_1,{\omega }_2,\cdots ,{\omega }_n\right)\text{, }$$
其中 ${\omega }_i$ 或者为 $A$, 或者为 $\bar{A}$. 这样的 $\omega$ 共有 $2^n$ 个, 这 $2^n$ 个样本点 $\omega$ 组成了样本空间 $\Omega$.
下面求 $X$ 的分布列, 即求事件 $\{X=k\}$ 的概率. 若某个样本点
$$\omega =\left({\omega }_1,{\omega }_2,\cdots ,{\omega }_n\right)\in |X=k|$$
意味着 ${\omega }_1,{\omega }_2,\cdots ,{\omega }_n$ 中有 $k$ 个 $A,n-k$ 个 $\bar{A}$, 所以由独立性知,
$$P(\omega )=p^k(1-p{)}^{n-k}\text{. }$$
而事件 $|X=k|$ 中这样的 $\omega$ 共有 $\left(\begin{array}{l}n\\ k\end{array}\right)$ 个, 所以 $X$ 的分布列为
$$P(X=k)=\left(\begin{array}{l}n\\ k\end{array}\right)p^k(1-p{)}^{n-k},k=0,1,\cdots ,n.$$
这个分布称为二项分布, 记为 $X\sim b(n,p)$.

二、二点分布
$n=1$ 时的二项分布 $b(1,p)$ 称为二点分布, 或称 $0-1$ 分布, 或称伯努利分布, 其分布列为
$$P(X=x)=p^x(1-p{)}^{1-x},x=0,1.$$

二点分布 $b(1,p)$ 主要用来描述一次伯努利试验中成功 (记为 $A)$ 的次数 $(0$ 或 1).

很多随机现象的样本空间 $\Omega$ 常可一分为二, 记为 $A$ 与 $\bar{A}$, 由此形成伯努利试验. $n$ 重伯努利试验是由 $n$ 个相同的,独立进行的伯努利试验组成, 若将第 $i$ 个伯 努利试验中 $A$ 出现的次数记为 $X_i(i=1,2,\cdots ,n)$, 则 $X_i$ 相互独立, 且服从相同 的二点分布 $b(1,p)$. 此时其和
$$X=X_1+X_2+\cdots +X_n$$
就是 $n$ 重伯努利试验中 $A$ 出现的总次数, 它服从二项分布 $b(n,p)$. 这就是二项分布 $b(n,p)$ 与二点分布 $b(1,p)$ 之问的联系, 即服从二项分布的随机变量是 $n$ 个独立同为二点分布的随机变量之和.

三、二项分布的数学期望和方差
设随机变量 $X\sim b(n,p)$, 则
$$\begin{array}{rl}E(X)& =\sum _{k=0}^{n}k\left(\begin{array}{l}n\\ k\end{array}\right)p^k(1-p{)}^{k-t}=np.\end{array}$$
$X$ 的方差为
$$\mathrm{Var}(X)=E\left(X^2\right)-(E(X){)}^2=n(n-1)p^2+np-(np{)}^2=np(1-p).$$
因为二点分布是 $n=1$ 时的二项分布 $b(1,p)$, 所以二点分布的数学期望为 $p$,方差为 $p(1-p)$.

2.4.2 泊松分布

一、泊松分布
泊松分布是 1837 年由法国数学家泊松 (Poisson, 1781-1840) 首次提出的. 泊松分布的概率分布列是
$$P(X=k)=\frac{{\lambda }^k}{k!}{\mathrm{e}}^{-\lambda },k=0,1,2,\cdots ,$$
其中参数 $\lambda >0$, 记为 $X\sim P(\lambda )$.

二、泊松分布的数学期望和方差
设随机变量 $X\sim P(\lambda )$, 则
$$E(X)=\sum _{k=0}^{\infty }k\frac{{\lambda }^{\lambda }}{k!}{\mathrm{e}}^{-\lambda }=\lambda {\mathrm{e}}^{-\lambda }\sum _{k=1}^{\infty }\frac{{\lambda }^{i-1}}{(k-1)!}=\lambda {\mathrm{e}}^{-\lambda }{\mathrm{e}}^{\lambda }=\lambda .$$
这表明:泊松分布 $P(\lambda )$ 的数学期望就是参数 $\lambda$.

$$\mathrm{Var}(X)=E\left(X^2\right)-(E(X){)}^2={\lambda }^2+\lambda -{\lambda }^2=\lambda .$$
也就是说,泊松分布 $P(\lambda )$ 中的参数 $\lambda$ 既是数学期望又是方差.

三、二项分布的泊松近似
泊松分布还有一个非常实用的特性,即可以用泊松分布作为二项分布的一 种近似. 在二项分布 $b(n,p)$ 中, 当 $n$ 较大时,计算量是令人烦恼的. 而在 $p$ 较小时使用以下的泊松定理,可以减少二项分布中的计算量.

定理 2.4.1 (泊松定理) 在 $n$ 重伯努利试验中, 记事件 $A$ 在一次试验中发生的概率为 $p_n$ (与试验次数 $n$ 有关), 如果当 $n\to \infty$ 时, 有 $n{p}_n\to \lambda$, 则
$$\underset{n\to \infty }{\lim }\left(\begin{array}{l}n\\ k\end{array}\right)p_n^k{\left(1-p_n\right)}^{n-k}=\frac{{\lambda }^k}{k!}{\mathrm{e}}^{-\lambda }\text{. }$$

由于泊松定理是在 $n{p}_n\to \lambda$ 条件下获得的, 故在计算二项分布 $b(n,p)$ 时, 当 $n$ 很大, $p$ 很小, 而乘积 $\lambda =np$ 大小适中时, 可以用泊松分布作近似, 即
$$\left(\begin{array}{l}n\\ k\end{array}\right)p_n^k{\left(1-p_n\right)}^{n-k}\approx \frac{(np{)}^k}{k!}{\mathrm{e}}^{-np},k=0,1,2,\cdots .$$

2.4 .3 超几何分布

一、超几何分布
从一个有限总体中进行不放回抽样常会遇到超几何分布.
设有 $N$ 件产品, 其中有 $M$ 件不合格品. 若从中不放回地随机抽取 $n$ 件, 则其中含有的不合格品的件数 $X$ 服从超几何分布, 记为 $X\sim h(n,N,M)$. 超几何分布的概率分布列为
$$P(X=k)=\frac{\left(\begin{array}{l}M\\ k\end{array}\right)\left(\begin{array}{l}N-M\\ n-k\end{array}\right)}{\left(\begin{array}{l}N\\ n\end{array}\right)},k=0,1,\cdots ,r.$$
其中 $r=\min \{M,n\}$, 且 $M⩽N,n⩽N,n,N,M$ 均为正整数.
超几何分布是一种常用的离散分布, 它在抽样理论中占有重要地位.

二、超几何分布的数学期望和方差
若 $X\sim h(n,N,M)$, 则 $X$ 的数学期望为
$$E(X)=\sum _{k=0}^{r}k\frac{\left(\begin{array}{c}M\\ k\end{array}\right)\left(\begin{array}{c}N-M\\ n-k\end{array}\right)}{\left(\begin{array}{l}N\\ n\end{array}\right)}=n\frac{M}{N}.$$
$X$ 的方差为
$$\mathrm{Var}(X)=E\left(X^2\right)-[E(X){]}^2=\frac{nM(N-M)(N-n)}{N^2(N-1)}.$$
三、超几何分布的二项近似
当 $n\ll N$ 时, 即抽取个数 $n$ 远小于产品总数 $N$ 时, 每次抽取后, 总体中的不合格品率 $p=M/N$ 改变甚微, 所以不放回抽样可近似地看成放回抽样, 这时超几 何分布可用二项分布近似:
$$\frac{\left(\begin{array}{l}M\\ k\end{array}\right)\left(\begin{array}{l}N-M\\ n-k\end{array}\right)}{\left(\begin{array}{l}N\\ n\end{array}\right)}\cong \left(\begin{array}{l}n\\ k\end{array}\right)p^k(1-p{)}^{n-k}\text{, 其中 }p=\frac{M}{N}\text{. }$$

2.4.4 几何分布与负二项分布

一、几何分布
在伯努利试验序列中, 记每次试验中事件 $A$ 发生的概率为 $p$, 如果 $X$ 为事件 $A$ 首次出现时的试验次数, 则 $X$ 的可能取值为 $1,2,\cdots$, 称 $X$ 服从几何分布, 记为 $X\sim Ge(p)$, 其分布列为
$$P(X=k)=(1-p{)}^{k-1}p,k=1,2,\cdots .$$

二、几何分布的数学期望和方差
设随机变量 $X$ 服从几何分布 $Ge(p)$, 令 $q=1-p$, 利用逐项微分可得 $X$ 的数学期望为
$$\begin{array}{rl}E(X)& =\sum _{k=1}^{\infty }kp{q}^{k-1}=p\sum _{k=1}^{\infty }k{q}^{k-1}=p\sum _{k=1}^{\infty }\frac{\mathrm{d}{q}^k}{\mathrm{d}q}\\ & =p\frac{\mathrm{d}}{\mathrm{d}q}\left(\sum _{k=0}^{\infty }{q}^k\right)=p\frac{\mathrm{d}}{\mathrm{d}q}\left(\frac{1}{1-q}\right)=\frac{p}{(1-q{)}^2}=\frac{1}{p}.\end{array}$$
$X$ 的方差为
$$\mathrm{Var}(X)=E\left(X^2\right)-[E(X){]}^2=\frac{2q}{p^2}+\frac{1}{p}-\frac{1}{p^2}=\frac{1-p}{p^2}.$$
从几何分布的数学期望可以看出: 投一颗骰子, 首次出现点数 6 的平均投掷次数为 6 次.

三、几何分布的无记忆性

定理 2.4.2(几何分布的无记忆性) 设 $X\sim Ge(p)$, 则对任意正整数 $m$ 与 $n$ 有
$$P(X>m+n\mid X>m)=P(X>n).$$

这个定理表明: 在前 $m$ 次试验中 $A$ 没有出现的条件下, 则在接下去的 $n$ 次试验中 $A$ 仍末出现的概率只与 $n$ 青关, 而与以前的 $m$ 次试验无关, 似乎忘记了前 $m$ 次试 验结果, 这就是无记忆性.

四、负二项分布
作为几何分布的一种延伸,我们注意下面的负二项分布,亦称巴斯卡分布：
在伯努利试验序列中, 记每次试验中事件 $A$ 发生的概率为 $p$, 如果 $X$ 为事件 $A$ 第 $r$ 次出现时的试验次数, 则 $X$ 的可能取值为 $r,r+1,\cdots ,r+m,\cdots$. 称 $X$ 服从负二项分布或巴斯卡分布,其分布列为
$$P(X=k)=\left(\begin{array}{l}k-1\\ r-1\end{array}\right)p^{}(1-p{)}^{k-r},k=r,r+1,\cdots .$$
记为 $X\sim Nb(r,p)$. 当 $r=1$ 时, 即为几何分布.
这是因为在 $k$ 次伯努利试验中, 最后一次一定是 $A$, 而前 $k-1$ 次中 $A$ 应出现 $r-1$ 次, 由二项分布知其概率为 $\left(\begin{array}{c}k-1\\ r-1\end{array}\right)p^{r-1}(1-p{)}^{k-r}$, 再乘以最后一次出现 $A$ 的概率 $p$, 即得.

可以算得负二项分布的数学期望为 $r/p$, 方差为 $r(1-p)/p^2$. 从直观上看这 是合理的, 因为首次出现 $A$ 的平均试验次数是 $1/p$, 那么第 $r$ 个 $A$ 出现所需的平 均试验次数是 $r/p$.
如果将第一个 $A$ 出现的试验次数记为 $X_1$, 第二个 $A$ 出现的试验次数(从第 一个 $A$ 出现之后算起) 记为 $X_2,\cdots$, 第 $r$ 个 $A$ 出现的试验次数(从第 $r-1$ 个 $A$ 出 现之后算起) 记为 $X_{,}$, 见下图 。
$$\underset{X_1}{\bar{A}\bar{A}\cdots \bar{A}A}\underset{X_2}{\bar{A}\bar{A}\cdots \bar{A}A}\cdots \underset{X_r}{\bar{A}\bar{A}\cdots \bar{A}A}$$

则 $X_i$ 独立同分布, 且 $X_i\sim Ge(p)$. 此时有 $X=X_1+X_2+\cdots +X_r\sim Nb(r,p)$ 布的随机变量可以表示成 $r$ 个独立同分布的几何分布随机变量之和.

2.5 常用的连续分布

2.5.1 正态分布

一、正态分布的密度函数和分布函数

若随机变量 $X$ 的密度函数为
$$p(x)=\frac{1}{\sqrt{2\pi }\sigma }{\mathrm{e}}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}},-\infty <x<\infty ,$$
则称 $X$ 服从正态分布, 称 $X$ 为正态变量, 记作 $X\sim N\left(\mu ,{\sigma }^2\right)$. 其中参数 $-\infty <\mu <\infty$, $\sigma >0$. $p(x)$ 是一条钟形曲线, 中间高、两边低、左右关于 $\mu$ 对称, $\mu$ 是正态分布的中心, 且在 $x=\mu$ 附近取值的可能性大, 在两侧取值的可能性小. $\mu \pm \sigma$ 是该曲线的拐点.

二、标准正态分布

称 $\mu =0,\sigma =1$ 时的正态分布 $N(0,1)$ 为标准正态分布.

三、正态变量的标准化

正态分布有一个家族
$$\mathcal{P}=\mid N\left(\mu ,{\sigma }^2\right):-\infty <\mu <\infty ,\sigma >0\}\text{, }$$
以下定理说明:对一般正态分布都可以通过一个线性变换 (标准化)化成标准正态分布. 因此与正态变量有关的一切事件的概率都可通过查标准正态分布函数表获得. 由此可见标准正态分布 $N(0,1)$ 对一般正态分布 $N\left(\mu ,{\sigma }^2\right)$ 的 计算起着关键的作用.

定理 2.5.1 若随机变量 $X\sim N\left(\mu ,{\sigma }^2\right)$, 则 $U=(X-\mu )/\sigma \sim N(0,1)$.

四、正态分布的数学期望与方差

正态分布 $N\left(\mu ,{\sigma }^2\right)$ 中的 $\mu$ 为数学期望，而另一个参数 ${\sigma }^2$ 就是 $X$ 的方差.
在求正态分布的数学期望和方差中, 用到了一种变换: 令 $U=(X-\mu )/\sigma$, 由 $E(U)=0,\mathrm{Var}(U)=1$, 然后再去求出 $X$ 的数学期望和方差. 这个变换具有普遍意义, 也就是对任意随机变量 $X$, 如果 $X$ 的数学期望为 $\mu$, 方差为 ${\sigma }^2$, 则称
$$X^{\ast }=\frac{X-\mu }{\sigma }$$
为 $X$ 的标准化随机变量, 且可得
$$E\left(X^{\ast }\right)=0,\mathrm{Var}\left(X^{\ast }\right)=1.$$
五、正态分布的 $3\sigma$ 原则

尽管正态变是的取值范围是 $(-\infty ,\infty )$, 但它的 $99.73\%$ 的值落在 $(\mu -3\sigma ,\mu +3\sigma )$ 内.

2.5.2 均匀分布

一、均匀分布的密度函数和分布函数

若随机变量 $X$ 的密度函数为
$$p(x)=\{\begin{array}{ll}\frac{1}{b-a},& a<x<b,\\ 0,& \text{ 其他. }\end{array}$$
则称 $X$ 服从区间 $(a,b)$ 上的均匀分布, 记作 $X\sim U(a,b)$, 其分布函数为
$$F(x)=\{\begin{array}{ll}0,& x<a,\\ \frac{x-a}{b-a},& a⩽x<b,\\ 1,& x⩾b.\end{array}$$
二、均匀分布的数学期望和方差

设随机变量 $X\sim U(a,b)$, 则
$$E(X)={\int }_a^b\frac{x}{b-a}\mathrm{d}x=\frac{b^2-a^2}{2(b-a)}=\frac{a+b}{2},$$
这正是区间 $(a,b)$ 的中点.
$X$ 的方差为
$$\mathrm{Var}(X)=E\left(X^2\right)-[E(X){]}^2=\frac{a^2+ab+b^2}{3}-\frac{(a+b{)}^2}{4}=\frac{(b-a{)}^2}{12}.$$

2.5.3 指数分布

一、指数分布的密度函数和分布函数
若随机变量 $X$ 的密度函数为
$$p(x)=\{\begin{array}{cc}\lambda {\mathrm{e}}^{-\lambda x},& x⩾0,\\ 0,& x<0,\end{array}$$
则称 $X$ 服从指数分布, 记作 $X\sim \mathrm{Exp}(\lambda )$, 其中参数 $\lambda >0$. 指数分布的分布函数为

$X$ 服从指数分布, 记作 $X\sim Ex$ 参数 $\lambda >0$. 指数分布的分布函数为
$$F(x)=\{\begin{array}{cl}1-{\mathrm{e}}^{-\lambda x},& x⩾0,\\ 0,& x<0.\end{array}$$
二、指数分布的数学期望和方差

设随机变量 $X\sim \mathrm{Exp}(\lambda )$, 则
$$\begin{array}{rl}E(X)& ={\int }_0^{\infty }x\lambda {\mathrm{e}}^{-\lambda x}\mathrm{d}x={\int }_0^{\infty }x\mathrm{d}\left(-{\mathrm{e}}^{-\lambda x}\right)\\ & =-{x{\mathrm{e}}^{-\lambda x}|}_0^{\infty }+{\int }_0^{\infty }{\mathrm{e}}^{-\lambda x}\mathrm{d}x=-{\frac{1}{\lambda }{\mathrm{e}}^{-\lambda x}|}_0^{\infty }=\frac{1}{\lambda }.\end{array}$$
$X$ 的方差为
$$\mathrm{Var}(X)=E\left(X^2\right)-[E(X){]}^2=\frac{2}{{\lambda }^2}-\frac{1}{{\lambda }^2}=\frac{1}{{\lambda }^2}.$$

三、指数分布的无记忆性

定理 2.5.2(指数分布的无记忆性) 如果随机变量 $X\sim \mathrm{Exp}(\lambda )$, 则对任意 $s>0,t>0$, 有
$$P(X>s+t\mid X>s)=P(X>t).$$

上式的意义为: 记 $X$ 是某种产品的使用寿命 ( $\mathrm{h})$, 若 $X$ 服从指数分布, 那么 已知此产品使用了s $(\mathrm{h})$ 没发生故障, 则再能使用 $t(\mathrm{h})$ 而不发生故障的概率与已使用的 $s(\mathrm{h})$ 无关, 只相当于重新开始使用 $t(\mathrm{h})$ 的概率, 即对已使用过的 $s(\mathrm{h})$ 没有记忆.
指数分布的无记忆性与几何分布的无记忆性是类似的.

2.5.4 伽玛分布

一、伽玛函数
称以下函数
$$\Gamma (\alpha )={\int }_0^{\infty }{x}^{\alpha -1}{\mathrm{e}}^{-x}\mathrm{d}x$$
为伽玛函数, 其中参数 $\alpha >0$. 伽玛函数具有如下性质:
(1) $\Gamma (1)=1,\Gamma \left(\frac{1}{2}\right)=\sqrt{\pi }$.
(2) $\Gamma (\alpha +1)=\alpha \Gamma (\alpha )$ (可用分部积分法证得). 当 $\alpha$ 为自然数 $n$ 时, 有 $\Gamma (n+1)=n\Gamma (n)=n!$.
二、伽玛分布
若随机变量 $X$ 的密度函数为
$$p(x)=\{\begin{array}{ll}\frac{{\lambda }^{\alpha }}{\Gamma (\alpha )}{x}^{\alpha -1}{\mathrm{e}}^{-\lambda x},& x⩾0,\\ 0,& x<0,\end{array}$$
则称 $X$ 服从伽玛分布, 记作 $X\sim Ga(\alpha ,\lambda )$, 其中 $\alpha >0$ 为形状参数, $\lambda >0$ 为尺度参数.

三、伽玛分布 $Ga(\alpha ,\lambda )$ 的数学期望和方差
利用伽玛函数的性质, 不难算得伽玛分布 $\mathrm{G}\mathrm{a}(\alpha ,\lambda )$ 的数学期望为
$$E(X)=\frac{{\lambda }^{\alpha }}{\Gamma (\alpha )}{\int }_0^{\infty }{x}^{\alpha }{\mathrm{e}}^{-\lambda x}\mathrm{d}x=\frac{\Gamma (\alpha +1)}{\Gamma (\alpha )}\frac{1}{\lambda }=\frac{\alpha }{\lambda },$$
$X$ 的方差为
$$\mathrm{Var}(X)=E\left(X^2\right)-[E(X){]}^2=\frac{\alpha (\alpha +1)}{{\lambda }^2}-{\left(\frac{\alpha }{\lambda }\right)}^2=\frac{\alpha }{{\lambda }^2}.$$
四、伽玛分布的两个特例
伽玛分布有两个常用的特例:

1. $\alpha =1$ 时的伽玛分布就是指数分布, 即
   $$\mathrm{Ga}(1,\lambda )=\mathrm{Exp}(\lambda ).$$
2. 称 $\alpha =n/2,\lambda =1/2$ 时的伽玛分布是自由度为 $n$ 的 ${\chi }^2$ (卡方) 分布, 记为 ${\chi }^2(n)$, 即
   $$Ga\left(\frac{n}{2},\frac{1}{2}\right)={\chi }^2(n),$$
   其密度函数为
   $$p(x)=\{\begin{array}{cc}\frac{1}{2^{\frac{n}{2}}\Gamma \left(\frac{n}{2}\right)}{\mathrm{e}}^{-\frac{4}{2}{x}^{\frac{\pi }{2}-1}},& x>0,\\ 0,& x⩽0.\end{array}$$

因为 ${\chi }^2$ 分布是特殊的份玛分布, 故由伽玛分布的期望和方差, 很容易得到 ${\chi }^2$ 分布的期望和方差为
$$E(X)=n,\mathrm{Var}(X)=2n.$$

2.5.5 贝塔分布

一、贝塔函数
称以下函数
$$\mathrm{B}(a,b)={\int }_0^1{x}^{a-1}(1-x{)}^{b-1}\mathrm{d}x$$
为贝塔函数, 其中参数 $a>0,b>0$. 贝塔函数具有如下性质：
(1) $\mathrm{B}(a,b)=\mathrm{B}(b,a)$.

(2) 贝塔函数与伽玛函数间有关系
$$\mathrm{B}(a,b)=\frac{\Gamma (a)\Gamma (b)}{\Gamma (a+b)}.$$

二、贝塔分布
若随机变量 $X$ 的密度函数为$$p(x)=\{\begin{array}{ll}\frac{\Gamma (a+b)}{\Gamma (a)\Gamma (b)}{x}^{a-1}(1-x{)}^{b-1},& 0<x<1,\\ 0,& \text{ 其他, }\end{array}$$
则称 $X$ 服从贝塔分布, 记作 $X\sim Be(a,b)$, 其中 $a>0,b>0$ 都是形状参数.

三、贝塔分布$Be(a,b)$ 的数学期望和方差
利用贝塔函数的性质, 不难算得贝塔分布 $\mathrm{Be}(a,b)$ 的数学期望为
$$\begin{array}{rl}E(X)& =\frac{\Gamma (a+b)}{\Gamma (a)\Gamma (b)}{\int }_0^1{x}^a(1-x{)}^{b-1}\mathrm{d}x\\ & =\frac{\Gamma (a+b)}{\Gamma (a)\Gamma (b)}\cdot \frac{\Gamma (a+1)\Gamma (b)}{\Gamma (a+b+1)}=\frac{a}{a+b}.\end{array}$$
$X$ 的方差为$$\mathrm{Var}(X)=\frac{a(a+1)}{(a+b)(a+b+1)}-{\left(\frac{a}{a+b}\right)}^2=\frac{ab}{(a+b{)}^2(a+b+1)}.$$

2.6 随机变量函数的分布

设 $y=g(x)$ 是定义在直线上的一个函数, $X$ 是一个随机变量, 那么 $Y=$ $g(X)$ 作为 $X$ 的函数, 同样也是一个随机变量. 在实际问题中, 我们经常感兴趣的问题是: 已知随机变量 $X$ 的分布, 如何求出另一个随机变量 $Y=g(X)$ 的分布.

2.6.1 离散随机变量函数的分布

离散随机变量函数的分布是比较容易求得的，在此不做赘述。

2.6.2 连续随机变量函数的分布

对连续随机变量 $X$,我们分以下几种情况讨论 $Y=g(X)$ 的分布.
一、当 $g(x)$ 为严格单调时

定理 2.6.1 设 $X$ 是连续随机变量，其密度函数为 $p_X(x).Y=g(X)$ 是另一 个随机变量. 若 $y=g(x)$ 严格单调, 其反函数 $h(y)$ 有连续导函数, 则 $Y=g(X)$ 的密度函数为
$$p_{\gamma }(y)=\{\begin{array}{lc}{p}_x[h(y)]\left|h^{\prime }(y)\right|,& a<y<b,\\ 0,& \text{ 其他. }\end{array}$$
其中 $a=\min \{g(-\infty ),g(\infty )\},b=\max \{g(-\infty ),g(\infty )\mid$.

定理 2.6.2 设随机变量 $X$ 服从正态分布 $N(\mu ,\sigma )$, 则当 $a\ne 0$ 时, 有 $Y=$ $aX+b\sim N\left(a\mu +b,a^2{\sigma }^2\right)$.

这个定理表明:正态变量的线性变换仍为正态变量,其数学期望和方差可直接从线性变换求得.

定理 2.6.3(对数正态分布) 设随机变量 $X\sim N\left(\mu ,{\sigma }^2\right)$, 则 $Y={\mathrm{e}}^x$ 的概率密度函数为
$$p_{\gamma }(y)=\{\begin{array}{ll}\frac{1}{\sqrt{2\pi }y\sigma }\exp \left\{-\frac{(\ln y-\mu {)}^2}{2{\sigma }^2}\right\},& y>0,\\ 0,& y⩽0.\end{array}$$

这个分布被称为对数正态分布, 记为 $LN\left(\mu ,{\sigma }^2\right)$, 其中 $\mu$ 称为对数均值, ${\sigma }^2$ 称为对数方差.

定理 2.6.4 设随机变量 $X$ 服从伽玛分布 $Ga(\alpha ,\lambda )$, 则当 $k>0$ 时, 有 $Y=kX\sim Ga(\alpha ,\lambda /k)$.

定理 2.6.5 若随机变量 $X$ 的分布函数 $F_x(x)$ 为严格单调增的连续函数, 其反函数 $F_x^{-1}(y)$ 存在, 则 $Y=F_x(X)$ 服从 $(0,1)$ 上的均匀分布 $U(0,1)$.

这个定理表明: 均匀分布在连续分布类中占有特殊地位. 任一个连续随机变量 $X$ 都可通过其分布函数 $F(x)$ 与均匀分布随机变量 $U$ 发生关系. 譬如 $X$ 服从指数分布 $\mathrm{Exp}(\lambda )$, 其分布函数为 $F(x)=1-{\mathrm{e}}^{-\lambda x}$, 当 $x$ 换为 $X$ 后, 有
$$U=1-{\mathrm{e}}^{-\lambda x}\text{ 或 }X=\frac{1}{\lambda }\ln \frac{1}{1-U}\text{. }$$
后一式表明: 由均匀分布 $U(0,1)$ 的随机数 (由观察值) $u_i$ 可得指数分布 $\mathrm{Exp}(\lambda )$ 的随机数 $x_i=\frac{1}{\lambda }\ln \frac{1}{1-u_i},i=1,2,\cdots ,n,\cdots$. 而均匀分布随机数在任一个统计软件都可产生, 从而指数分布 (继而其他分布) 随机数也可获得. 而各种分布随机数的获得是进行随机模拟法 (又称蒙特卡罗法)的基础.

二、当 $g(x)$ 为其他形式时
当使用定理 2.6.1 寻求 $Y=g(X)$ 的分布有困难时, 可直接由 $Y$ 的分布函数 $F_{\gamma }(y)=P(g(X)⩽y)$ 出发, 按函数 $g(x)$ 的特点作个案处理。

2.7 分布的其他特征数

2.7.1 $k$ 阶矩

定义 2.7.1
设 $X$ 为随机变量, $k$ 为正整数. 如果以下的数学期望都存在, 则称
$${\mu }_k=E\left(X^k\right)$$
为 $X$ 的 $k$ 阶原点矩. 称
$${\nu }_k=E(X-E(X){)}^k$$
为 $X$ 的 $k$ 阶中心矩.

显然,一阶原点矩就是数学期望, 二阶中心矩就是方差. 由于 $|X{|}^{k-1}⩽$$|X{|}^k+1$, 故 $k$ 阶矩存在时, $k-1$ 阶矩也存在, 从而低于 $k$ 的各阶矩都存在. 中心矩和原点矩之间有一个简单的关系,
$${\nu }_k=E(X-E(X){)}^k=E{\left(X-{\mu }_1\right)}^k=\sum _{i=0}^i\left(\begin{array}{l}k\\ i\end{array}\right){\mu }_i{\left(-{\mu }_1\right)}^{k-i}\text{, }$$
故前四阶中心矩可分别用原点矩表示如下:
$$\begin{array}{rl}& {\nu }_1=0,\\ & {\nu }_2={\mu }_2-{\mu }_1^2,\\ & {\nu }_3={\mu }_3-3{\mu }_2{\mu }_1+2{\mu }_1^3,\\ & {\nu }_4={\mu }_4-4{\mu }_3{\mu }_1+6{\mu }_2{\mu }_1^2-3{\mu }_1^4.\end{array}$$

2.7.2 变异系数

方差 (或标准差) 反映了随机变量取值的波动程度,但在比较两个随机变量的波动大小时, 如果仅看方差 (或标准差) 的大小有时会产生不合理的现象. 这有两个原因: (1) 随机变量的取值有量纲, 不同量纲的随机变量用其方差(或标准差)去比较它们的波动大小不太合理. (2) 在取值的量纲相同的情况下, 取值的大小有一个相对性问题, 取值较大的随机变量的方差 (或标准差) 也允许大一些.
所以要比较两个随机变量的波动大小时, 在有些场合使用以下定义的变异系数来进行比较, 更具可比性.

定义 2.7.2
设随机变量 $X$ 的二阶矩存在, 则称比值
$$C_i(X)=\frac{\sqrt{\mathrm{Var}(X)}}{E(X)}=\frac{\sigma (X)}{E(X)}$$
为 $X$ 的变异系数.
因为变异系数是以其数学期望为单位去度量随机变量取值波动程度的特征数, 标准差的量纲与数学期望的量纲是一致的, 所以变异系数是一个无量纲的量,从而消除量纲对波动的影响.

2.7.3 分位数

定义 2.7.3
设连续随机变量 $X$ 的分布函数为 $F(x)$, 密度函数为 $p(x)$. 对 任意 $p\in (0,1)$,称满足条件
$$F\left(x_p\right)={\int }_{-\infty }^{x_p}p(x)\mathrm{d}x=p$$
的 $x$, 为此分布的 $p$ 分位数，又称下侧 $p$ 分位数.

同理我们称满足条件
$$1-F\left(x_p^{\prime }\right)={\int }_{x_p^{\prime }}^{\infty }p(x)\mathrm{d}x=p$$
的 $x_1^{\prime }$ 为此分布的上侧 $p$ 分位数.

分位数与上侧分位数是可以相互转换的, 其转换公式如下.
$$x_p^{\prime }=x_{1-p},x_p=x_{1-p}^{\prime }\text{. }$$

2.7.4 中位数

定义 2.7.4
设连续随机变量 $X$ 的分布函数为 $F(x)$, 密度函数为 $p(x)$. 称 $p=0.5$ 时的 $p$ 分位数 $x_{0.5}$ 为此分布的中位数, 即 $x_{0.5}$ 满足
$$F\left(x_{0.5}\right)={\int }_{-\infty }^{x_{0.5}}p(x)\mathrm{d}x=0.5.$$

2.7.5 偏度系数

定义 2.7.5 设随机变量 $X$ 的前三阶矩存在, 则如下比值
$${\beta }_S=\frac{{\nu }_3}{{\nu }_2^{3/2}}=\frac{E(X-EX{)}^3}{[\mathrm{Var}(X){]}^{3/2}}$$
称为 $X$ (或分布) 的偏度系数, 简称偏度. 当 ${\beta }_s>0$ 时, 称该分布为正偏, 又称右偏;当 ${\beta }_s<0$ 时，称该分布为负偏，又称左偏.

2.7.6 峰度系数

定义 2.7.6
设随机变量 $X$ 的前四阶矩存在, 则如下比值减去 3
$${\beta }_k=\frac{{\nu }_4}{{\nu }_2^2}-3=\frac{E(X-EX{)}^4}{[\mathrm{Var}(X){]}^2}-3$$
称为 $X$ (或分布) 的峰度系数, 简称峰度.