数学基础之概率论（2）——随机变量及其分布

数学基础之概率论（2）——随机变量及其分布

1、随机变量
a. 定义：设$E$是随机试验，它的样本空间是$S=\{e\}$。如果对于每一个$e\in S$，有一个实数$X(e)$与之对应，这样就得到一个定义在$S$上的单值实值函数$X(e)$，称$X(e)$为随机变量（随机变量常用$X,Y,Z$ 或 $\xi ,\eta$ 等来表示）。
定义说明：
$(1)$ 随机变量与普通的函数不同，由于随机变量是定义在样本空间上的，所以它的自变量不一定是实数；
$(2)$ 随机变量的取值具有一定的概率规律；
$(3)$ 随机事件被包含在随机变量这个概念里。

b. 分类：
$(1)$ 离散型：随机变量所取的可能值是有限多个或者无限可列个，叫做离散型随机变量
$(2)$ 连续型：随机变量所取的可能值可以连续地充满某个区间，叫做连续型随机变量

2、离散型随机变量的分布律
a. 定义：若随机变量$X$取值$x_1,x_2,...,x_n,...,$且取这些值的概率依次为$p_1,p_2,...,p_n,...,$则称$P\{X=x_k\}=p_k,(k=1,2,3...)$为$X$的分布律。
可以表示为：$X\sim P\{X=x_k\}=p_k,(k=1,2,3,...),$
或者：

$X$	$x_1$	$x_2$	$...$	$x_k$	$...$
$P_k$	$p_1$	$p_2$	$...$	$p_k$	$...$

b. 性质：
$(1)$ 非负性：$p_k⩾0,k=1,2,3,...;$
$(2)$ 归一性：${\sum }_{k⩾1}{p}_k=1$。
因此，对于离散型随机变量来说，概率分布律可以完全描述它的统计规律，即已知分布律，就可以求出各种概率。
$P(X\in (a,b))={\sum }_{x_i\in (a,b)}P(X=x_i)$

c. 两点分布：设随机变量$X$只可能取 $0$ 与 $1$ 两个值，它的分布律为：

$X$	$0$	$1$
$p_k$	$1-p$	$p$

则称$X$服从（0-1）分布或者两点分布。由此，我们有了贝努利试验的概念：若试验$E$只有两个结果，记为$A,A^c$。

d. 二项分布：
在了解二项分布的概念之前，我们先来看看根据贝努利试验而衍生出的$n$重贝努利试验：独立（指某次试验事件$A$发生与否与其他次试验事件$A$发生与否互不影响）重复（指每次试验$P(A)$恒定不变）地进行$n$次贝努利试验。
下面我们来看二项概率公式：若$X$表示$n$重贝努利试验中事件$A$发生的次数，则$X$所有可能取得的值为$0,1,2,...,n$。当$X=k(0⩽k⩽n)$时，即$A$在$n$次试验中发生了$k$次。由于$A$在$n$次试验中发生$k$次的方式共有${(}_k^n)$种，且两两无关，所以概率为${(}_k^n)p^k(1-p{)}^{n-k}\stackrel{q=1-p}{}{(}_k^n)p^k{q}^{n-k}$，得$X$的分布律为

$X$	$0$	$1$	$...$	$k$	$...$	$n$
$p_k$	$q^n$	${(}_1^n)p{q}^{n-1}$	$...$	${(}_k^n)p^k{q}^{n-k}$	$...$	$p^n$

称这样的分布为二项分布。记为$X\sim b(n,p)$。
实际上，二项分布 $\stackrel{n=1}{}$ 两点分布。但是，二项分布也给我们带来了新面孔：二项分布 $\stackrel{np\to \lambda (n\to +\infty )}{}$ 泊松分布（$\lambda$指一个定值）。

e. 泊松分布：设随机变量所有可能取的值为$0,1,2,...,$而取各个值的概率为$P\{X=k\}=\frac{{\lambda }^k{e}^{-\lambda }}{k!},k=0,1,2,...,$其中$\lambda >0$是常数。则称$X$服从参数为$\lambda$的泊松分布，记为$X\sim \pi (\lambda )$。（泊松分布多见于用随机变量$X$表示在一定的时间或空间内出现的事件个数的场合）上面二项分布和泊松分布的转化，一般满足$n>10,p<0.1$就可以了。我们来简单看看证明的计算过程：
已知：$X\sim b(n,p)$ 且 $np\to \lambda (n\to +\infty )$，则
$P\{X=k\}$
$=\frac{(n-1)(n-2)\cdot \cdot \cdot (n-k+1)\times (n-k)!\times (\frac{p_n}{1-p_n}{)}^k(1-p_n{)}^n}{k!(n-k)!}$
$\approx \frac{(\frac{n{p}_n}{1-p_n}{)}^k(1-\frac{n{p}_n}{n}{)}^n}{k!}\to \frac{{\lambda }^k{e}^{-\lambda }}{k!}$

3、分布函数
a. 定义：设$X$是随机变量，$x$是任意实数，函数$F(x)=P\{X⩽x\}$称为随机变量$X$的分布函数。易知，对任意实数$a,b$ $(a<b),P\{a<X⩽b\}=P\{X⩽b\}-P\{X⩽a\}=F(b)-F(a)$。

b. 性质：
$(1)$ 单调不减性：若$x_1<x_2$，则$F(x_1)⩽F(x_2)$；
$(2)$ 归一性：对任意实数$x,0⩽F(x)⩽1,$且$F(-\infty )={\lim }_{x\to -\infty }F(x)=0,F(+\infty )={\lim }_{x\to +\infty }F(x)=1$；
$(3)$ 右连续性：对任意实数$x_0,F(x_0+0)={\lim }_{x\to x_0^{+}}F(x)=F(x_0)$
上述三个性质本身也是分布函数的充分必要性质。

c. 一般地，对离散型随机变量$X\sim P\{X=x_k\}=p_k,k=1,2,3,...,$其分布函数为$F(x)=P\{X⩽x\}={\sum }_{k:x_k⩽x}{p}_k$。同时，离散型随机变量的分布函数是阶梯函数，其跳跃点对应离散型随机变量的可能取值点，跳跃高度对应随机变量取对应值的概率。反之，如果某随机变量的分布函数是阶梯函数，则该随机变量必为离散型。

d. 常用公式：
$(1)$ $P\{a<X⩽b\}=F(b)-F(a);$
$(2)$ $P\{X>a\}=1-F(a);$
$(3)$ $P\{X=a\}={\lim }_{x\to a^{+}}F(x)-{\lim }_{x\to a^{-}}F(x)=F(a)-F(a-0);$
$(4)$ $P\{X<a\}=F\{a-0\}$。

4、连续型随机变量的概率密度
a. 定义：对于随机变量$X$，若存在非负函数$f(x),(-\infty <x<+\infty )$，使对于任意实数$x$，都有$F(x)=P\{X⩽x)={\int }_{-\infty }^{x}f(u)du$，则称$X$为连续型随机变量，$f(x)$为$X$的概率密度函数，简称概率密度或密度函数。常记为：$X\sim f(x),(-\infty <x<+\infty )$。

b. 性质：
$(1)$ 非负性：$f(x)⩾0,(-\infty <x<+\infty )$；
$(2)$ 归一性：${\int }_{-\infty }^{+\infty }f(x)dx=1$。
上述性质同时也是密度函数的充要性质
$(3)$ $P\{x_1<X⩽x_2\}=F(x_2)-F(x_1)={\int }_{x_1}^{x_1}f(x)dx$；
同时也有：
$P\{X⩽a\}=F(a)={\int }_{-\infty }^{a}f(x)dx$，
$P\{X>a\}=1-P\{X⩽a\}={\int }_{-\infty }^{+\infty }f(x)dx+{\int }_a^{-\infty }f(x)dx={\int }_a^{+\infty }f(x)dx$。
注意，对于任意可能值$a$，连续型随机变量取$a$的概率等于$0$，即$P\{X=a\}=0$，由此可得：
$P\{a⩽X⩽b\}=P\{a<X⩽b\}=P\{a⩽X<b\}=P\{a<X<b\}$，即连续型随机变量取值落在某一区间的概率与区间的开闭无关。这里也引出了连续型与离散型的一个区别：
若$X$为离散型随机变量$\{X=a\}$是不可能事件 $\iff$ $P\{X=a\}=0$；然而，若$X$是连续型随机变量，$\{X=a\}$是不可能事件 $\Rightarrow$ $P\{X=a\}=0$，$P\{X=a\}=0$ $\nRightarrow$ $\{X=a\}$是不可能事件。
$(4)$ 若$x$是$f(x)$的连续点，则$\frac{dF(x)}{dx}=f(x)$。

c. 均匀分布：若$X\sim f(x)=\{\begin{array}{l}\frac{1}{b-a},a<x<b\\ \\ 0,others\end{array}$，则称$X$在$(a,b)$内服从均匀分布。记为$X\sim U(a,b)$。对于任意实数$c,d(a<c<d<b)$，都有$P\{c<X<d\}={\int }_c^{d}f(x)dx={\int }_c^d\frac{1}{b-a}dx=\frac{d-c}{b-a}$，这说明$X$落在$(a,b)$中任一区间的概率只与该区间的长度成正比，而与该区间的位置无关，这就是均匀分布的概率意义。分布函数为：$F(x)=\{\begin{array}{l}0,x<a\\ \\ \frac{x-a}{b-a},a⩽x<b\\ \\ 1,x⩾b\end{array}$ 。

d. 指数分布：若$X\sim f(x)=\{\begin{array}{l}\lambda e^{-\lambda x},x>0\\ \\ 0,x⩽0\end{array}$，则称$X$服从参数为$\lambda >0$的指数分布。分布函数为：$F(x)=\{\begin{array}{l}1-e^{-\lambda x},x>0\\ \\ 0,x⩽0\end{array}$。注意，指数分布具有“无记忆性”：$P\{X>s+t|X>s\}=P\{X>t\}$。

e. 正态分布/高斯分布：
定义：设连续型随机变量$X$的概率密度为$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}},-\infty <x<+\infty$，其中$\mu ,\sigma (\sigma >0)$为常数，则称$X$服从参数为$\mu ,\sigma$的正态分布或高斯分布，记为$X\sim N(\mu ,{\sigma }^2)$。
正态概率密度函数的几何特征：
$(1)$ 曲线关于$x=\mu$对称；
$(2)$ 当$x=\mu$时，$f(x)$取得最大值$\frac{1}{\sqrt{2\pi }\sigma }$；
$(3)$ 当$x\to \pm \infty$时，$f(x)\to 0$；
$(4)$ 曲线在$x=\mu \pm \sigma$处有拐点；
$(5)$ 曲线以$x$轴为渐近线；
$(6)$ 当固定$\sigma$，改变$\mu$的大小时，$f(x)$图形的形状不变，只是沿着$x$轴作平移变换；
$(7)$ 当固定$\mu$，改变$\sigma$的大小时，$f(x)$图形的对称轴不变，而形状在改变，$\sigma$越小，图形越陡。
分布函数为：$F(x)=\frac{1}{\sqrt{2\pi }\sigma }{\int }_{-\infty }^x{e}^{-\frac{(t-\mu {)}^2}{2{\sigma }^2}}dt$。
标准正态分布：参数$\mu =0,{\sigma }^2=1$的正态分布，记为$X\sim N(0,1)$。其密度函数为$\phi (x)=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{x^2}{2}},-\infty <x<+\infty$，分布函数为$\Phi (x)=P\{X⩽x\}=\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^x{e}^{-\frac{t^2}{2}}dt,-\infty <x<+\infty$。注意，在计算$\Phi (x)$值时，一般需要结合标准正态分布表和以下性质：
$(1)$ $\Phi (x)=1-\Phi (-x)$；
$(2)$ 若$X\sim N(\mu ,{\sigma }^2)$，则$F(x)=P\{X⩽x\}=\Phi (\frac{x-\mu }{\sigma })$。

5、离散型随机变量函数的分布律
a. 定义：设$f(x)$是定义在随机变量$X$的一切可能值$x$的集合上的函数，若随机变量$Y$随着$X$取值$x$的值而取$y=f(x)$的值，则称随机变量$Y$为随机变量$X$的函数，记为$Y=f(X)$。

b. 求法：如果$X$是离散型随机变量，其函数$Y=g(X)$也是离散型随机变量，若$X$的分布律为

$X$	$x_1$	$x_2$	$...$	$x_k$	$...$
$p_k$	$p_1$	$p_2$	$...$	$p_k$	$...$

则$Y=g(X)$的分布律为

$Y=g(X)$	$g(x_1)$	$g(x_2)$	$...$	$g(x_k)$	$...$
$p_k$	$p_1$	$p_2$	$...$	$p_k$	$...$

若$g(x_k)$中有值相同的，将他们对应的$p_k$合并。

6、连续型随机变量函数的密度函数
a. 定义：设$f(x)$是定义在随机变量$X$的一切可能值$x$的集合上的函数，若随机变量$Y$随着$X$取值$x$的值而取$y=f(x)$的值，则称随机变量$Y$为随机变量$X$的函数，记为$Y=f(X)$。

b. 求法：
$(1)$ 若$X\sim f(x),-\infty <x<+\infty ,Y=g(X)$为随机变量$X$的函数，则可先求$Y$的分布函数$F_Y(y)=P\{Y⩽y\}=P\{g(X)⩽y\}={\int }_{g(X)⩽y}f(x)dx$，再求$Y$的密度函数$f_Y(y)=\frac{d{F}_Y(y)}{dy}$。
$(2)$ 公式法：一般地，若$X\sim f_X(x),Y=g(X)$是严格单调可导函数，则$Y=g(X)\sim f_Y(y)=f_X[g^{-1}(y)]|\frac{d}{dy}{g}^{-1}(y)|$。注意定义域的选取。