概率论-随机变量与分布(基础概念）

一.定义和概念

1.随机变量的定义

• 定义在样本空间上，取值于实数轴上的函数叫做随机变量。
  比如抛硬币的样本空间为硬币正面朝上和硬币反面朝上两种。可以用数字1代替硬币正面朝上，用0代替硬币反面朝上。

2.分布函数的概念

• 设$X$是随机遍历，$x$是任意实数，称函数$F(x)=P(X\le x)(x\in R)$为随机变量$X$的分布函数，或称$X$服从分布$F(X)$,记为$X$~$F(X)$.

3.离散型随机变量及其概率分布

• 如果随机变量$X$只可能取有限个或可列个值$x_1,x_2,...,$，则称$X$为离散型随机变量，称$P\{X=x_i\}=p_i,i=1,2,...$。切有${\sum }_i{p}_i=1$。
• 设离散型随机变量$X$的概率分布为$P\{X=x_i\}=p_i$，则$X$的分布函数$F(X)=P\{X\le x\}={\sum }_{x_i\le x}P\{X=x_i\}$。

4.连续型随机变量及其概率密度

• 如果随机变量$X$的分布函数可以表示为$F(x)={\int }_{-\infty }^{x}f(t)dt(x\in R)$，其中$f(x)$是非负可积函数，则称$X$为连续性随机变量，称$f(x)$为$X$的概率密度函数，简称为概率密度。

5.伯努利试验

• 只计“成功”和“失败”两种对立结果的试验，称作伯努利试验。将伯努利试验重复进行n次，称作n重伯努利试验，亦简称为伯努利试验。
• 伯努利试验的特点：
  • 只有两种对立结果
  • 各次试验相互独立
  • 各词试验成功概率相同

6.随机变量的数字特征

（1）数学期望

• 设$X$是随机变量，$Y$是$X$的函数，$Y=g(X)$。
• 1.如果$X$是离散型随机变量，其分布列为$p_i=P\{X=x_i\}(i=1,2,...)$，若级数${\sum }_{i=1}^{\infty }{x}_i{p}_i$绝对收敛，则称随机变量$X$的数学期望存在，记为$E(X)$或$EX$，即$$EX=\sum _{i=1}^{\infty }{x}_i{p}_i$$
• 2.如果$X$是连续型随机变量，其概率密度为$f(x)$，若积分${\int }_{-\infty }^{\infty }xf(x)dx$绝对收敛，则称$X$的数学期望存在，且$$EX={\int }_{-\infty }^{\infty }xf(x)dx$$

（2）方差

• 设$X$是随机变量，如果$E[(X-EX{)}^2]$存在，则称$E[(X-EX{)}^2]$为$X$的方差，记为$DX$，即$$\begin{gathered} DX=E(X-EX{)}^2 \\ =E{X}^2-2(EX{)}^2+(EX{)}^2 \\ =E{X}^2-(EX{)}^2 \end{gathered}$$【注】EX是常数。
• 称$\sqrt{DX}$为$X$的标准差或均方差，记为$\sigma (X)$。称随机变量$X^{\ast }=\frac{X-EX}{\sqrt{DX}}$为X的标准化随机变量，此时$E{X}^{\ast }=0,D{X}^{\ast }=1$.

（3）协方差与相关系数

• 如果随机变量$X$与$Y$的方差存在且$DX>0,DY<0$，则称$E[(X-EX)(Y-EY)]$为随机变量$X$与$Y$的协方差，并记为$Cov(X,Y)$，即$$Cov(X,Y)=E[(X-EX)(Y-EY)]=E(XY)-EX\cdot EY$$
  其中$$E(XY)=\{\begin{array}{l}{\sum }_i{\sum }_j{x}_i{y}_{j}P\{X=x_i,Y=y_j\}（离散型）\\ {\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }xyf(x,y)dxdy（连续型）\end{array}$$
• 称${\rho }_{XY}=\frac{Cov(X,Y)}{\sqrt{DX}\sqrt{DY}}$为随机变量$X$与$Y$的相关系数（描述的是线性相依性）。如果${\rho }_{XY}=0$，则称$X$与$Y$不相关；如果${\rho }_{XY}\ne 0$，则称$X$与$Y$相关。

二.常见的一维随机变量分布类型（八大分布）

1.离散型（５个）

（1）0-1分布$B(1,p)$（伯努利一次试验）

• 如果$X$的概率分布为$X$~$\left(\begin{array}{cc}1& 0\\ p& 1-p\end{array}\right)$，即$P\{X=1\}=p$，$P\{X=0\}=1-p$，则称$X$服从参数为$p$的0-1分布，记为$X$~$B(1,p)(0<p<1)$。

（2）二项分布$B(n,p)$（n重伯努利试验）

• 如果$X$的概率分布为$P\{X=k\}=C_n^k{p}^k(1-p{)}^{n-k}(k=0,1,...,n;0<p<1)$，则称$X$服从参数为$(n,p)$的二项分布，记为$X$~$B(n,p)$。

（3）泊松分布$P(\lambda )$

• 如果$X$的概率分布为$P\{X=k\}=\frac{{\lambda }^k}{k!}{e}^{-\lambda }(k=0,1,...;\lambda >0)$，则称$X$服从参数为$lambda$的泊松分布，记为$X$~$P(\lambda )$。
• 某场合某单位时间内源源不断的质点来临的个数。（比如某超市八点到九点来的顾客的个数，$k$为来了多少人，$\lambda$为强度）

（4）几何分布$G(p)$（伯努利无穷试验）

• 首中即停止（第k次投中）
• 如果$X$的概率分布为$P\{X=k\}=(1-p{)}^{k-1}p(k=1,2,...;0<p<1)$，则称$X$服从参数为$p$的几何分布，记为$X$~$G(p)$。

（5）超几何分布$H(n,N,M)$

• 如果$X$的概率分布为$$\begin{gathered} P\{X=k\}=\frac{C_M^k{C}_{N-M}^{n-k}}{C_N^n} \\ (max\{0,n-N+M\}\le k\le min\{M,n\};M,N,n为正整数且M\le N,n\le N,k为整数) \end{gathered}$$，则称$X$服从参数为$(n,N,M)$的超几何分布。记为$X$~$H(n,N,M)$。
• 现实问题，$N$件产品，其中$M$件次品，$N-M$件正品，则任取$n$件，取到$k$件词频的概率。

2.连续型（3个）

（1）均匀分布$U(a,b)$

• 如果随机变量$X$的概率密度或分布函数分别为$$f(x)=\{\begin{array}{l}\frac{1}{b-a},a<x<b\\ 0,其他，\end{array}$$$$F(x)=\{\begin{array}{l}0,x<a\\ \frac{x-a}{b-a},a\le x<b\\ 1,x\ge b\end{array}$$则称$X$在区间$(a,b)$上服从均匀分布，记为$X$~$U(a,b)$。（如下两图）
  

---

（2）指数分布$E(\lambda )$

• 如果$X$的概率密度或分布函数分别为$$f(x)=\{\begin{array}{l}\lambda e^{-\lambda x},x>0\\ 0,其他\end{array}$$$$F(x)=\{\begin{array}{l}1-e^{-\lambda x},x\ge 0\\ 0,x<0\end{array}(\lambda >0)$$则称$X$服从参数为$\lambda$的指数分布，记为$X$~$E(\lambda )$。
• 指数分布叫作等待型分布。

（3）正态分布

• 如果$X$的概率密度$$f(x)=\frac{1}{\sqrt{2\pi \sigma }}{e}^{-\frac{1}{2}(\frac{x-\mu }{\sigma }{)}^2}(-\infty <x<\infty )$$其中$-\infty <\mu <+\infty ,\sigma >0$，则称$X$服从参数为$(\mu ,{\sigma }^2)$的正态分布或称$X$为正态变量，记为$X$~$N(\mu ,{\sigma }^2)$。
• 此时$f(x)$的图形关于直线$x=\mu$对称，即$f(\mu -x)=f(\mu +x)$，并在$x=\mu$处有唯一最大值$f(\mu )=\frac{1}{\sqrt{2\pi \sigma }}$。如下图所示
  
• 称$\mu =0，\sigma =1$的正态分布$N(0,1)$为标准正态分布。

三.多维随机变量及其分布

1.多维随机变量的概念

• 如果$X_1,X_2,...,X_n$是定义在同一个样本空间$\Omega$上的$n$个随机变量，则称$(X_1,X_2,...,X_n)$为 $n$维随机变量 或 $n$维随机向量 ，$X_i$称为第$i$个分量。
• 当$n=2$时，记$(X,Y)$为二位随机变量（或二位随机向量）。

---

2.多维随机变量的分布函数的概念

• 对任意的$n$个实数$x_1,x_2,...,x_n$，称$n$元函数$F(x_1,x_2,...,x_n)=P\{X_1\le x_1,X_2\le x_2,...,X_n\le x_n\}$为$n$维随机变量$(X_1,X_2,...,X_n)$的联合分布函数。
• 当$n=2$时，则对任意的实数$x,y$，称二元函数$F(x,y)=P\{X\le x,Y\le y\}$为二维随机变量$(X,Y)$的联合分布函数，简称分布函数，记为$(X,Y)$~$F(x,y)$。

3.边缘分布函数

• 设二维随机变量$(X,Y)$的联合分布函数为$F(x,y)$，随机变量$X$与$Y$的分布函数$F_X(x)$与$F_Y(y)$分别称为$(X,Y)$关于$X$和关于$Y$的边缘分布函数，由概率性质得$$\begin{gathered} F_X(x)=P\{X\le x\}=P\{X\le x,Y<+\infty \} \\ =\underset{y\to +\infty }{\lim }P\{X\le x,Y\le y\} \\ =\underset{y\to +\infty }{\lim }F(x,y)=F(x,+\infty ) \end{gathered}$$
• 同理由$F_Y(y)=F(+\infty ,y)$

---

四.大数定律与中心极限定理

1.依概率收敛

• 设随机变量$X$与随机变量序列（数列）$\{X_n\}(n=1,2,3,...)$，如果对任意的$\epsilon >0$，有$$\underset{n\to \infty }{\lim }P\{|X_n-X|\ge \epsilon \}=0或\underset{n\to \infty }{\lim }P\{|X_n-X|<\epsilon \}=1$$则称随机变量序列$\{X_n\}$依概率收敛于随机变量$X$，记为$$\underset{n\to \infty }{\lim }{X}_n=X(P)或X_n{\to }^{P}X(n\to \infty )$$

2.大数定律

在满足一定的条件下，所有的大数定律均为：$\frac{1}{n}{\sum }_{i=1}^n{X}_i{\to }^{P}E(\frac{1}{n}{\sum }_{i=1}^n{X}_i)$（均值依概率收敛到均值的数学期望）

定理1.切比雪夫大数定律

假设$\{X_n\}(n=1,2,...)$是相互独立的随机变量序列，如果方差$D{X}_i(i\ge 1)$存在且一致有上界，即存在常数$C$，使$D{X}_i\le C$对一切$i\ge 1$均成立，则$\{X_n\}$服从大数定律：
$$\frac{1}{n}\sum _{i=1}^n{X}_i{\to }^P\frac{1}{n}\sum _{i=1}^{n}E{X}_i$$

定理2.伯努利大数定律

假设${\mu }_n$是$n$重伯努利试验中事件$A$发生的次数，在每次试验中事件$A$发生的概率为$p(0<p<1)$，则$\frac{{\mu }_n}{n}{\to }^{P}p$，即对任意$\epsilon >0$，有$$\underset{n\to \infty }{\lim }P\{|\frac{{\mu }_n}{n}-p|<\epsilon \}=1$$

定理3.辛钦大数定律

假设$\{X_n\}$是独立同分布的随机变量序列，如果$E{X}_i=\mu (i=1,2,...)$存在，则$\frac{1}{n}{\sum }_{i=1}^n{X}_i{\to }^P\mu$，即对任意$\epsilon >0$，有
$$\underset{n\to \infty }{\lim }P\{|\frac{1}{n}\sum _{i=1}^n{X}_i-\mu |<\epsilon \}=1$$

3.中心极限定理

在满足一定的条件下，中心极限定理均为：若$X_i$独立同分布于某一分布$F$，即$X_i\stackrel{iid}{\sim }F$，则${\sum }_{i=1}^n{X}_i\stackrel{n\to \infty }{\sim }N(n\mu ,n{\sigma }^2)$。且$\frac{{\sum }_{i=1}^n{X}_i-n\mu }{\sqrt{n}\sigma }\stackrel{n\to \infty }{\sim }N(0,1)$

---

五.数理统计

1.总体与样本

• 研究对象的全体称为总体，组成总体的每一个元素称为个体。我们把总体与随机变量$X$等同起来，说“总体$X$"，所谓总体的分布就是指随机变量$X$的分布。

• n个相互独立且与总体$X$具有相同概率分布的随机变量$X_1,X_2,...,X_n$所组成的整体$(X_1,X_2,...,X_n)$称为来自总体$X$，容量为$n$的一个简单随机样本,简称样本。一次抽样结果的$n$个具体数值$(x_1,x_2,...,x_n)$称为样本$X_1,X_2,...,X_n$(的一个观测值或样本值

2.统计量及其分布

• 设$X_1,X_2,...,X_n$为来自总体$X$的一个样本，$g(x_1,x_2,...x_n)$为n元函数，如果$g$中不含任何未知参数，则称$g(X_1,X_2,...,X_n)$为样本$X_1,X_2,...,X_n$的一个统计量，若$(x_1,x_2,...,x_n)$为样本值，则称$g(x_1,x_2,...,x_n)$为$g(X_1,X_2,...,X_n)$的观测值。

• 比如均值和方差就是统计量。

• 样本数字特征

  • 样本均值 $\overline{X}=\frac{1}{n}{\sum }_{i=1}^n{X}_i$
  • 样本方差 $S^2=\frac{1}{n-1}{\sum }_{i=1}^n(X_i-\overline{X}{)}^2$，注意$\frac{1}{n-1}$是修正以后的系数
  • 样本标准差 $S=\sqrt{\frac{1}{n-1}{\sum }_{i=1}^n(X_i-\overline{X}{)}^2}$
  • 样本$k$阶（原点）矩 $A_k=\frac{1}{n}{\sum }_{i=1}^n{X}_i^k(k=1,2,....)$
  • 样本$k$阶中心矩 $B_k=\frac{1}{n}{\sum }_{i=1}^n(X_i-\overline{X}{)}^k(k=2,3,...)$

3.三大分布

1.${\chi }^2$分布（卡方分布）

（1）典型模式
若随机变量$X_1,X_2,...,X_n$相互独立，且都服从标准正态分布，则随机变量$X={\sum }_{i=1}^n{X}_i^2$服从自由度为$n$的${\chi }^2$分布，记为$X\sim {\chi }^2(n)$。其概率密度$f(x)$如下图所示：
对给定的$\alpha (0<\alpha <1)$，称满足$P\{{\chi }^2>{\chi }_{\alpha }^2(n)\}={\int }_{{\chi }_{\alpha }^2(n)}^{+\infty }f(x)dx=\alpha$的${\chi }_{\alpha }^2(n)$为${\chi }^2(n)$分布的上$\alpha$分位点，如下图所示。

对于不同的$\alpha ,n,{\chi }^2(n)$分布上$\alpha$分位点可通过查表求得。
（2）${\chi }^2$分布的性质

• 若$X_1\sim {\chi }^2(n_1),X_2\sim {\chi }^2(n_2)$，$X_1$与$X_2$相互独立，则$X_1+X_2\sim {\chi }^2(n_1+n_2)$
• 若$X\sim {\chi }^2(n)$，则$EX=n,DX=2n$。

---