概率论与数理统计复习总结1

概率论与数理统计复习总结，仅供笔者复习使用，参考教材：

• 《概率论与数理统计》/ 荣腾中主编. — 第 2 版. 高等教育出版社
• 《2024高途考研数学——概率基础精讲》王喆

概率论与数理统计实际上是两个互补的分支：概率论 在 已知随机变量及其概率分布 的基础上去描述随机现象的统计规律、挖掘随机变量的数字特征与数学性质、计算随机事件的发生概率；数理统计 则是通过随机现象来研究其统计规律性，即通过收集、整理和分析随机变量的观测数据，对随机变量的性质和特征做出合理的推断或预测。

本文主要内容为：概率论；
概率论 部分见 概率论与数理统计复习总结1；
数理统计1 部分见 概率论与数理统计复习总结2；
数理统计2 部分见 概率论与数理统计复习总结3；

一. 随机事件及其概率

1. 随机事件

• 确定性现象和随机现象：自然界中人们能观察到的两类现象，即确定性现象和随机现象。由于随机现象的不是一定出现的，因此需要使用 “概率” 来预测随机现象出现的可能性；
• 随机试验：对随机现象的一次观测称为随机试验，记为 $E$。满足以下特点：
  • 可重复性：观测可以在相同条件下重复进行；
  • 多样性与明确性：观测的可能结果不止一个，但观测前可以确定所有可能出现的结果；
  • 不确定性：观测前不能确定那一个结果出现；
• 样本点：随机试验 $E$ 中可能出现的基本结果称为样本点，记为 $\omega$；
• 样本空间：由所有样本点组成的集合称为样本空间，记为 $\Omega$；
• 随机事件：一次随机试验 $E$ 的某些具有特定意义的结果，即样本空间的子集，通常记为 $A,B,C,...$。样本空间的最大子集 $\Omega$ 称为必然事件，最小子集 $\varnothing$ 称为不可能事件；
• 事件的关系：
  • 子事件：如果事件 A 的样本点属于事件 B 的样本点，则称 A 是 B 的子事件，记为 A $\subset$ B；
    • 相等事件：如果事件 A 与 B 互为子事件，则称 A 与 B 相等，记为 A = B；
  • 和事件：事件 A 与事件 B 的全部样本点组成的集合，记为 A $\cup$ B。当 A 与 B 互斥时 A $\cup$ B 也可以简写为 A + B；
  • 积事件：同时属于事件 A 和事件 B 的样本点组成的集合，记为 A $\cap$ B 或 AB；
  • 互斥事件：如果事件 A 与事件 B 没有公共的样本点，则称 A 与 B 互斥，记为 AB = $\varnothing$；
    • 对立事件：如果 AB = $\varnothing$ 并且 A $\cup$ B = $\Omega$，则称 A 与 B 是对立事件，记为 B = $\overline{A}$；
  • 差事件：由属于事件 A 而不属于事件 B 的样本点组成的集合，记为 A - B 或 A - AB 或 $A\overline{B}$；
    • 正常差事件：当 B $\subset$ A 时，称 A - B 为正常差；
  • 完备事件组：如果事件 A₁, A₂, …, A_n 两两互斥 且 ${\sum }_{i=1}^n{A}_i=\Omega$，则称 A₁, A₂, …, A_n 构成完备事件组；

• 事件的运算律：
  • 交换律：A $\cup$ B = B $\cup$ A，AB = BA；
  • 结合律：(A $\cup$ B) $\cup$ C = A $\cup$ (B $\cup$ C)，(AB) C = A (BC)；
  • 分配率：(A $\cup$ B) C = AC $\cup$ BC，(AB) $\cup$ C = (A $\cup$ C) (B $\cup$ C)；
  • 德摩根律：$\overline{\bigcap _{i=1}^n{A}_i}$ = $\bigcup _{i=1}^n\overline{A_i}$，$\overline{\bigcup _{i=1}^n{A}_i}$ = $\bigcap _{i=1}^n\overline{A_i}$；
  • 吸收率：如果 A $\subset$ B，则 A $\cup$ B = B，AB = A；

  集合的运算无消去律，因为 A $\cup$ B = A $\cup$ C 并不能推出 B = C。

2. 事件的概率

  概率是表示某个随机事件出现的可能性的一种度量，确定随机事件的概率的经典方法有：主观概率、统计概率、古典概率、几何概率，前两种是近似的估计，后两种是精确计算。

• 主观概率：依据经验或历史对随机事件的可能性的一种主观估计，与客观概率相对；
• 统计规律：随机事件 A 在大量重复试验中呈现出的规律性。随着试验次数的增加，A 的频率 $f_n(A)$ 稳定趋向于概率 P(A)；
• 古典概率：样本空间中的基本事件个数有限且具有等可能性；
• 几何概率：样本空间中的基本事件个数无限且具有等可能性；
• 概率空间： $\Omega$ 是随机试验 E 的样本空间，$\mathcal{F}$ 是事件域，$P$ 是测度，记 $\mathcal{F}:P\mapsto [0,1]$。在概率论体系中，称 $(\Omega ,\mathcal{F},P)$ 为概率空间；
• 概率的公理化：
  
• 概率的性质：
  

3. 条件概率

• 条件概率：$P(A\mid B)=\frac{P(AB)}{P(B)}$；
• 条件概率的公理化：
  
• 条件概率的性质：
  
• 乘法公式：$P(AB)=P(A)P(B\mid A)=P(B)P(A\mid B)$；
• 全概率公式：设事件 A₁, A₂, …, A_n 两两互斥，P(A_i) > 0，且 B $\subset \bigcup _{i=1}^n{A}_i=\Omega$，则 $P(B)=\sum _{i=1}^{n}P(A_i)P(B\mid A_i)$；
• 贝叶斯公式：设事件 A₁, A₂, …, A_n 两两互斥，P(A_i) > 0，且 B $\subset \bigcup _{i=1}^n{A}_i=\Omega$，则$P(A_k\mid B)=\frac{P(A_k)P(B\mid A_k)}{\sum _{i=1}^{n}P(A_i)P(B\mid A_i)}$；

  $P(A_i)$ 是先验概率，即在不知道 B 的情况下对 A_i 的估计；$P(A_i\mid B)$ 是后验概率，因为在得知 B 发生的情况下 A_i 的概率分布可能会发生变化，因此 $P(A_i\mid B)$ 描述的是条件概率。

4. 事件的独立性

• 事件独立：$P(AB)=P(A)P(B)$；
• 独立性的性质：
  
• 多个事件独立：设 $A_1,A_2,...,A_n$ 为 n 个随机事件，对其中任意 s 个（2<=s<=n）事件 $A_{k1},A_{k2},...,A_{ks}$ 均有 $P(A_{k1}{A}_{k2}...A_{ks})=P(A_{k1})P(A_{k2})...P(A_{ks})$，则有事件 $A_1,A_2,...,A_n$ 互相独立；

  多个事件互相独立不是只要 $P(A_1{A}_2...A_n)=P(A_1)P(A_2)...P(A_n)$ 就可以，而是要对任意几个事件组都满足该等式。因为几个相互之间两两独立的事件放在一起并不一定互相独立：

• 独立重复试验：n 个试验 $E_1,E_2,...,E_n$ 相同且相互独立，则称为 n 重独立试验；
• 伯努利试验：若试验 E 的可能结果只有两个，则称为伯努利试验。若 n 重独立试验中每次试验都是伯努利试验，则称为 n 重伯努利试验；

二项概率：$P_n(k)=C_n^k{p}^k(1-p{)}^{n-k}$
几何概率：$G(k)=p(1-p{)}^{k-1}$
负二项概率：$G_r(k)=C_{k-1}^{r-1}{p}^r(1-p{)}^{k-r}$

二. 一维随机变量及其分布

1. 随机变量及其分布函数

• 随机变量：取值具有随机性的变量，用于描述随机试验的结果；

  随机变量不是简单的变量，而是定义在样本空间 $\Omega$ 上的关于随机试验 $E$ 的结果 $\omega$ 的函数，$X(\omega )$ 就用于描述随机试验的结果，${\omega }_1,{\omega }_2,...,{\omega }_m$ 都是 $X$ 可能的取值。

• 随机变量类型：离散型、连续型、混合型；
  • 离散型：随机变量 $X$ 的取值是有限个或者无限个但可列，如 $X=1,2,3,...$；
  • 连续型：随机变量 $X$ 在连续区间上取值，如 $X\in (3,5]$；
  • 混合型：多个随机变量的线性组合，如 $X$ 以概率 p 取随机变量 $X_1$，以 1 - p 取随机变量 $X_2$，则 $X$ 可表示为 $p\ast X_1+(1-p)\ast X_2$；
• 分布函数：$F(x)=P\{X\le x\},x\in R$；
• 分布函数的性质：
  

2. 离散型随机变量

• 分布律：
  

• 分布函数：
  

• 常见离散型随机变量分布律：

  • 单点分布：$P\{X=c\}=1$，用于描述确定事件；
  • 两点分布：$P\{X=a\}=p,P\{X=b\}=1-p$，用于描述二值事件；
    • 0 - 1 分布：$P\{X=1\}=p,P\{X=0\}=1-p$，记为 $X\sim B(1,p)$；
  • 二项分布：$P\{X=k\}=C_n^k{p}^k(1-p{)}^{n-k},k=0,1,2,...,n$，用于描述 n 个样本中恰好 k 个满足要求的概率，记为 $X\sim B(n,p)$；
  • 几何分布：$P\{X=k\}=p(1-p{)}^{k-1},k=1,2,3,...$，用于描述第 k 次试验首次满足要求的概率，记为 $X\sim G(p)$。几何分布具有无记忆性，即 $P\{X=k+1|X>k\}=P\{X=1\}$；
  • 泊松分布：$P\{X=k\}=e^{-\lambda }\frac{{\lambda }^k}{k!},k=0,1,2,...,\lambda >0$，用于描述事件在一段特定的时空间隔中发生 k 次的概率，记为 $X\sim P(\lambda )$；

    泊松分布用于描述事件在一段特定的时空间隔中发生 k 次的概率，比如一本书上的勘误字数、钢板上的气泡数、排队等候人数等。
    泊松分布还可以作为二项分布的近似，有泊松定理：如果 ${\lim }_{n\to +\infty }n{p}_n=\lambda >0$，则 ${\lim }_{n\to +\infty }{C}_n^k{p}_n^k(1-p_n{)}^{n-k}=e^{-\lambda }\frac{{\lambda }^k}{k!}$。一般在 n $\ge$ 20，p $\le$ 0.05 时可以使用该近似，在 n $\ge$ 100，np $\le$ 10 时逼近效果较好。

3. 连续型随机变量

• 密度函数：
  

  密度函数 $f(x)$ 并不表示随机变量 $X$ 取值为 $x$ 的概率，而是表示随机变量 $X$ 的样本点在 $x$ 处的密集程度。因为随机变量是连续的，所以样本点有无限个，又所有概率之和为 1，因此每个单值样本点的概率必然为 0。由此可见，概率为 0 的事件不一定是不可能事件，概率为 1 的事件也不一定是必然事件。
  连续型随机变量的单个样本点的概率也可以表示为：$$P(X=x_0)=\underset{\Delta x\to 0}{\lim }{\int }_{x_0}^{x_0+\Delta x}f(x)\mathrm{d}x$$

• 分布函数：
  

• 常见连续型随机变量分布律：

  • 均匀分布：$f(x)=\{\begin{array}{ll}\frac{1}{b-a}& x\in [a,b]\\ 0& x\notin [a,b]\end{array}$ ($a<b$)，用于描述连续型随机变量在一段连续区间上分布均匀的情况，记为$X\sim U(a,b)$；
  • 指数分布：$f(x)=\{\begin{array}{ll}\lambda e^{-\lambda x}& x>0\\ 0& x\le 0\end{array}$ ($\lambda >0$) ，用于描述某一事件发生的等待时间，记为$X\sim \Gamma (1,\lambda )$；

    指数分布用于描述某一事件相继发生两次之间时间间隔为 x 的概率，如乘客在公交车站的等车时间、灯泡的使用寿命等。另外，指数分布是唯一具有 “无记忆性” 的连续型分布，即 $P\{X>s+t|X>s\}=P\{X>t\}$。
    指数分布还和泊松分布关系密切，可以相互转化，例题如下：
  

  • 正态分布：$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$，是自然界中最常见的分布，也是许多分布在 n 很大时的极限分布，记为 $X\sim N(\mu ,{\sigma }^2)$；
    • 标准正态分布：$\mu =0$，$\sigma =1$，密度函数记为 $\varphi (x)$，分布函数记为 $\Phi (x)$；

    由于正态分布密度函数的积分不能用初等函数表示，因此正态分布的分布函数没有初等表达式，在计算时一般会将 $F(x)$ 转换为 $\Phi (x)$，然后查表得到函数近似值。
    正态分布还有一个比较常用的原则叫做 “3$\sigma$ 原则”，如图所示：
  

4. 随机变量函数的分布

设关于随机变量 $X$ 的函数 $Y=g(X)$，则随机变量 $Y$ 的概率分布可以由 $X$ 得到。

• 离散型随机变量函数的分布：$P_X(x)\stackrel{Y=g(X)}{=>}{P}_Y(y)$；
• 连续型随机变量函数的分布：$F_X(x)\stackrel{Y=g(X)}{=>}{F}_Y(y)=P\{g(X)\le y\}\stackrel{F_Y^{\prime }(y)=f_Y(y)}{=>}{f}_Y(y)$；

三. 多维随机变量及其分布

1. 二维随机变量及其分布

• 二维随机变量：设 $\Omega$ 是随机试验 $E$ 的样本空间，$X,Y$ 是定义在 $\Omega$ 上的实值函数，对任意两个实数 x, y，有 $\{X\le x,Y\le y\}=\{\omega |X(\omega )\le x且Y(\omega )\le y,\omega \in \Omega \}\in \mathcal{F}$，其中 $\mathcal{F}$ 是事件域，则称 $(X,Y)$ 是概率空间 $(\Omega ,\mathcal{F},P)$ 上的二维随机变量。二维随机变量 (X, Y) 的性质与 X 和 Y 及其相互关系有关，需要将 X 和 Y 作为一个整体进行研究。$\{X\le x,Y\le y\}=\{X\le x\}\cup \{Y\le y\}$；
• 联合分布函数：二维随机变量 $X,Y$ 的分布函数称为联合分布函数，$F(x,y)=P\{X\le x,Y\le y\}$；
• 联合分布函数的性质：
  

2. 二维离散型随机变量

• 二维离散型随机变量：二维随机变量 $(X,Y)$ 的所有可能取值对是有限个或者无限个但可列，记 $P\{X=a_i,Y=b_j\}=p_{ij}$；
  
• 二维离散型随机变量的联合分布函数与联合分布律的关系：
  

3. 二维连续型随机变量

• 二维连续型随机变量：二维随机变量 $(X,Y)$ 的联合分布函数为 $F(x,y)$，联合密度函数为 $f(x,y)$，$f(x,y)$ 非负可积，对任意 $x,y$，有 $F(x,y)={\int }_{-\infty }^x{\int }_{-\infty }^{y}f(u,v)\mathrm{d}u\mathrm{d}v$；
• 二维连续型随机变量联合密度函数的性质：
  

4. 边缘分布

• 边缘分布函数：对于二维随机变量，有
  $$\begin{array}{rl}& F_X(x)=P\{X\le x\}=P\{X\le x,Y<+\infty \}=F(x,+\infty )\\ & F_Y(y)=P\{Y\le y\}=P\{X<+\infty ,Y\le y\}=F(+\infty ,y)\end{array}$$

 边缘分布实际上就是对二维随机变量中的一个变量的所有取值进行累加（或积分），得到一个关于一维随机变量的分布。描述二维离散型随机变量的边缘分布的称为边缘分布率，描述二维连续型随机变量的边缘分布的称为边缘密度函数。

• 边缘分布律：对于二维离散型随机变量，有
  $$\begin{array}{rl}P\left\{X=a_i\right\}& =P\left\{X=a_i,Y<+\infty \right\}=\sum _{j=1}^{+\infty }P\left\{X=a_i,Y=b_j\right\}=\sum _{j=1}^{+\infty }{p}_{ij},i=1,2,\cdots \\ P\left\{Y=b_j\right\}& =P\left\{X<+\infty ,Y=b_j\right\}=\sum _{i=1}^{+\infty }P\left\{X=a_i,Y=b_j\right\}=\sum _{i=1}^{+\infty }{p}_{ij},j=1,2,\cdots \end{array}$$
  记
  $$\begin{array}{rl}& p_{i\cdot }=\sum _{j=1}^{+\infty }{p}_{ij}=P\left\{X=a_i\right\},i=1,2,\cdots \\ & p_{\cdot j}=\sum _{i=1}^{+\infty }{p}_{ij}=P\left\{Y=b_j\right\},j=1,2,\cdots \end{array}$$
• 边缘密度函数：对于二维连续型随机变量，有
  $$\begin{array}{rl}{f}_X(x)& ={\int }_{-\infty }^{+\infty }f(x,y)\mathrm{d}y,x\in \mathbf{R}\\ f_Y(y)& ={\int }_{-\infty }^{+\infty }f(x,y)\mathrm{d}x,y\in \mathbf{R}\end{array}$$
  且有边缘分布函数与边缘密度函数关系如下
  $$\begin{array}{rl}{F}_X(x)=F(x,+\infty )& ={\int }_{-\infty }^x\mathrm{d}x{\int }_{-\infty }^{+\infty }f(x,y)\mathrm{d}y={\int }_{-\infty }^x{f}_X(x)\mathrm{d}x\\ F_Y(y)=F(+\infty ,y)& ={\int }_{-\infty }^y\mathrm{d}y{\int }_{-\infty }^{+\infty }f(x,y)\mathrm{d}x={\int }_{-\infty }^y{f}_Y(y)\mathrm{d}y\end{array}$$

5. 随机变量间的独立性

• 随机变量间的独立性：随机变量 X 和 Y 相互独立的充要条件是 $F(x,y)=F_X(x)\cdot F_Y(y)$；
    对于离散型随机变量，还可以通过 $P\{X=a_i,Y=b_j\}=P\{X=a_i\}\cdot P\{Y=b_j\}$ 证明；
    对于连续型随机变量，还可以通过 $f(x,y)=f_X(x)\cdot f_Y(y)$ 证明；

6. 条件分布

二维随机变量 $(X,Y)$ 之间的关系可以是独立或相依，上一节介绍了独立性判定，这一节介绍相依，即条件分布。

• 离散型随机变量的条件分布：
  $$P\left\{X=a_i\mid Y=b_j\right\}=\frac{P\left\{X=a_i,Y=b_j\right\}}{P\left\{Y=b_j\right\}}=\frac{p_{ij}}{p_{\cdot j}},i=1,2,\cdots$$
  $$F_{X\mid Y}\left(x\mid b_j\right)=P\left\{X⩽x\mid Y=b_j\right\}=\sum _{a_i⩽x}P\left\{X=a_i\mid Y=b_j\right\},x\in \mathbf{R}$$
  $$F_{Y\mid X}\left(y\mid a_i\right)=P\left\{Y⩽y\mid X=a_i\right\}=\sum _{b_j⩽y}P\left\{Y=b_j\mid X=a_i\right\},y\in \mathbf{R}$$
• 连续型随机变量的条件分布：
  $$F_{X\mid Y}(x\mid y)={\int }_{-\infty }^x\frac{f(u,y)}{f_Y(y)}\mathrm{d}u,x\in \mathbf{R},f_{X\mid Y}(x\mid y)=\frac{f(x,y)}{f_Y(y)},x\in \mathbf{R}$$
  $$F_{Y\mid X}(y\mid x)={\int }_{-\infty }^y\frac{f(x,v)}{f_X(x)}\mathrm{d}v,y\in \mathbf{R},f_{Y\mid X}(y\mid x)=\frac{f(x,y)}{f_X(x)},y\in \mathbf{R}$$
  

7. 二维随机变量函数的分布

已知 $(X,Y)$ 的联合分布，求 $Z=g(X,Y)$ 的分布情况：

• 二维离散型随机变量函数的分布：对于数量有限的 $(X,Y)$ 对，枚举 $(X,Y)$ 的取值及其对应概率，然后计算 $Z$ 的概率分布即可；对于数量无限的 $(X,Y)$ 对，可采用归纳推理等方式；
  

• 二维连续型随机变量函数的分布：

  • 极值函数：$X,Y$ 独立，$Z_1=max(X,Y)$，$Z_2=min(X,Y)$；
    
  • 和函数：$X,Y$ 不一定独立，$Z=X+Y$；
    

    对 $x$ 积分时相当于画一条水平线，从 $-\infty$ 到 $+\infty$ 对 $x$ 进行累加。因此在计算 $Z$ 的分布律时需要对水平线的位置（即 $z$ 的大小）进行讨论：
  

  • 一般函数：$Z=g(X,Y)$，则 $F_Z(z)=P\{g(X,Y)\le z\}={\iint }_{g(x,y)\le z}^{}f(x,y)\mathrm{d}x\mathrm{d}y$，$f_Z(z)=F_Z^{\prime }(z)$；

四. 随机变量的数字特征

1. 数学期望

• 离散型随机变量的数学期望：设离散型随机变量 $X$ 的分布律 $P\{X=a_i\}=p_i$，若级数 ${\sum }_{i=1}^{+\infty }{a}_i{p}_i$ 绝对收敛（即 ${\sum }_{i=1}^{+\infty }\left|a_i\right|p_i<+\infty$），则 $X$ 的数学期望存在，记为 $EX$，$EX={\sum }_{i=1}^{+\infty }{a}_{i}P\left\{X=a_i\right\}={\sum }_{i=1}^{+\infty }{a}_i{p}_i$；

  计算离散型随机变量的数学期望前 必须验证级数的绝对收敛性，因为对于条件收敛的级数，如果改变级数各项的排列顺序，可能使其不收敛或者收敛到不同的值。但 $EX$ 刻画的是 $X$ 的中心化数学特性，不应与其值的排列次序有关，因此在定义 $EX$ 时，要求其绝对收敛。
  至于为什么改变级数各项的排列顺序可能使其不收敛或者收敛到不同的值，涉及到 Riemman 重排定理。以其中的一个例子说明：设级数 $S={\Sigma }_{i=1}^{\infty }(-1{)}^i\ast \lfloor (i+1)/2\rfloor =1-1+\frac{1}{2}-\frac{1}{2}+...$，则 $S=(1-1)+(\frac{1}{2}-\frac{1}{2})+...=0$。但如果将其运算顺序调换，可能得到其它的值，比如按顺序将两正一负进行结合（因为是无穷多项，因此不存在负数项剩余的情况）， $S=(1+\frac{1}{2}-1)+(\frac{1}{3}+\frac{1}{4}-\frac{1}{2})+(\frac{1}{5}+\frac{1}{6}-\frac{1}{3})...=1-\frac{1}{2}+\frac{1}{3}-\frac{1}{4}+...=ln2$。显然，该级数的值发生了改变。

• 连续型随机变量的数学期望：设连续型随机变量 $X$ 的密度函数 $f(x)$，若积分 ${\int }_{-\infty }^{+\infty }xf(x)\mathrm{d}x$ 绝对收敛（即 ${\int }_{-\infty }^{+\infty }\left|x\right|f(x)\mathrm{d}x<+\infty$），则 $X$ 的数学期望存在，记为 $EX$，$EX={\int }_{-\infty }^{+\infty }xf(x)\mathrm{d}x$；

  由于连续型随机变量取值连续且无限，不存在交换积分顺序的说法，因此很难举出积分不绝对收敛导致级数的值发生改变的情况。但由于连续型随机变量可以看作是微元化了的离散型随机变量，所以也要遵守绝对收敛的前提。
  柯西分布 $f(x)=\frac{1}{\pi (1+x^2)}$ 就是典型的数学期望不存在的例子。

• 随机变量函数的数学期望：
  $$\begin{array}{rl}& E[g(X)]=\{\begin{array}{ll}{\sum }_{i=1}^{+\infty }g\left(a_i\right)P\left\{X=a_i\right\},& X\text{ 为离散型, }\\ {\int }_{-\infty }^{+\infty }g(x)f(x)\mathrm{d}x,& X\text{ 为连续型 }\end{array}\end{array}$$
  $$\begin{array}{rl}& E[g(X,Y)]=\{\begin{array}{ll}{\sum }_{i=1}^{+\infty }{\sum }_{j=1}^{+\infty }g\left(a_i,b_j\right)P\left\{X=a_i,Y=b_j\right\},& (X,Y)\text{ 为离散型, }\\ {\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }g(x,y)f(x,y)\mathrm{d}x\mathrm{d}y,& (X,Y)\text{ 为连续型 }\end{array}\end{array}$$

• 数学期望的性质：
  

2. 方差

• 离散型随机变量的方差：$DX={\sum }_{i=1}^{+\infty }{\left(a_i-EX\right)}^{2}P\left\{X=a_i\right\}$；

• 连续型随机变量的方差：$DX={\int }_{-\infty }^{+\infty }(x-EX{)}^{2}f(x)\mathrm{d}x$；

• 随机变量的数学期望和方差的关系：
  $$\begin{array}{rl}DX& =E(X-EX{)}^2=E\left(X^2-2X\cdot EX+(EX{)}^2\right)\\ & =E{X}^2-2EX\cdot EX+(EX{)}^2=E{X}^2-(EX{)}^2\\ E{X}^2& =DX+(EX{)}^2\end{array}$$

• 方差的性质：
  

• 常见分布的数学期望和方差：
  

3. 协方差与相关系数

• 二维随机变量的协方差：$\mathrm{cov}(X,Y)=E[(X-EX)(Y-EY)]=E(XY)-EX\cdot EY$，用来描述二维随机变量间的相关性；

• 协方差的性质：
  

  然而，协方差的值受到量纲的影响，无法直接通过协方差的值判断二维随机变量间的独立性。因此考虑将其标准化：
$$X^{\ast }=\frac{X-EX}{\sqrt{DX}}，Y^{\ast }=\frac{Y-EY}{\sqrt{DY}}$$

• 二维随机变量的相关系数：$\rho (X,Y)=\mathrm{cov}(X^{\ast },Y^{\ast })=\frac{\mathrm{cov}(X,Y)}{\sqrt{DX\cdot DY}}$，用来描述二维随机变量间的相关性，并且消除了协方差受量纲影响的弊端；

• 相关系数的性质：
  

    相关系数是用来衡量二维随机变量 $X$ 和 $Y$ 间 线性 关系的指标：
  （1）当 $\rho (X,Y)=1$ 时，称 $X$ 和 $Y$ 正相关；当 $\rho (X,Y)=-1$ 时，称 $X$ 和 $Y$ 负相关；当 $\rho (X,Y)=0$ 时，称 $X$ 和 $Y$ 不相关；
  （2）当 $|\rho (X,Y)|\ge 0.8$ 时，称 $X$ 和 $Y$ 强相关；当 $|\rho (X,Y)|\le 0.5$ 时，称 $X$ 和 $Y$ 弱相关；
  

  有时会将独立性默认为不相关，其实 ${\rho }_{XY}$ 只是衡量线性相关性的指标，而独立性则是衡量全方位相关性的指标。因此，独立能够推出不相关，但不相关不能推出独立。

• n 维随机变量的协方差矩阵：设随机变量 $\mathbf{X}=(X_1,\cdots ,X_n{)}^T$，若 ${\sigma }_{ij}=\mathrm{cov}(X_i,X_j)(i,j=1,2,\cdots ,n)$ 均存在，则记随机变量 $\mathbf{X}=(X_1,\cdots ,X_n{)}^T$ 的协方差矩阵为 $\mathbf{\Sigma }$，
  Σ = ( σ 11 σ 12 ⋯ σ 1 n σ 21 σ 22 ⋯ σ 2 n ⋮ ⋮ ⋮ σ n 1 σ n 2 ⋯ σ n n ) n × n \boldsymbol{\Sigma}=\left(\begin{array}{cccc} \sigma_{11} & \sigma_{12} & \cdots & \sigma_{1 n} \\ \sigma_{21} & \sigma_{22} & \cdots & \sigma_{2 n} \\ \vdots & \vdots & & \vdots \\ \sigma_{n 1} & \sigma_{n 2} & \cdots & \sigma_{n n} \end{array}\right)_{n \times n} Σ= ​σ11​σ21​⋮σn1​​σ12​σ22​⋮σn2​​⋯⋯⋯​σ1n​σ2n​⋮σnn​​ ​n×n​
  显然,协方差矩阵 $\mathbf{\Sigma }$ 是一个 $n$ 阶对称矩阵。还可以证明 $\mathbf{\Sigma }$ 是一个 $n$ 阶对称非负定矩阵；

• n 维随机变量的相关系数矩阵：设随机变量 $\mathbf{X}=(X_1,\cdots ,X_n{)}^T$ 有协方差矩阵 $\mathbf{\Sigma }$，若 ${\rho }_{ij}=\rho (X_i,X_j)(i,j=1,2,\cdots ,n)$ 均存在，则记随机变量 $\mathbf{X}=(X_1,\cdots ,X_n{)}^T$ 的相关系数矩阵为 $\mathbf{R}$，
  R = ( 1 ρ 12 ⋯ ρ 1 n ρ 21 1 ⋯ ρ 2 n ⋮ ⋮ ⋮ ρ n 1 ρ n 2 ⋯ 1 ) n × n \boldsymbol{R}=\left(\begin{array}{cccc} 1 & \rho_{12} & \cdots & \rho_{1 n} \\ \rho_{21} & 1 & \cdots & \rho_{2 n} \\ \vdots & \vdots & & \vdots \\ \rho_{n 1} & \rho_{n 2} & \cdots & 1 \end{array}\right)_{n \times n} R= ​1ρ21​⋮ρn1​​ρ12​1⋮ρn2​​⋯⋯⋯​ρ1n​ρ2n​⋮1​ ​n×n​
  由定义易得，$\mathbf{X}$ 的相关系数矩阵 $\mathbf{R}$ 与协方差矩阵 $\mathbf{\Sigma }$ 之间具有如下关系：$\mathbf{R}={\mathbf{D}}^{-1}\mathbf{\Sigma }{\mathbf{D}}^{-1}$，其中 $\mathbf{D}=\mathrm{diag}(\sqrt{D{X}_1},\cdots ,\sqrt{D{X}_n})$；

4. 矩

• 原点矩：设 $X$ 为随机变量，如果对正整数 $k$，$E(X^k)$ 存在，则称 $E(X^k)$ 为 $X$ 的 $k$ 阶原点矩；
• 中心矩：设 $X$ 为随机变量，如果对正整数 $k$，$E(X-EX{)}^k$ 存在，则称 $E(X-EX{)}^k$ 为 $X$ 的 $k$ 阶中心矩；

  矩其实就是随机变量函数的数学期望：数学期望本质上就是一阶原点矩，方差是二阶中心矩。如果看公式 $DX=E{X}^2-(EX{)}^2$，方差还是二阶原点矩和一阶原点矩平方的差。

• 偏度：设随机变量 $X$ 的三阶矩存在，则称 $r_1=E(\frac{X-EX}{\sqrt{DX}}{)}^3$ 为 $X$ 的偏度；

    偏度表示的是标准化的随机变量的三阶原点矩，刻画了随机变量 $X$ 的分布的对称性的偏离程度：
  

• 峰度：设随机变量 $X$ 的四阶原点矩存在，则称 $r_2=E(\frac{X-EX}{\sqrt{DX}}{)}^4$ 为 $X$ 的峰度；

   峰度表示的是标准化的随机变量的四阶原点矩，刻画了随机变量 $X$ 的分布相较中心 $EX$ 的聚集程度，即描述 $X$ 的分布的峰峭性。当 $X\sim N(\mu ,{\sigma }^2)$ 时，有 $E(X-EX{)}^4=3{\sigma }^4$，即 $r_2=3$。因此 $r_2>3$ 表示 $X^{\ast }$ 在 0 点附近的集中程度要大于 $N(0,1)$，$r_2<3$ 表示 $X^{\ast }$ 在 0 点附近的集中程度要小于 $N(0,1)$：
  

  偏度和峰度是随机变量的特殊的 “矩”，用来描述连续型密度函数曲线形状。对于所有的正态分布，偏度和峰度都是确定的。因此可以使用偏度和峰度检验法来判断数据样本是否来自于一个正态分布总体。

5. 条件数学期望

• 离散型随机变量的条件数学期望：设二维离散型随机变量 $(X,Y)$，如果 ${\sum }_{i=1}^{+\infty }|x_i|P\{X=x_i\mid Y=y_j\}<\infty$，则称 ${\sum }_{i=1}^{+\infty }{x}_{i}P\{X=x_i\mid Y=y_j\}$ 为 $X$ 在 $Y=y_j$ 条件下的条件数学期望，记为 $E(X\mid Y=y_j)={\sum }_{i=1}^{+\infty }{x}_{i}P\{X=x_i\mid Y=y_j\}$；
• 连续型随机变量的条件数学期望：设二维连续型随机变量 $(X,Y)$ 的条件密度为 $f_{X\mid Y}(x\mid y)$，如果 ${\int }_{-\infty }^{+\infty }|x|f_{X\mid Y}(x\mid y)\mathrm{d}x<\infty$, 则称 ${\int }_{-\infty }^{+\infty }x{f}_{X\mid Y}(x\mid y)\mathrm{d}x$ 为 $X$ 在 $Y=y$ 条件下的条件放学期望，记为 $E(X\mid Y=y)={\int }_{-\infty }^{+\infty }x{f}_{X\mid Y}(x\mid y)\mathrm{d}x$；

五. 极限定理

极限定理有两类：一类称为 大数定律，反映了在大量独立重复试验的情况下，频率收敛于概率的特点；另一类称为 中心极限定理，反映了随机变量均值的分布收敛于正态分布。

1. 基本概念

• 随机变量序列：在相同条件下进行多次重复随机试验，将第 n 次试验可能出现的结果记为 $X_n$，得到的 $\{X_n,n=1,2,\cdots \}$ 称为随机变量序列，记为 $\{X_n\}$；
• 概率收敛：设随机变量序列 $\{X_n,n=1,2,\cdots \}$，对随机变量 $X$ 和任意实数 $\epsilon >0$，如果有
  $$\underset{n\to +\infty }{\lim }P\{|X_n-X|<\epsilon \}=1$$
  则称随机变量序列 $\{X_n\}$ 依概率收敛于随机变量 $X$，简记为 $X_n\underset{n\to +\infty }{\stackrel{P}{⟶}}X$；
• 分布收敛：设随机变量序列 $\{X_n,n=1,2,\cdots \}$ 和 $X$ 的分布函数分别为 $F_n(x)$，$F(x)$。对任意的实数 $x$，如果有
  $$\underset{n\to +\infty }{\lim }{F}_n(x)=F(x)$$
  则称随机变量序列 $\{X_n\}$ 依分布收敛于随机变量 $X$，简记为 $X_n\underset{n\to +\infty }{\stackrel{L}{⟶}}X$

  随机变量序列依概率 / 分布收敛于随机变量的本质：在大量采样的情况下，实验结果收敛于随机变量的分布。

2. 大数定律

大数定律的本质就是在大量独立重复试验的情况下，频率可以收敛于概率。大数定律有若干个表现形式，如下是常用的三个重要定律：

• 切比雪夫大数定律：设相互独立的随机变量序列 $\{X_i\}$，$E{X}_i$，$D{X}_i(i=1,2,\cdots )$ 都存在，并且存在常数 $C$，使得 $D{X}_i⩽C(i=1,2,\cdots )$。则对任意的实数 $\epsilon >0$，有
  $$\underset{n\to +\infty }{\lim }P\{|{\bar{X}}_n-E{\bar{X}}_n|<\epsilon \}=1$$

  证：因为 ${\bar{X}}_n=\frac{1}{n}{\sum }_{i=1}^n{X}_i$，则 $E{\bar{X}}_n=\frac{1}{n}{\sum }_{i=1}^{n}E{X}_i$，$D{\bar{X}}_n=\frac{1}{n^2}{\sum }_{i=1}^{n}D{X}_i⩽\frac{C}{n}$。根据切比雪夫不等式，有 $P\{|{\bar{X}}_n-E{\bar{X}}_n|<\epsilon \}\ge 1-\frac{D{\bar{X}}_n}{{\epsilon }^2}\ge 1-\frac{C}{n{\epsilon }^2}\to 1$。

• 辛钦大数定律：设 $\{X_i\}$ 为独立同分布的随机变量序列，$E{X}_i$，$D{X}_i(i=1,2,\cdots )$ 都存在，令 $E{X}_i=\mu$，$D{X}_i={\sigma }^2(i=1,2,\cdots )$，则对任意的实数 $\epsilon >0$，有
  $$\underset{n\to +\infty }{\lim }P\{|{\bar{X}}_n-\mu |<\epsilon \}=1$$
  即 ${\bar{X}}_n=\frac{1}{n}{\sum }_{i=1}^n{X}_i$ 依概率收敛于 $\mu$，记为 ${\bar{X}}_n\underset{n\to +\infty }{\stackrel{P}{⟶}}\mu$；

  辛钦大数定律其实就是切比雪夫大数定律的随机变量序列独立同分布的情况。

• 伯努利大数定律：设 $\{X_i\}$ 为独立同分布的随机变量序列，且 $X_i\sim B(1,p),i=1,2,\cdots$。记 ${\mu }_n={\sum }_{i=1}^n{X}_i$，则对任意的实数 $\epsilon >0$，有
  lim ⁡ n → + ∞ P { ∣ μ n n − p ∣ < ε } = 1 \lim _{n \rightarrow+\infty} P\{\left|\frac{\mu_n}{n}-p\right|<\varepsilon\}=1 n→+∞lim​P{ ​nμn​​−p ​<ε}=1
  即 $\frac{{\mu }_n}{n}\underset{n\to +\infty }{\stackrel{P}{⟶}}p$；

3. 中心极限定理

中心极限定理的本质就是在大量独立重复试验的情况下，随机变量均值的分布收敛于正态分布。主要有以下两种形式：

• 独立同分布的中心极限定理：设 $\{X_i\}$ 为独立同分布的随机变量序列，$E{X}_i$，$D{X}_i(i=1,2,\cdots )$ 都存在，令 $E{X}_i=\mu$，$D{X}_i={\sigma }^2(i=1,2,\cdots )$，则对任意的实数 $x$，有
  $$\underset{n\to +\infty }{\lim }P\{\frac{{\bar{X}}_n-\mu }{\sigma /\sqrt{n}}\le x\}=\Phi (x)$$
  即 ${\bar{X}}_n=\frac{1}{n}{\sum }_{i=1}^n{X}_i$ 依分布收敛于正态分布 $N(\mu ,\frac{{\sigma }^2}{n})$，记为 $\frac{{\bar{X}}_n-\mu }{\sigma /\sqrt{n}}\stackrel{近似}{\sim }N(0,1)$ 或 ${\sum }_{i=1}^n{X}_i\stackrel{近似}{\sim }N(n\mu ,n{\sigma }^2)$；
• 棣莫弗 - 拉普拉斯定理：设 $\{X_i\}$ 为独立同分布的随机变量序列，且 $X_i\sim B(1,p)(i=1,2,\cdots )$，令 $Y_n={\sum }_{i=1}^n{X}_i$，则对任意的实数 $x$，有
  $$\underset{n\to +\infty }{\lim }P\{\frac{Y_n-np}{\sqrt{np(1-p)}}\le x\}=\Phi (x)$$