统计篇（一）-- 概率论、随机过程、信息论知识汇总

1 概率与分布

1.1 基本概念

        统计学研究的一个主要问题是通过试验推断总体。而概率论为整个统计学奠定了基础，它为总体、随机试验等几乎所有随机现象的建模提供了方法。
（一）样本与事件
        称某次试验全体可能的结果所构成的集合S 为该试验的 样本空间（sample space）。
         一个事件（event）是一次试验若干可能的结果所构成的集合，即 S 的一个子集（可以是S本身）。

（二）事件的运算
        设试验 E 的样本空间为 S ，而 A, B, $A_k$(k= l，2，…）是S的子集。

1. 若$A\subset B$，则称事件B包含事件A，即事件A发生必导致事件B 发生。若$A\subset B$且$B\subset A$，即A=B，则称事件A与事件B相等。
2. 事件$A\cup B＝\{x|x\in A或x\in B\}$称为事件A与事件B的和事件。当且仅当A，B中至少有一个发生时，事件$A\cup B$发生。类似地，称 ${\bigcup }_{i=1}^n{A}_i$ 为 n 个事件$A_1,A_2,\cdots ,A_n$ 的和事件；称 ${\bigcup }_{i=1}^{\infty }{A}_i$ 为可列个事件$A_1,A_2,\cdots$ 的和事件。
3. 事件$A\cap B=\{x|x\in A且x\in B\}$称为事件A与事件B的积事件。当且仅当A，B同时发生时，事件$A\cap B$发生。$A\cap B$也记作AB。类似地，称 ${\bigcap }_{i=1}^n{A}_i$ 为 n 个事件$A_1,A_2,\cdots ,A_n$ 的积事件；称 ${\bigcap }_{i=1}^{\infty }{A}_i$ 为可列个事件$A_1，A_2，\cdots$ 的积事件。
4. 事件$A-B=\{x|x\in A且x\notin B\}$ 称为事件A与事件B的差事件。当且仅当 A 发生、B不发生时事件 A-B 发生。
5. 若$A\cap B=\varnothing$，则称事件 A 与 B 是互不相容的，或互斥的。这指的是事件A 与事件 B 不能同时发生。基本事件是两两互不相容的。
6. 若$A\cup B=S且A\cap B=\varnothing$ ， 则称事件 A 与事件 B 互为逆事件。又称事件 A 与事件 B 互为对立事件。这指的是对每次试验而言，事件 A、B 中必有一个发生，且仅有一个发生。A 的对立事件记为$A^C$，有些教材记为 $\bar{A}$。$A^C=S-A$

补充：
        如果事件$A_1,A_2,\cdots$ 两两不交，并且${\bigcap }_{i=1}^{\infty }{A}_i=S$，则称$A_1,A_2,\cdots$ 构成 S 的一个划分(partition)。

（三）定理
        对于样本空间 S 上的任意事件 A, B 和 C，有:

1. 交换律：$A\cup B=B\cup A，A\cap B=B\cap A$
2. 结合律：$A\cup (B\cup C)=(A\cup B)\cup C，A\cap (B\cap C)=(A\cap B)\cap C$
3. 分配律：$A\cap (B\cup C)=(A\cap B)\cup (A\cap C)，A\cup (B\cap C)=(A\cup B)\cap (A\cup C)$
4. DeMorgan律：$(A\cup B{)}^C=A^C\cap B^C，(A\cap B{)}^C=A^C\cup B^C$

（四）概率函数

        S 的一族子集如果满足下列三个性质，就称作一个 $\sigma$ 代数（sigma algebra）或一个 Borel 域（Borel field），记作 $\mathrm{B}$。

1. $\varnothing \in B$（空集属于 $\mathrm{B}$）。
2. 若 $A\in B$，则$A^C\in B$（$\mathrm{B}$ 在补运算下封闭）。
3. 若 $A_1,A_2,\cdots \in B$，则 ${\bigcup }_{i=1}^{\infty }{A}_i\in B$

        例子：如果样本空间 S 有限或者可数，则我们可以直接对 S 定义：$B=\{S的全体子集，包括S本身\}$；若$S=(-\infty ，\infty )$为实数轴。令 $\mathrm{B}$ 包含全体形如$[a,b],(a,b],(a,b)和[a,b)$的集合，其中 a, b 为任意实数。

        已知样本空间 S 和 $\sigma$ 代数 $\mathrm{B}$，定义在$\mathrm{B}$上且满足下列条件的函数 P 称为一个概率函数（probability function）：

1. 对任意 $A\in \mathrm{B}$，$P(A)\ge 0$。
2. $P(S)=1$。
3. 若 $A_1，A_2，\cdots \in B$ 且两两不交，则 $P({\bigcup }_{i=1}^{\infty }{A}_i)={\sum }_{i=1}^{\infty }P(A_i)$。

        上面三条性质通常称作概率公理（或 Kolmogorov（柯尔莫哥洛夫）公理——以概率论创始人之一 A. Kolmogorov 的名字命名，大家会在很多学科遇到这位大牛）。任何满足概率公理的函数 P 都称作概率函数。
        有限可加性公理： 若 $A,B\in \mathrm{B}$ 且两者不交，则$P(A\cup B)=P(A)+P(B)$。

（五）概率演算
         设 P 是一个概率函数，$A,B\in \mathrm{B}$，则

1. $P(\varnothing )=0$；
2. $P(A)\le 1$；
3. $P(A^C)=1-P(A)$；
4. $P(B\cap A^C)=P(B)-P(A\cap B)$；
5. $P(A\cup B)=P(A)+P(B)-P(A\cap B)$；
6. 若 $A\subset B$，则 $P(A)\le P(B)$；、
7. 对任意划分 $C_1,C_2,\cdots$，都有 $P(A)={\sum }_{i=1}^{\infty }P(A\cap C_i)$
8. 对于任意集合 $A_1,A_2,\cdots$，都有 $P({\cup }_{i=1}^{\infty }{A}_i)\le {\sum }_{i=1}^{\infty }P(A_i)$

1.2 条件概率与独立事件

1. 条件概率：已知 $A$ 事件发生的条件下 $B$ 发生的概率，记作 $P(B|A)$，它等于事件 $AB$ 的概率相对于事件 $A$ 的概率，即：$P(B|A)=\frac{AB}{A}$。其中必须有 $P(A)>0$

2. 条件概率分布的链式法则：对于 $n$ 个随机变量 $X_1,X_2,\cdots ,X_n$，有：
   $$P(X_1,X_2,\cdots ,X_n)=P(X_1)\prod _{i=2}^{n}P(X_i\mid X_1,\cdots ,X_{i-1})\text{\hspace{1em}(1-1)}$$

3. 两个随机变量 $X,Y$ 相互独立的数学描述：$P(X,Y)=P(X)P(Y)$。记作：$X\perp Y$。

4. 两个随机变量 $X,Y$关于随机变量 $Z$ 条件独立的数学描述：$P(X,Y\mid Z)=P(X\mid Z)P(Y\mid Z)$。记作：$X\perp Y|Z$。

1.3 联合概率分布

1. 定义 $X$ 和 $Y$ 的联合分布为：$P(a,b)=P\{X\le a,Y\le b\},-\infty <a,b<+\infty$

   • $X$ 的分布可以从联合分布中得到：
     $$P_X(a)=P\{X\le a\}=P\{X\le a,Y\le \infty \}=P(a,\infty ),-\infty <a<+\infty \text{\hspace{1em}(1-2)}$$
   • $Y$ 的分布可以从联合分布中得到：
     $$P_Y(b)=P\{Y\le b\}=P\{X\le \infty ,Y\le b\}=P(\infty ,b),-\infty <b<+\infty \text{\hspace{1em}(1-3)}$$

2. 当 $X$ 和 $Y$ 都是离散随机变量时，定义 $X$ 和 $Y$ 的联合概率质量函数为：
   $$p(x,y)=P\{X=x,Y=y\}\text{\hspace{1em}(1-4)}$$
   则 $X$ 和 $Y$ 的概率质量函数分布为：
   $$p_X(x)=\sum _{y}p(x,y)p_Y(y)=\sum _{x}p(x,y)\text{\hspace{1em}(1-5)}$$

3. 当 $X$ 和 $Y$ 联合地连续时，即存在函数 $p(x,y)$，使得对于所有的实数集合 $\mathbb{A}$ 和 $\mathbb{B}$ 满足：
   $$P\{X\in \mathbb{A},Y\in \mathbb{B}\}={\int }_{\mathbb{B}}{\int }_{\mathbb{A}}p(x,y)dxdy\text{\hspace{1em}(1-6)}$$
   则函数 $p(x,y)$ 称为 $X$ 和 $Y$ 的概率密度函数。

   • 联合分布为：$P(a,b)=P\{X\le a,Y\le b\}={\int }_{-\infty }^a{\int }_{-\infty }^{b}p(x,y)dxdy$。

   • $X$ 和 $Y$ 的分布函数以及概率密度函数分别为：
     $$\begin{gathered} P_X(a)={\int }_{-\infty }^a{\int }_{-\infty }^{\infty }p(x,y)dxdy={\int }_{-\infty }^a{p}_X(x)dx \\ {P}_Y(b)={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{b}p(x,y)dxdy={\int }_{-\infty }^b{p}_Y(y)dy \\ {p}_X(x)={\int }_{-\infty }^{\infty }p(x,y)dy \\ {p}_Y(y)={\int }_{-\infty }^{\infty }p(x,y)dx\text{\hspace{1em}(1-7)} \end{gathered}$$

2 期望和方差

2.1 期望

1. 期望描述了随机变量的平均情况，衡量了随机变量 $X$ 的均值。它是概率分布的泛函（函数的函数）。

   • 离散型随机变量 $X$ 的期望：$\mathbb{E}[X]={\sum }_{i=1}^{\infty }{x}_i{p}_i$。若右侧级数不收敛，则期望不存在。
   • 连续性随机变量 $X$ 的期望：$\mathbb{E}[X]={\int }_{-\infty }^{\infty }xp(x)dx$。 若右侧极限不收敛，则期望不存在。

2. 定理：对于随机变量 $X$，设 $Y=g(x)$ 也为随机变量，$g(\cdot )$ 是连续函数。

   • 若 $X$ 为离散型随机变量，且 $Y$ 的期望存在，则：$\mathbb{E}[Y]=\mathbb{E}[g(X)]={\sum }_{i=1}^{\infty }g(x_i)p_i$。也记做：${\mathbb{E}}_{X\sim P(X)}[g(X)]={\sum }_{x}g(x)p(x)$。
   • 若 $X$ 为连续型随机变量，且 $Y$ 的期望存在，则：$\mathbb{E}[Y]=\mathbb{E}[g(X)]={\int }_{-\infty }^{\infty }g(x)p(x)dx$。也记做：${\mathbb{E}}_{X\sim P(X)}[g(X)]=\int g(x)p(x)dx$。

        该定理的意义在于：当求 ${\mathbb{E}}_Y$ 时，不必计算出 $Y$ 的分布，只需要利用 $X$ 的分布即可。

        该定理可以推广至两个或两个以上随机变量的情况。对于随机变量 $X,Y$，假设 $Z=g(X,Y)$ 也是随机变量，$g(\cdot )$ 为连续函数，则有：$\mathbb{E}[Z]=\mathbb{E}[g(X,Y)]={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }g(x,y)p(x,y)dxdy$。也记做：${\mathbb{E}}_{X,Y\sim P(X,Y)}[g(X,Y)\int g(x,y)p(x,y)dxdy$。

3. 期望性质：
   • 常数的期望就是常数本身。
   • 对常数 $C$ 有：$\mathbb{E}[CX]=C\mathbb{E}[X]$。
   • 对两个随机变量 $X,Y$，有：$\mathbb{E}[X+Y]=\mathbb{E}[X]+\mathbb{E}[Y]$。该结论可以推广到任意有限个随机变量之和的情况。
   • 对两个相互独立的随机变量 $X,Y$，有：$\mathbb{E}[XY]=\mathbb{E}[X]\mathbb{E}[Y]$。该结论可以推广到任意有限个相互独立的随机变量之积的情况。

2.2 方差

1. 对随机变量 $X$，若 $\mathbb{E}[(X-\mathbb{E}[X]{)}^2]$ 存在，则称它为 $X$ 的方差，记作 $Var[X]$。
   $X$ 的标准差为方差的开平方。即：
   $$\begin{gathered} Var[X]=\mathbb{E}[(X-\mathbb{E}[X]{)}^2] \\ \sigma =\sqrt{Var[X]}\text{\hspace{1em}(2-1)} \end{gathered}$$

   • 方差度量了随机变量 $X$ 与期望值偏离的程度，衡量了 $X$ 取值分散程度的一个尺度。
   • 由于绝对值 $|X-\mathbb{E}[X]|$ 带有绝对值，不方便运算，因此采用平方来计算。又因为 $|X-\mathbb{E}[X]{|}^2$ 是一个随机变量，因此对它取期望，即得 $X$ 与期望值偏离的均值

2. 根据定义可知：
   $$\begin{gathered} Var[X]=\mathbb{E}[(X-\mathbb{E}[X]{)}^2]=\mathbb{E}[X^2]-(\mathbb{E}[X]{)}^2 \\ Var[f(X)]=\mathbb{E}[(f(X)-\mathbb{E}[f(X)]{)}^2]\text{\hspace{1em}(2-2)} \end{gathered}$$

3. 对于一个期望为 $\mu$， 方差为 ${\sigma }^2,\sigma \ne 0$ 的随机变量 $X$，随机变量 $X^{\ast }=\frac{X-\mu }{\sigma }$ 的数学期望为0，方差为1。 称 $X^{\ast }$ 为 $X$ 的标准化变量。

4. 方差的性质：

   • 常数的方差恒为 0 。
   • 对常数 $C$，有 $Var[CX]=C^{2}Var[X]$。
   • 对两个随机变量 $X,Y$，有： $Var[X+Y]=Var[X]+Var[Y]+2\mathbb{E}[(X-\mathbb{E}[X])(Y-\mathbb{E}[Y])]$；当 $X$ 和 $Y$ 相互独立时，有 $Var[X+Y]=Var[X]+Var[Y]$。这可以推广至任意有限多个相互独立的随机变量之和的情况。
   • $Var[X]=0$ 的充要条件是 $X$ 以概率1取常数。

2.3 协方差和相关系数

1. 对于二维随机变量 $(X,Y)$，可以讨论描述 $X$ 与 $Y$ 之间相互关系的数字特征。

   • 定义：$\mathbb{E}[(X-\mathbb{E}[X])(Y-\mathbb{E}[Y])]$ 为随机变量 $X$ 与 $Y$ 的协方差，记作 $Cov[X,Y]=\mathbb{E}[(X-\mathbb{E}[X])(Y-\mathbb{E}[Y])]$。
   • 定义：${\rho }_{XY}=\frac{Cov[X,Y]}{\sqrt{Var[X]}\sqrt{Var[Y]}}$ 为随机变量 $X$ 与 $Y$ 的相关系数，它是协方差的归一化。

2. 由定义可知：
   $$\begin{gathered} Cov[X,Y]=Cov[Y,X] \\ Cov[X,X]=Var[X] \\ Var[X+Y]=Var[X]+Var[Y]+2Cov[X,Y]\text{\hspace{1em}(2-3)} \end{gathered}$$

3. 协方差的性质：

   • $Cov[aX,bY]=abCov[X,Y],a,b为常数$
   • $Cov[X_1+X_2,Y]=Cov[X_1,Y]+Cov[X_2,Y]$
   • $Cov[f(X),g(Y)]=\mathbb{E}[(f(X)-\mathbb{E}[f(X)])(g(Y)-\mathbb{E}[g(Y)])]$
   • $\rho [f(X),g(Y)]=\frac{Cov[f(X),g(Y)]}{\sqrt{Var[f(X)]}\sqrt{Var[g(Y)]}}$

4. 协方差的物理意义：

   • 协方差的绝对值越大，说明两个随机变量都远离它们的均值。
   • 协方差如果为正，则说明两个随机变量同时趋向于取较大的值或者同时趋向于取较小的值；如果为负，则说明一个随变量趋向于取较大的值，另一个随机变量趋向于取较小的值。
   • 两个随机变量的独立性可以导出协方差为零。但是两个随机变量的协方差为零无法导出独立性。因为独立性也包括：没有非线性关系。有可能两个随机变量是非独立的，但是协方差为零。如：假设随机变量 $X\sim U[-1,1]$。定义随机变量 $S$ 的概率分布函数为：
     $$P(S=1)=\frac{1}{2}P(S=-1)=\frac{1}{2}$$
     定义随机变量 $Y=SX$，则随机变量 $X,Y$ 是非独立的，但是有：$Cov[X,Y]=0$。

5. 相关系数的物理意义：考虑以随机变量 $X$ 的线性函数 $a+bX$ 来近似表示 $Y$。以均方误差
   $$e=\mathbb{E}[(Y-(a+bX){)}^2]=\mathbb{E}[Y^2]+b^2\mathbb{E}[X^2]+a^2-2b\mathbb{E}[XY]+2ab\mathbb{E}[X]-2a\mathbb{E}[Y]\text{\hspace{1em}(2-4)}$$
   来衡量以 $a+bX$ 近似表达 $Y$ 的好坏程度。$e$ 越小表示近似程度越高。
   为求得最好的近似，则对 $a,b$ 分别取偏导数，得到：
   $$\begin{gathered} a_0=\mathbb{E}[Y]-b_0\mathbb{E}[X]=\mathbb{E}[Y]-\mathbb{E}[X]\frac{Cov[X,Y]}{Var[X]} \\ {b}_0=\frac{Cov[X,Y]}{Var[X]} \\ \min (e)=\mathbb{E}[(Y-(a_0+b_{0}X){)}^2]=(1-{\rho }_{XY}^2)Var[Y]\text{\hspace{1em}(2-5)} \end{gathered}$$
   因此有以下定理：

   • $|{\rho }_{XY}|\le 1$（ $|\cdot |$ 是绝对值）。
   • $|{\rho }_{XY}=1|$ 的充要条件是：存在常数 $a,b$ 使得 $P\{Y=a+bX\}=1$。

6. 当 $|{\rho }_{XY}|$ 较大时，$e$ 较小，意味着随机变量 $X$ 和 $Y$ 联系较紧密。于是 $|{\rho }_{XY}|$ 是一个表征 $X、Y$ 之间线性关系紧密程度的量。

7. 当 $|{\rho }_{XY}|=0$ 时，称 $X$ 和 $Y$ 不相关。

   • 不相关是就线性关系来讲的，而相互独立是一般关系而言的。
   • 相互独立一定不相关；不相关则未必独立。

2.4 协方差矩阵

1. 设 $X$ 和 $Y$ 是随机变量

   • 若 $\mathbb{E}[X^k],k=1,2,\cdots$ 存在，则称它为 $X$ 的 $k$ 阶原点矩，简称 $k$ 阶矩。
   • 若 $\mathbb{E}[(X-\mathbb{E}[X]{)}^k],k=2,3,\cdots$ 存在，则称它为 $X$ 的 $k$ 阶中心矩。
   • 若 $\mathbb{E}[X^k{Y}^l],k,l=1,2,\cdots$ 存在，则称它为 $X$ 和 $Y$ 的 $k+l$ 阶混合矩。
   • 若 $\mathbb{E}[(X-\mathbb{E}[X]{)}^k(Y-\mathbb{E}[Y]{)}^l],k,l=1,2,\cdots$ 存在，则称它为 $X$ 和 $X$ 的 $k+l$ 阶混合中心矩。
     因此：期望是一阶原点矩，方差是二阶中心矩，协方差是二阶混合中心矩。

2. 协方差矩阵：

   • 二维随机变量 $(X_1,X_2)$ 有四个二阶中心矩（假设他们都存在），记作：
     $$\begin{gathered} c_{11}=\mathbb{E}[(X_1-\mathbb{E}[X_1]{)}^2] \\ {c}_{12}=\mathbb{E}[(X_1-\mathbb{E}[X_1])(X_2-\mathbb{E}[X_2])] \\ {c}_{21}=\mathbb{E}[(X_2-\mathbb{E}[X_2])(X_1-\mathbb{E}[X_1])] \\ {c}_{22}=\mathbb{E}[(X_2-\mathbb{E}[X_2]{)}^2]\text{\hspace{1em}(2-6)} \end{gathered}$$
     称矩阵
     $$\mathbf{C}=\left[\begin{array}{cc}{c}_{11}& c_{12}\\ c_{21}& c_{22}\end{array}\right]\text{\hspace{1em}(2-7)}$$
     为随机变量 $(X_1,X_2)$ 的协方差矩阵。
   • 设 $n$ 维随机变量 $(X_1,X_2,\cdots ,X_n)$ 的二阶混合中心矩 $c_{ij}=Cov[X_i,X_j]=\mathbb{E}[(X_i-\mathbb{E}[X_i])(X_j-\mathbb{E}[X_j])]$ 都存在，则称矩阵
     $$\mathbf{C}=\left[\begin{array}{cccc}{c}_{11}& c_{12}& \cdots & c_{1n}\\ c_{21}& c_{22}& \cdots & c_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ c_{n1}& c_{n2}& \cdots & c_{nn}\end{array}\right]\text{\hspace{1em}(2-8)}$$
     为 $n$ 维随机变量 $(X_1,X_2,\cdots ,X_n)$ 的协方差矩阵。
     由于 $c_{ij}=c_{ji},i\ne j,i,j=1,2,\cdots ,n$，因此协方差矩阵是个对称阵。

3. 通常 $n$ 维随机变量的分布是不知道的，或者太复杂以致数学上不容易处理。因此实际中协方差矩阵非常重要。

3 大数定律及中心极限定理

3.1 切比雪夫不等式

        假设随机变量 $X$ 具有期望 $E(X)=\mu$，方差 $D(X)={\sigma }^2$，则对于任意正数 $ϵ$，下面的不等式成立：
$$P\{|X-\mu |\ge ϵ\}\le \frac{{ϵ}^2}{{\sigma }^2}\text{\hspace{1em}(3-1)}$$

        其意义是：对于距离 $E(X)$ 足够远的地方（距离大于等于 $ϵ$），事件出现的概率是小于等于 $\frac{{\sigma }^2}{{ϵ}^2}$ 。即事件出现在区间 $[\mu -ϵ,\mu +ϵ]$ 的概率大于 $1-\frac{{\sigma }^2}{{ϵ}^2}$ 。 所以该不等式给出了随机变量 $X$ 在分布未知的情况下，事件 $\{|X-\mu |\le ϵ\}$ 的下限估计。
        证明：
        我们以连续随机变量的情况来证明，离散的情况类似可证。设连续随机变量 $X$ 的密度函数为 $f(x)$，事件 $X$ 即表示 $X$ 落在区间 $(\mu -ϵ,\mu +ϵ)$ 外，因此在积分范围内恒有 $\frac{(x-\mu {)}^2}{{ϵ}^2}\ge 1$，故：

$$\begin{gathered} P\{|X-\mu |\ge ϵ\}={\int }_{|X-\mu |\ge ϵ}p(x)dx\le {\int }_{|X-\mu |\ge ϵ}\frac{{|X-\mu |}^2}{{ϵ}^2}p(x)dx \\ \le \frac{1}{{ϵ}^2}{\int }_{-\infty }^{\infty }{|X-\mu |}^{2}p(x)dx=\frac{{\sigma }^2}{{ϵ}^2}\text{\hspace{1em}(3-2)} \end{gathered}$$

        切比雪夫不等式的特殊情况：设随机变量 $X_1,X_2,\cdots ,X_n,\cdots$ 相互独立，且具有相同的数学期望和方差：$\mathbb{E}[X_k]=\mu ,Var[X_k]={\sigma }^2$。 作前 $n$ 个随机变量的算术平均：$\overline{X}=\frac{1}{n}{\sum }_{k=1}^n{X}_k$， 则对于任意正数 $\epsilon$ 有：
$$\underset{n\to \infty }{\lim }P\{|\overline{X}-\mu |<\epsilon \}=\underset{n\to \infty }{\lim }P\{|\frac{1}{n}\sum _{k=1}^n{X}_k-\mu |<\epsilon \}=1\text{\hspace{1em}(3-3)}$$
        证明：根据期望和方差的性质有：$\mathbb{E}[\overline{X}]=\mu$，$Var[\overline{X}]=\frac{{\sigma }^2}{n}$。根据切比雪夫不等式有：
$$P\{|\overline{X}-\mu |\ge \epsilon \}\le \frac{{\sigma }^2}{n{\epsilon }^2}\text{\hspace{1em}(3-4)}$$
        则有 ${\lim }_{n\to \infty }P\{|\overline{X}-\mu |\ge \epsilon \}=0$，因此有：${\lim }_{n\to \infty }P\{|\overline{X}-\mu |<\epsilon \}=1$

3.2 大数定律

        大数定律（Law of Large Numbers，LLN）是指某个随机事件在单次试验中可能发生也可能不发生，但在大量重复实验中往往呈现出明显的规律性，即该随机事件发生的频率会向某个常数值收敛，该常数值即为该事件发生的概率。另一种表达方式为当样本数据无限大时，样本均值趋于总体均值。

        大数定律的作用：现实生活中，我们无法进行无穷多次试验，也很难估计出总体的参数。大数定律告诉我们能用频率近似代替概率；能用样本均值近似代替总体均值。

        大数定律的表达方式主要有：辛钦大数定律、切比雪夫（Cheby—shev）大数法则、贝努利（Bernoulli）大数法则。

3.2.1 辛钦大数定律

        弱大数定律即辛钦大数定律，设 $X_1,X_2,\cdots$ 是相互独立，服从同一分布的随机变量序列，且具有数学期望 $E(X_k)=\mu (k=1,2,\cdots )$。前 $n$ 个变量的算术平均 $\frac{1}{n}{\sum }_{k=1}^n{X}_k$，则对任意 $ϵ>0$，有
$$\underset{n\to \infty }{\lim }P\{|\frac{1}{n}\sum _{k=1}^n{X}_k-\mu |<ϵ\}=1\text{\hspace{1em}(3-5)}$$

        辛钦大数定理从理论上指出，对于独立同分布且具有均值 $\mu$ 的随机变量 $X_1,\cdots ,X_n$，当 $n$ 很大时，用它们的算术平均值 $\frac{1}{n}{\sum }_{k=1}^n{X}_k$ 来近似实际真值 $\mu$ 是合理的。

        另外一种描述，设随机变量 $X_1,X_2,\cdots ,X_n,\cdots$ 相互独立，服从同一分布且具有数学期望 $E(X_k)=\mu (k=1,2,\cdots )$，则序列 $\overline{X}=\frac{1}{n}{\sum }_{k=1}^n{X}_k$ 依概率收敛于 $\mu$，即 $\overline{X}\stackrel{P}{\to }\mu$。

        注：（1）这里并没有要求随机变量 $X_1,X_2,\cdots ,X_n,\cdots$ 的方差存在。（2）当 $X$ 为服从0-1分布的随机变量时，辛钦大数定律就是伯努利大数定律，故伯努利大数定律是辛钦伯努利大数定律的一个特例。

3.2.2 伯努利大数定理

        设 $f_A$ 是 $n$ 次独立重复试验中事件 $A$ 发生的次数， $p$ 是事件 $A$ 在每次试验中发生的概率，则对于任意正数 $ϵ>0$，有：
$$\underset{n\to \infty }{\lim }P\{|\frac{f_A}{n}-p|<ϵ\}=1或\underset{n\to \infty }{\lim }P\{|\frac{f_A}{n}-p|\ge ϵ\}=0\text{\hspace{1em}(3-6)}$$

        伯努利大数定律说明：当独立重复实验执行非常大的次数时，事件 $A$ 发生的频率逼近于它的概率。

3.2.3 切比雪夫大数定律

        设随机变量 $X_1,X_2,\cdots ,X_n$ 相互独立，分别有数学期望 $E(X_1),E(X_2),\cdots ,E(X_n)$ 及方差 $D(X_1),D(X_2),\cdots ,D(X_n)$ 并且方差是一致有界的，即存在某一个常数 $K$，使得 $D(X_k)<K,k=1,2,\cdots$ 则对任意 $ϵ>0$，恒有
$$\underset{n\to \infty }{\lim }P(|\frac{1}{n}\sum _{k=1}^n{X}_k-\frac{1}{n}\sum _{i=1}^{n}E(X_k)|<ϵ)=1\text{\hspace{1em}(3-7)}$$

        切比雪夫大数定理的意义：由于独立随机变量 $X_1,X_2,\cdots ,X_n$ 的算术平均值 $\overline{X_n}=\frac{1}{n}{\sum }_{k=1}^n{X}_k$ 的数学期望 $E(\overline{X_n})=\frac{1}{n}{\sum }_{k=1}^{n}E(X_k)$ 及方差 $D(\overline{X_n})=\frac{1}{n^2}{\sum }_{k=1}^{n}D(X_k)$，当各个方差一致有界时，$D(\overline{X_n})<\frac{1}{n^2}nK=\frac{K}{n}$，由此可见，当 $n$ 充分大时，随机变量 $X_n$ 的分布的分散度是很小的，$\overline{X_n}$ 的值比较集中在其数学期望附近。

3.2.4 马尔科夫大数定律

        马尔科夫条件：
$$\underset{n\to \infty }{\lim }\frac{D({\sum }_{k=1}^n{X}_k)}{n^2}=0\text{\hspace{1em}(3-8)}$$
        满足马尔科夫条件的随机变量序列 $X_n$ 服从大数定律。

        小结：

大数定理	分布	期望	方差	用途
伯努利	二项分布	相同	相同	估算概率
辛钦	独立同分布	相同	相同	估算期望
切比雪夫	独立	存在	存在 有限	估算期望

        小概率原理或实际推断原理——一个事件如果发生的概率很小的话，那么它在一次试验中是几乎不可能发生的，但在多次重复试验中几乎是必然发生的。统计学里，把小概率事件在一次实验中看成是实际不可能发生的事件，一般认为等于或小于0.05或0.01的概率为小概率。实际推断原理通常在假设检验中使用，即如果小概率事件在一次试验中居然发生了，则有理由首先怀疑原假设的真实性，从而拒绝原假设。

3.3 中心极限定理

        当样本量 $n$ 逐渐趋于无穷大时，$n$ 个抽样样本的均值的频数逐渐趋于正态分布，其对原总体的分布不做任何要求，意味着无论总体是什么分布，其抽样样本的均值的频数的分布都随着抽样数的增多而趋于正态分布。 如下图所示：

        注：图中虚线表示正态分布，可以发现当样本量 $n$ 逐渐增大时，样本的分布趋于正态分布。

3.3.1 独立同分布的中心极限定理

        设随机变量 $X_1,X_2,\cdots ,X_n,\cdots$ 相互独立，服从同一分布，且具有数学期望和方差： $E(X_k)=\mu ,D(X_k)={\sigma }^2(k=1,2,\cdots )$，则随机变量之和 ${\sum }_{k=1}^n{X}_k$ 的标准化变量
$$Y_n=\frac{{\sum }_{k=1}^n{X}_k-E({\sum }_{k=1}^n{X}_k)}{\sqrt{D({\sum }_{k=1}^n{X}_k)}}=\frac{{\sum }_{k=1}^n{X}_k-n\mu }{\sqrt{n}\sigma }\text{\hspace{1em}(3-9)}$$
的分布函数 $F_n(x)$ 对于任意 $x$ 满足
$$\underset{n\to \infty }{\lim }{F}_n(x)=\underset{n\to \infty }{\lim }P\{\frac{{\sum }_{k=1}^n{X}_k-n\mu }{\sqrt{n}\sigma }\le x\}={\int }_{-\infty }^x\frac{1}{\sqrt{2\pi }}{e}^{-t^2/2}dt=\Phi (x)\text{\hspace{1em}(3-10)}$$
        其物理意义为：均值方差为 $\mu ,{\sigma }^2$ 的独立同分布的随机变量 $X_1,X_2,\cdots ,X_n$ 之和 ${\sum }_{k=1}^n{X}_k$ 的标准变化量 $Y_n$，当 $n$ 充分大时，其分布近似于标准正态分布。 一般情况下，很难求出 $n$ 个随机变量之和的分布函数。因此当 $n$ 充分大时，可以通过正态分布来做理论上的分析或者计算。

3.3.2 棣莫弗-拉普拉斯定理

        棣莫弗-拉普拉斯（De Moivre-Laplace）中心极限定理是独立同分布中心极限定理的特殊情况，它是最先被发现的中心极限定理。设随机变量 ${\eta }_n(n=1,2,\cdots )$ 服从参数为 n, p(0a，有：
$$\underset{n\to \infty }{\lim }P\{\frac{{\eta }_n-np}{\sqrt{np(1-p)}}\le a\}={\int }_{-\infty }^x\frac{1}{\sqrt{2\pi }}{e}^{-t^2/2}dt=\Phi (x)\text{\hspace{1em}(3-11)}$$

        该定理表明，正态分布是二项分布的极限分布。当 $n$ 充分大时，我们可以利用上式来计算二项分布的概率。

3.3.3 独立不同分布下的中心极限定理

        长度、重量、时间等等实际测量量一般符合正态分布，因为它们受各种微小的随机因素的扰动。这些随机因素的独立性是很普遍的，但很难说它们一定同分布。

        实际上，一系列独立不同分布的随机变量也可能满足中心极限定理，只是这些不同分布的随机变量要有所限制。以下给出两个独立不同分布下的中心极限定理，不予证明，简单扩展一下。

3.3.4 林德伯格中心极限定理

        设 $\{X_n\}$ 是一系列相互独立的连续随机变量，它们具有有限的期望 $E(X_k)={\mu }_k$ 和方差 $D(X_k)={\sigma }_k^2$ ，记 $Y_n={\sum }_{k=1}^n{X}_k,D(Y_n)={\sum }_{k=1}^n{\sigma }_k^2=B_n^2$ ，记 $X_k$ 的概率密度函数是 $f_i(x)$，若
$$\forall \tau >0：\underset{n\to \infty }{\lim }\frac{1}{{\tau }^2{B}_n^2}\sum _{k=1}^n|X-\mu |\ge \tau B_n(x-\mu {)}^2{f}_k(x)dx=0\text{\hspace{1em}(3-12)}$$
        则
$$\underset{n\to \infty }{\lim }P(\frac{1}{B_n}\sum _{k=1}^n(X_k-\mu )<a)=\Phi (a)\text{\hspace{1em}(3-13)}$$

        林德伯格中心极限定理对 $\{X_n\}$ 的约束基本上是最弱的，也就是最强的中心极限定理。

3.3.5 Lyapunov定律

        设随机变量 $X_1,X_2,\cdots ,X_n,\cdots$ 相互独立，他们具有数学期望和方差：
$$E(X_k)={\mu }_k，D(X_K)={\sigma }_k^2>0，k=1,2,\cdots \text{\hspace{1em}(3-14)}$$
        记 $B_n^2={\sum }_{k=1}^n{\sigma }_k^2$
        若存在正数 $\delta$，使得当 $n\to \infty$ 时，
$$\frac{1}{B_n^{2+\delta }}\sum _{k=1}^{n}E\{{|X_k-{\mu }_k|}^{2+\delta }\}\to 0\text{\hspace{1em}(3-15)}$$
        则随机变量之和 ${\sum }_{k=1}^n{X}_k$ 的标准化变量
$$Z_n=\frac{{\sum }_{k=1}^n{X}_k-E({\sum }_{k=1}^n{X}_k)}{\sqrt{D({\sum }_{k=1}^n{X}_k)}}=\frac{{\sum }_{k=1}^n{X}_k-{\sum }_{k=1}^n{\mu }_k}{B_n}\text{\hspace{1em}(3-16)}$$
        的分布函数 $F_n(x)$ 对于任意 $x$，满足
$$\begin{gathered} \underset{n\to \infty }{\lim }{F}_n(x)=\underset{n\to \infty }{\lim }P\{\frac{{\sum }_{k=1}^n{X}_k-{\sum }_{k=1}^n{\mu }_k}{B_n}\le x\} \\ ={\int }_{-\infty }^x\frac{1}{\sqrt{2\pi }}{e}^{-t^2/2}dt=\Phi (x)\text{\hspace{1em}(3-17)} \end{gathered}$$

        该定理表明，随机变量
$$Z_n=\frac{{\sum }_{k=1}^n{X}_k-{\sum }_{k=1}^n{\mu }_k}{B_n}\text{\hspace{1em}(3-18)}$$

        当 $n$ 很大时，近似地服从正态分布 $N(0，1)$。 由此，当 $n$ 很大时，${\sum }_{k=1}^n{X}_k=B_n{Z}_n+{\sum }_{k=1}^n{\mu }_k$ 近似地服从正态分布 $N({\sum }_{k=1}^n{\mu }_k,B_n^2)$。这就是说，无论各个随机变量 $X_k(k=1,2,\cdots )$ 服从什么分布，只要满足定理的条件，那么它们的 ${\sum }_{k=1}^n{X}_k$，当 $n$ 很大时，就近似地服从正态分布。