PT_大数定律LLN

概率基础不等式

马尔可夫不等式

• Markov’s inequality - Wikipedia
• 在概率论中，马尔可夫不等式(英语：Markov’s inequality)
  • 给出了随机变量的函数大于等于某正数的概率的上界。
  • X为一非负随机变量
    • $P(X⩾a)⩽\frac{E(X)}{a}$
• 马尔可夫不等式把概率关联到数学期望，给出了随机变量的累积分布函数一个宽泛但仍有用的界。
  • 马尔可夫不等式的一个应用是，不超过1/5的人口会有超过5倍于人均收入的收入

推导

• 连续型随机变量(X为一非负随机变量)为例

• $$\begin{gathered} \begin{array}{rl}\text{E}(X)& ={\int }_{-\infty }^{\infty }xf(x)dx\\ & ={\int }_0^{\infty }xf(x)dx\\ & ⩾{\int }_a^{\infty }xf(x)dx\\ & ⩾{\int }_a^{\infty }af(x)dx\\ & =a{\int }_a^{\infty }f(x)dx\\ & =a\text{P}(X⩾a).\end{array} \\ \therefore \boxed{P(X⩾a)⩽\frac{E(X)}{a}} \end{gathered}$$

注

• 随机变量的由于非负性$(X⩾0)$

  • 也就是说,随机变量X的取值(观测值)落在概率密度函数f(x)的负半轴区间的概率为0

  • 因此

    • $$\begin{gathered} f(x)=0,x⩽0 \\ {\int }_{-\infty }^{0}f(x)dx=0 \end{gathered}$$

• $$\begin{gathered} F(a)={\int }_{-\infty }^{a}f(x)dx \\ F(+\infty )={\int }_{-\infty }^{+\infty }f(x)dx=1 \\ 1-F(a)={\int }_a^{+\infty }f(x)dx \\ F(a)=P(X⩽a) \end{gathered}$$

• $$\begin{gathered} 1-F(a)=1-P(X⩽a)=P(X>a) \\ P(X=a)=0 \\ \therefore P(X⩾a)=P(X>a)+P(X=a)=1-F(a)={\int }_a^{+\infty }f(x)dx \\ {\int }_a^{+\infty }f(x)dx=P(X⩾a) \end{gathered}$$

切比雪夫不等式

• chebyshev’s inequality

  • ref:Chebychev’s inequality and weak law of large numbers (CS 2800, Spring 2017) (cornell.edu)
  • Chebyshev’s inequality - Wikipedia

• 通过方差来估计:

  • 随机变量的取值和期望之间的偏差大于某个正数$\epsilon$的概率
    • $P(|X-E(X)|⩾\epsilon )$

• chebyshev不等式给出了这个概率的上界$U(\epsilon )$

  • 记$D(X)={\sigma }^2$

  • $U(\epsilon )=\frac{D(X)}{{\epsilon }^2}=\frac{{\sigma }^2}{{\epsilon }^2}$

• 设随机变量X的方差存在:($D(X)存在是chebyshev不等式作用的前提$)

  • 根据概率的规范性,可写出chebyshev不等式的两种形式:

  • $$P(|X-E(X)|⩾\epsilon )⩽\frac{D(X)}{{\epsilon }^2}$$

    • $$\begin{gathered} 其中,\epsilon >0 \\ 根据概率的规范性:P(|X-E(X)|<\epsilon )=1-P(|X-E(X)|⩾\epsilon ), \\ 可以写出另一形式: \end{gathered}$$

• $$P(|X-E(X)|<\epsilon )⩾1-\frac{D(X)}{{\epsilon }^2}$$

推导

• 推导(连续型情况)

  • chebyshev inequality的推导

    • 在于利用事件$|X-E(X)|⩾\epsilon >0$

      • $$\frac{|X-E(X)|}{\epsilon }⩾1$$

    • 也可以借助Markov不等式推导

    • 从而:$|X-E(X)|\epsilon ⩾1$,利用这个不等式进行放缩被积函数

    • $$\begin{gathered} \frac{|X-E(X)|}{\epsilon }⩾1 \\ \Rightarrow \frac{|X-E(X){|}^2}{{\epsilon }^2}⩾1 \\ 记u=\frac{|X-E(X){|}^2}{{\epsilon }^2} \\ uf(x)⩾f(x) \\ 将E(X)看作一个常数,{\mu }_X=E(X) \\ ({\sigma }_X^2=D(X)=E(X^2)-E^2(X)相对于自变量x可以视为常数); \\ (E(X)\&D(X)与随机变量X是函数关系) \\ 积分变量设为x \\ 积分区间用不等式表示:|x-E(X)|>\epsilon \end{gathered}$$

      $$\begin{gathered} P(|X-E(X)|⩾\epsilon )=\underset{|x-E(X)|>\epsilon }{\int }f(x)\mathrm{d}x \\ ⩽\underset{|x-E(X)|>\epsilon }{\int }\frac{|x-E(X){|}^2}{{\epsilon }^2}f(x)\mathrm{d}x \\ ⩽\underset{x\in R}{\int }\frac{(x-E(X){)}^2}{{\epsilon }^2}f(x)\mathrm{d}x \\ Note:(此处,\underset{x\in R}{\int }\iff {\int }_{-\infty }^{+\infty };\underset{x\in R}{\int }f(x)\mathrm{d}x=1) \\ =\frac{1}{{\epsilon }^2}\underset{x\in R}{\int }(x-E(X){)}^{2}f(x)\mathrm{d}x \\ =\frac{1}{{\epsilon }^2}D(X) \\ 上述证明中,对被积函数和被积分区域都进行了放缩 \end{gathered}$$

    • $$\begin{gathered} 记g(X)=(X-E(X){)}^2=(X-{\mu }_X{)}^2,{\mu }_X=E(X)是常数 \\ 则g(x)=(x-{\mu }_X{)}^2 \\ 根据方差的展开公式(连续型) \\ D(X)=E(g(X))={\int }_{-\infty }^{+\infty }g(x)f(x)\mathrm{d}x \\ ={\int }_{-\infty }^{+\infty }(x-E(X){)}^{2}f(x)\mathrm{d}x \\ ={\int }_{-\infty }^{+\infty }(x-{\mu }_X{)}^{2}f(x)\mathrm{d}x \\ ={\int }_{x\in R}(x-{\mu }_X{)}^{2}f(x)\mathrm{d}x \end{gathered}$$

例

• 设随机变量$X_1,\cdots ,X_n$独立同分布,且$X_i$的4阶矩存在

  • 设${\mu }_k=E(X_i^k)(k=1,2,\cdots ,4)$

  • 则由chebyshev不等式,对于$\forall ϵ>0$,$Q=P(|\frac{1}{n}\sum _{i=1}^n{X}_i^2-{\mu }_2)⩾ϵ⩽S=?$

  • $$\begin{gathered} chebyshev不等式形式: \\ P(|X-E(X)|⩾ϵ)⩽\frac{D(X)}{{ϵ}^2} \\ 尝试令X=\overline{X_i^2}=\frac{1}{n}\sum _{i=1}^n{X}_i^2 \\ E(X)=E(\overline{X_i^2})=\frac{1}{n}\sum _{i=1}^{n}E(X_i^2)=\frac{1}{n}\sum _{i=1}^n{\mu }_2=\frac{1}{n}(n\times {\mu }_2)={\mu }_2 \\ 这恰好和Q的形式对应上了 \\ D(X)=D(\overline{X_i^2})=\frac{1}{n^2}\sum _{i=1}^{n}D(X_i^2) \\ D(X_i^2)=E((X_i^2{)}^2)-E^2(X_i^2)={\mu }_4-{\mu }_2^2 \\ (或者另一条路:D(X)=E(X^2)-E^2(X)=E(({\overline{X_i}}^2{)}^2)\cdots ,并不顺利) \\ D(X)=\frac{1}{n^2}n({\mu }_4-{\mu }_2^2) \\ S=\frac{D(X)}{{ϵ}^2}=\frac{{\mu }_4-{\mu }_2^2}{n{ϵ}^2} \end{gathered}$$

依概率收敛

定义

• $随机变量序列\{X_i\},i=1,2,\cdots$

  • A是一个常数

  • $\forall ϵ>0$

  • $$\begin{gathered} \underset{n\to \infty }{\lim }P(|X_n-A|<ϵ)=1 \\ 或:\underset{n\to \infty }{\lim }P(|X_n-A|⩾ϵ)=0 \\ 则称\{X_i\}依赖概率收敛于常数A \\ 记为:X_n\stackrel{P}{}A \\ 或(X_n-A\stackrel{P}{}0) \end{gathered}$$

  • $$\begin{gathered} 特别的,当A=0的时候 \\ \underset{n\to \infty }{\lim }P(|X_n|<ϵ)=1或 \\ \underset{n\to \infty }{\lim }P(|X_n|⩾ϵ)=0则称\{X_i\}依赖概率收敛于0: \\ {X}_n\stackrel{P}{}0 \end{gathered}$$

    • 从极限的角度,也就是说符号$\stackrel{P}{}A表示依概率收敛于A;P表示概率Probability$

直观解释

• 以概率收敛的直观解释:
  • $\forall ϵ>0,n充分大的时候,X_n与X的偏差小于ϵ$
  • 描述的是在概率意义下的收敛性
    • $当n很大的时候,我们有很大的把握可以保证X_n与X很接近(要多接近有多接近)$

特点

• 从形式上看,依概率收敛的定义中,被求极限的概率表达式部分:$P(|X_n-A|⩾ϵ)$很符合chebyshev不等式中的形式

  • $$\begin{gathered} P(|X-E(X)|⩾\epsilon )⩽\frac{D(X)}{{\epsilon }^2} \\ \underset{n\to \infty }{\lim }P(|X_n-A|⩾ϵ)=0 \end{gathered}$$

服从大数定律

• $如果\{X_n\mid n=1,2,\cdots \}是一列随机变量序列$

  • $\{a_n\}是一列实数序列$

  • $如果存在某个\{a_n\},使得:$

    • $$\begin{gathered} S=S(n,\{X_n\})=\frac{1}{n}(\sum _{i=1}^n{X}_i)-a_n\stackrel{P}{}0 \\ \underset{n\to \infty }{\lim }P(S)=\underset{n\to \infty }{\lim }P(|(\frac{1}{n}\sum _{i=1}^n{X}_i)-a_n|⩾ϵ)=0 \end{gathered}$$

  • 则称$\{X_n\}$服从大数定律

大数定律

• Law of large numbers(LLN)

• 事件A发生的频率具有稳定性:

  • 当试验次数n增大,频率将稳定于某一个常数(这个常数就A发生的概率:P(A))

  • 例如:做测量的时候,重复测量n次,得到的数值分别记为$X_1,X_2,\cdots ,X_n$

    • $可以将\{X_i\},i=1,2,\cdots ,n视为n个独立同分布的随机变量$

      • 一般测量试验的随机变量服从正态分布:设为$X\sim N(\mu ,{\sigma }^2)$
      • $X_i之间的的数学期望和方差都是一致的,分别为\mu ,\sigma$
      • $E(\overline{X})=E(X_i)=\mu$
      • $D(\overline{X})=\frac{1}{n}{\sigma }^2$
        • 从这个角度上看,当n充分大的时候,方差趋近于0
        • $并且\overline{X}会稳定于它的数学期望\mu$,体现的是大量试验中平均结果的稳定性

    • 下面是推导过程:

      • $将这n个随机变量的算数平均值记为\overline{X}=\frac{1}{n}\sum _{i=1}^n{X}_i$

      • $\overline{X}也视为一个随机变量$

      • $$\begin{gathered} E(\overline{X})=\frac{1}{n}E(\sum _{i=1}^n{X}_i)=\frac{1}{n}\sum _{i=1}^{n}E(X_i)=\frac{1}{n}n\mu =\mu \\ D(\overline{X})=E({\overline{X}}^2)-E^2(\overline{X}) \\ =E((\frac{1}{n}\sum _{i=1}^n{X}_i{)}^2)-{\mu }^2 \\ =\frac{1}{n^2}E((\sum _{i=1}^n{X}_i{)}^2)-{\mu }^2 \end{gathered}$$

      • $$\begin{gathered} (\sum _{i=1}^n{X}_i{)}^2=\sum _{i=1}^n\sum _{j=1}^n{X}_i{X}_j \\ =\sum _{i=1}^n\sum _{\begin{array}{r}j=1\\ j\ne i\end{array}}^n{X}_i{X}_j+\sum _{i=1}^n{X}_i^2 \end{gathered}$$

        • $$\begin{gathered} D(X_i)={\sigma }^2=E(X_i^2)-E^2(X_i)=E(X_i^2)-{\mu }^2 \\ E(X_i^2)={\sigma }^2+{\mu }^2 \end{gathered}$$

        • $$\begin{gathered} E(\sum _{i=1}^n\sum _{\begin{array}{r}j=1\\ j\ne i\end{array}}^n{X}_i{X}_j+\sum _{i=1}^n{X}_i^2) \\ =\sum _{i=1}^n\sum _{\begin{array}{r}j=1\\ j\ne i\end{array}}^{n}E(X_i{X}_j)+\sum _{i=1}^{n}E(X_i^2) \\ =\sum _{i=1}^n\sum _{\begin{array}{r}j=1\\ j\ne i\end{array}}^{n}E(X_i)E(X_j)+\sum _{i=1}^{n}E(X_i^2) \\ =\sum _{i=1}^n\sum _{\begin{array}{r}j=1\\ j\ne i\end{array}}^n{\mu }^2+n({\mu }^2+{\sigma }^2) \\ =n^2({\mu }^2)+n{\sigma }^2 \end{gathered}$$

      • $$\begin{gathered} E(\overline{X})=\frac{1}{n^2}E((\sum _{i=1}^n{X}_i{)}^2)-{\mu }^2 \\ =\frac{1}{n^2}(n^2{\mu }^2+n{\sigma }^2)-{\mu }^2 \\ ={\mu }^2+\frac{1}{n}\sigma -{\mu }^2 \\ =\frac{1}{n}{\sigma }^2 \end{gathered}$$

  • 前面说到的大量试验中平均结果的稳定性,

    • 用大数定律,以严格的数学语言表达了随机现象在大量试验中所呈现出的统计规律性
      • 频率的稳定性
      • 平均结果的稳定性

chebyshev LLN

• $$\begin{gathered} 记\overline{X}=\frac{1}{n}\sum _{i=1}^n{X}_i; \\ E(\overline{X})=E(\frac{1}{n}\sum _{i=1}^n{X}_i)=\frac{1}{n}E(\sum _{i=1}^n{X}_i)=\frac{1}{n}\sum _{i=1}^{n}E(X_i) \\ \overline{E(X)}=\frac{1}{n}\sum _{i=1}^{n}E(X_i) \\ E(\overline{X})=\overline{E(X)} \end{gathered}$$

• chebyshevLLN可以描述为:

  • $$\begin{gathered} \{X_n\mid n=1,2,\cdots \},是一列\underline{相互独立}的随机变量序列 \\ \text{if }\exists C>0,\text{s.t.}\forall i,D(X_i)⩽C, \\ 即(max(D(X_i))⩽C) \\ \Rightarrow \forall ϵ>0: \end{gathered}$$

  • $$\begin{gathered} \underset{n\to \infty }{\lim }P(|\overline{X}-\overline{E(X)}|⩾ϵ)=0 \\ 即:\overline{X}-\overline{E(X)}=\overline{X}-E(\overline{X})⩾ϵ\stackrel{P}{}0 \\ \overline{X}\stackrel{P}{}\overline{E(X)} \end{gathered}$$

• 推导:(可以由chebyshev不等式进行推导)

  • $$\begin{gathered} 由独立性可知: \\ D(\overline{X})=\frac{1}{n^2}D(\sum _{i=1}^n{X}_i)=\frac{1}{n^2}\sum _{i=1}^{n}D(X_i)⩽\frac{1}{n^2}nC=\frac{C}{n} \end{gathered}$$

  • $$\begin{gathered} 由chebyshev不等式: \\ P(|X-E(X)|⩾\epsilon )⩽\frac{D(X)}{{\epsilon }^2} \\ P(|\overline{X}-E(\overline{X})|⩾\epsilon )⩽\frac{D(\overline{X})}{{\epsilon }^2}⩽\frac{1}{{ϵ}^2}\frac{C}{n}\stackrel{n\to \infty }{}0 \\ 经过上面的放缩从而得到证明 \\ \underset{n\to \infty }{\lim }P(|\overline{X}-E(\overline{X})|⩾\epsilon )=0 \end{gathered}$$

应用

• 回到前面提到的多次测量取平均值的期望和方差问题:

  • $$\begin{gathered} X_i独立同分布 \\ E(X_i)=\mu ; \\ D(X_i)={\sigma }^2 \\ \overline{E(X)}=\frac{1}{n}\sum _{i=1}^{n}E(X_i)=\frac{1}{n}n(\mu )=\mu \end{gathered}$$

    • $$\begin{gathered} n个观察值的算数平均值:\overline{X}=\frac{1}{n}\sum _{i=1}^n{X}_i \\ \mu 作为被测物的指标真值,每次测量(X_i)的最理想值是同一个真值 \end{gathered}$$

• 当试验次数n趋于无穷大的时候,实际测量值的算数平均值$\overline{X}$依概率收敛于真值$\mu$

  • 揭示了平均结果具有稳定性
  • 测量中,常用多次重复测量所得到的观测值的算数平均值作为被测量值的近似值

bernoulli LLN

• 和chebyshevLLN的区别

  • bernoulliLLN主要针对n重bernoulli试验的
  • chebyshevLLN的使用范围更广泛,但是精度有限
  • khinchinLLN试图进一步削弱定理运用条件

• $设X_n是n次独立试验中事件A发生的次数$

  • 在每次试验中,事件A发生的概率是$p,p\in (0,1)$

    • $则:X_n\sim B(n,p)$

    • $E(X_n)=np,D(X_n)=np(1-q)$

  • $\forall ϵ>0:$

    • $$\begin{gathered} \underset{n\to \infty }{\lim }P(|\frac{X_n}{n}-p|⩾ϵ)=0 \\ 即\frac{1}{n}{X}_n\to p \end{gathered}$$

  • 推导:

    • $$\begin{gathered} 由chebyshev不等式: \\ P(|X-E(X)|⩾ϵ)⩽\frac{1}{{ϵ}^2}D(X) \\ P(|\frac{1}{n}{X}_n-E(\frac{1}{n}{X}_n)|⩾ϵ)⩽\frac{1}{{ϵ}^2}D(\frac{1}{n}{X}_n) \\ P(|\frac{1}{n}{X}_n-\frac{1}{n}E(X_n)|⩾ϵ)⩽\frac{1}{{ϵ}^2}\frac{1}{n^2}D(X_n) \\ P(|\frac{1}{n}{X}_n-\frac{1}{n}np|⩾ϵ)⩽\frac{1}{{ϵ}^2}\frac{1}{n^2}np(1-p) \\ P(|\frac{1}{n}{X}_n-p|⩾ϵ)⩽\frac{1}{{ϵ}^2}\frac{1}{n}p(1-p)\stackrel{n\to \infty }{}0 \\ 即\underset{n\to \infty }{\lim }P(|\frac{1}{n}{X}_n-p|⩾ϵ)=0 \\ \frac{1}{n}{X}_n\stackrel{P}{}p(n\to \infty ) \end{gathered}$$

意义

• bernoulli LLN揭示了频率与概率之间的关系
  • 推导过程中的$X_n$就表示的频率
  • 当试验条件不变的时候,多次重复试验中,随机事件出现的频率$\frac{1}{n}{X}_n$将依概率收敛于随机事件的概率p
  • 从而,以频率估计(接近)概率的这一直观经验有了严格的数学意义
  • 也就是频率的稳定性在理论上得到证明
  • 是实践中,用频率估计概率的依据

Khinchin LLN

• 辛钦大数定律告诉我们,chebyshev LLN中要求的随机变量序列$\{X_n\mid n=1,2,\cdots \}$相互独立这条件在某些情况下是多余的

• 样本数量越多，则其算术平均值就有越高的概率接近期望值。

• 相比于chebyshev大数定律,具有更广的使用范围(证明需要专业知识)

  • 设$\{X_n\mid n=1,2,\cdots \}$是独立同分布的随机变量序列

    • $记:\overline{X}=\frac{1}{n}\sum _{i=1}^n{X}_i$

    • $E(X_n)=\mu 存在$

    • $\forall ϵ>0:$

    • $$\begin{gathered} \underset{n\to \infty }{\lim }P(|\frac{1}{n}\sum _{i=1}^n{X}_i-\mu |⩾ϵ)=0 \\ \underset{n\to \infty }{\lim }P(|\overline{X}-\mu |⩾ϵ)=0 \\ \overline{X}\stackrel{P}{}\mu (n\to \infty ) \end{gathered}$$

• 揭示了n足够大的时候,可以用各次试验结果对应的随机变量$X_n,n=1,2,\cdots$的均值$\overline{X}$估计期望$\mu$

总结

• $$\begin{gathered} 弱大数定律 \\ 弱大数定律(WLLN)也称为辛钦定理，陈述为：样本均值依概率收敛于期望值 \\ {\overline{X}}_n\stackrel{P}{}\mu \text{as}n\to \infty \\ 也就是说对于任意正数\epsilon , \\ \underset{n\to \infty }{\lim }P\left(|{\overline{X}}_n-\mu |>\epsilon \right)=0 \end{gathered}$$

• $$\begin{gathered} 强大数定律 \\ 强大数定律(SLLN)指出，样本均值以概率1收敛于期望值。 \\ {\overline{X}}_n\stackrel{\text{a.s.}}{}\mu \text{as}n\to \infty 即 \\ P\left(\underset{n\to \infty }{\lim }{\overline{X}}_n=\mu \right)=1 \end{gathered}$$

• $$\begin{gathered} 切比雪夫定理的特殊情况设a_1,a_2,\dots ,a_n,\dots 为相互独立的随机变量， \\ 其数学期望为：E(a_i)=\mu (i=1,2,\dots )， \\ 方差为：\mathrm{Var}(a_i)={\sigma }^2(i=1,2,\dots ) \\ 则序列\overline{a}=\frac{1}{n}\sum _{i=1}^n{a}_i依概率收敛于\mu \\ （即收敛于此数列的数学期望E(a_i)。 \\ 换言之，在定理条件下，当n无限变大时，n个随机变量的算术平均将变成一个常数。 \end{gathered}$$

• 伯努利大数定律设在 n 次独立重复伯努利试验中， 事件 X 发生的次数为 n x ，事件 X 在每次试验中发生的总体概率为 p ， n x n 代表样本发生事件 X 的频率。 则对任意正数 ε > 0 ，伯努利大数定律表明： lim ⁡ n → ∞ P { ∣ n x n − p ∣ < ε } = 1 伯努利大数定律 设在{\displaystyle n}次独立重复伯努利试验中， \\事件{\displaystyle X}发生的次数为 n_{x}，事件{\displaystyle X}在每次试验中发生的总体概率为 p， \\{\displaystyle {\frac {n_{x}}{n}}} 代表样本发生事件 X的频率。 \\ 则对任意正数 \varepsilon >0，伯努利大数定律表明： \\ {\displaystyle \lim _{n\to \infty }{P{\left\{\left|{\frac {n_{x}}{n}}-p\right|<\varepsilon \right\}}}=1} 伯努利大数定律设在n次独立重复伯努利试验中，事件X发生的次数为nx​，事件X在每次试验中发生的总体概率为p，nnx​​代表样本发生事件X的频率。则对任意正数ε>0，伯努利大数定律表明：n→∞lim​P{ ​nnx​​−p ​<ε}=1

  • 换言之，事件发生的频率依概率收敛于事件的总体概率。
    该定理以严格的数学形式表达了频率的稳定性，也就是说当$n$很大时，事件发生的频率于总体概率有较大偏差的可能性很小