概率论四大收敛与三个大数定律

Part1.概率论四大收敛与三个大数定律

四大收敛：

1.依收敛（Convergence in ）

    令，又令随机变量序列满足，并令随机变量满足

    若

    则称依收敛于，记为

2.依分布收敛（Convergence in Distribution）

    令随机变量序列对应的分布函数序列为，随机变量对应的分布函数为

    若对于每个连续点，有

    则称依分布收敛于，记为

3.依概率收敛（Convergence in Probability）

    令随机变量序列和随机变量

    若，有

    则称依概率收敛于，记为

4.几乎处处收敛（Almost Sure Convergence）

    令随机变量序列和随机变量

    若，有

    则称几乎处处收敛于，记为

三个大数定律（仅列出简化版本）：

1.弱大数定律（Weak Law of Large Numbers，WLLN）

    令独立同分布（i.i.d）随机变量序列满足和

    定义，则对，有

    即依概率收敛于

2.强大数定律（Strong Law of Large Numbers，SLLN）

    令独立同分布（i.i.d）随机变量序列满足和

    定义

    则几乎处处收敛于

3.中心极限定理（Central Limit Theorem，CLT）

    令独立同分布（i.i.d）随机变量序列满足和

    定义，有标准化样本

    则依分布收敛于正态分布

引理1.相互推导关系

1.1

1.2

1.3

引理2.两个不等式

2.1马尔可夫不等式

    设为一随机变量，为一非负函数，则对，有

    

2.2波恩斯坦不等式

    令独立同分布（i.i.d）随机变量序列满足零均值且有界支撑

    ，有；令，有

    则对，有

引理3.连续性质

3.1若为连续函数，则

3.2若为连续函数，则

3.3若为连续函数，则

引理4.等价性质

4.1渐进等价性（Asymptotic Equivalence）

    

4.2Slutsky

    假设且为常数，则

    1）

    2）

---

Part2.概率论基础和重要不等式

集合、概率、随机变量（三元集）：

事件：全空间的子集

事件集：由的子集构成的代数

随机变量：Borel可测映射

随机变量取值的概率：

        对应几乎处处连续的分布函数CDF：

事件就是集合，随机变量的取值对应着某个事件，随机变量取值的概率对应着集合的测度

不可能事件、零概率事件、或然事件、全概率事件、必然事件    

集合的上下极限：

        事件至少发生一个

        上限事件，发生次数为无限次的事件

        事件同时发生

        下限事件，不发生次数为有限次的事件

德·摩根律：

        即

        即

博雷尔·康特立引理：

    （1）若满足，则且

    （2）若相互独立，则等价于且

噶依克·瑞尼不等式：

    为独立随机变量序列，，为正的非增常数序列

    ，有

柯尔莫哥洛夫不等式：

    为独立随机变量序列，

    ，有

Declare：

凡是四大收敛的定义法证明，几乎都可以归结为集合的交并补运算

---

Part3.概率论中特征函数的重要性

数学期望与高阶矩的本质：积分

矩母函数的定义：

    设为随机变量，，有存在，则

矩母函数与高阶矩的关系：

    

特征函数的定义：

    设为随机变量，，有必存在，则

特征函数与高阶矩的关系：

    

特征函数与分布函数的关系：一一对应

1.逆转公式

    分布函数的特征函数为，又是的连续点，则有

    

2.唯一性定理

    分布函数由特征函数唯一确定，即令，得

    

3.海莱第一定理

    任意一个一致有界的非降函数列中必有一子序列，其弱收敛于某一有界的非降函数

4.海莱第二定理及其推广

    ，且是上弱收敛于的一致有界非降函数序列，且和为的连续点，则

    可推广至

5.正极限定理

    若分布函数列弱收敛于，则特征函数列逐点收敛于，且在的任一有限区间内一致收敛

6.逆极限定理

    若特征函数列收敛于，且在处连续

    则相应弱收敛于，且为的特征函数

四大收敛与特征函数的关系

1.收敛与特征函数

    考虑到

2.依分布收敛与特征函数

    逐点收敛于，且在的任一有限区间内一致收敛

3.依概率收敛&几乎处处收敛与特征函数

    逐点收敛于，且在内一致收敛

    积分运算使得函数的部分信息丧失，进而无法由特征函数直接区分这两种收敛

渐进等价性引理的证明（By 特征函数）

    引理.两个函数列之和在内一致收敛，其中一个函数列在的任一有限区间内一致收敛，则另一个函数列在的任一有限区间内一致收敛

Slutsky定理的证明（By 集合）

    将依概率收敛中的集合不等式打开

    

渐进等价性引理与Slutsky定理的关系：

    一个依概率收敛，两个依分布收敛->本质相同，表述不同

---

Conclusion：

博赫纳尔-辛钦定理：

    是特征函数非负定、连续且

        随机变量唯一确定集合映射关系，唯一确定分布函数，唯一确定特征函数

        随机变量是三元集，分布函数性质较差，而特征函数性质堪称完美

        故应当以集合&特征函数的视角研究随机变量与概率论

        进入玄学范围，概率的问题，随机变量的问题，在其三元集上讨论，这一做法极其愚蠢

        将概率论与卡巴拉生命之树相联系，那么：

        <集合>对应于<王座>

        <特征函数>对应于<王冠>

        若是无视了<集合>这一王座，未曾见<特征函数>这一王冠

        只见粗干，甚至于一叶障目

        那么概率论到最后也不过是白学了，毫无卵用

        书中写遍概率符号

        然而在我眼中只有<集合><特征函数>罢了

---

Tips：

最后附上CLT&WLLN&SLLN的证明梗概，需要详细证明可以查阅相关书籍或者私戳我：

        CLT的证明有三种套路：

1.特征函数&海莱定理

2.林德伯格-莱维条件

3.特殊情况下的代数变换

        WLLN的证明有两种套路：

1.特征函数的泰勒展开

2.马尔可夫不等式&波恩斯坦不等式&一般化

        SLLN的证明有两种套路：

1.特征函数的泰勒展开

2.博雷尔康特立引理&噶依克·瑞尼不等式