机器学习数学基础（二）概率论（下）

复习《概率论与数理统计(浙大 第四版)》笔记整理

目录
- 1.概率论基础
- 2.统计量
- 3.大数定律
- 4.中心极限定理
- 5.最大似然估计

---

3.大数定律

3.1 定义：

设随机变量 X1 , X2 ,…, Xn 相互独立，并且具有相同的期望 μ 和方差 σ2 。取前n个随机变量的平均

Yn=1n∑i=1nXi

则对于任意ε>0，有

limn→∞P{∣∣Yn−μ∣∣<ε}=1

3.2 意义：

当n很大时候，随机变量 X1 , X2 ,…, Xn 的平均值 Yn 在概率意义下无限接近期望 μ

3.3 证明

证明之前先复习一下切比雪夫不等式

切比雪夫不等式定理 设随机变量 X 具有数学期望 E(X)=μ ，方差 D(X)=σ2 ，则对于任意 ε>0 ，不等式

P{∣∣X−μ∣∣≥ε}≤σ2ε2