概率论极简速查笔记

0 术语

• 概率空间 : 简单理解为 符合概率三条公理、可以用概率公理体系为之建模。
• 随机变量： 依赖于随机试验结果的未知量
• 随机试验

1 重要定义

概率

概率 P 为定义在 F F 上的非负值函数，即对每一个事件 A∈F A ∈ F ，都可以定义一个实数 P(A)，它们满足如下条件：
1 非负性
2 规范性 P(Ω)=1 P ( Ω ) = 1
3 可列可加性 （可列 和可数数列有点像）
则P(A)称为事件A 的概率，而试验的样本空间 Ω Ω 、事件体 F 及定义在 F 上的概率 P 构成了一个三元组， (Ω,F,P) ( Ω , F , P ) ，这一三元组称为概率空间。

概率密度函数 f(x)=P(x) f ( x ) = P ( x )

概率分布函数 F(x)=P(X≤x) F ( x ) = P ( X ≤ x )

期望（均值）

E(X)=Σxp(x) E ( X ) = Σ x p ( x )

方差，标准差
var(X)=E((X−EX)2) v a r ( X ) = E ( ( X − E X ) 2 )
方差是各个数据与平均数之差的平方的平均数

标准差 var(X)‾‾‾‾‾‾√ v a r ( X )

标准化随机变量

X∗=X−EXvar(X)√ X ∗ = X − E X v a r ( X )
标准化后的 X* 均值为0，方差为1

协方差，相关系数

cov(X,Y)=E[(X−EX)(Y−EY)] c o v ( X , Y ) = E [ ( X − E X ) ( Y − E Y ) ]

如果X 与Y 是统计独立的，那么二者之间的协方差就是0。
但是反过来并不成立，即如果X 与Y 的协方差为0，二者并不一定是统计独立的。

相关系数（标准化的协方差）
r=cov(X,Y)var(X)√var(Y)√ r = c o v ( X , Y ) v a r ( X ) v a r ( Y )

协方差矩阵

分位数，（分位点） F−1(p≥a%) F − 1 ( p ≥ a % ) 对应的 x 值
F(X) 为 概率分布函数

2 重要定理

Chebyshev 不等式

P(|X−EX|≥c)≤var(X)c2 P ( | X − E X | ≥ c ) ≤ v a r ( X ) c 2

大数定律

最开始的大数定律是“抛硬币的”版本。大数定律保证了：大量重复试验得到的频率会趋于我们所定义的概率。
（注意到我们定义概率时，只是将满足三条公理的P(A)定义为概率，并没有说明如何求这一数值，而我们的经验往往预设 频率会接近于概率，此处的大数定律更多的是 将这一公理体系完善化，得到的这一定律与现实经验观察符合，反过来在一定程度上说明这一公理系统的合理性。）

条件 ： 独立同分布

中心极限定理

条件： 独立同分布
结论： 大量独立同分布的和的分布 趋于某一正态分布
进行过标准化转换的随机变量 会趋于 标准正态分布 N(0,1) N ( 0 , 1 )
其他 X1+X2+X3....+Xn X 1 + X 2 + X 3 . . . . + X n 近似 N(nμ,nσ2) N ( n μ , n σ 2 )

应用 —— （近似估计 …)
在实际问题中，一般只要 n≥30 n ≥ 30 ，用中心极限定理就可以得到很好的近似。在具体的情形，达到近似所要求的 n 还可能减少。

注意：离散型随机变量的连续修正（应用中心极限定理估计时做的修正）

对于取整数值的离散随机变量 X ，在用中心极限定理时，需要考虑用如下的连续修正
P(X=k)=P(k−0.5<X<k+0.5) P ( X = k ) = P ( k − 0.5 < X < k + 0.5 )

3 常用计算公式

E(x1+x2)=E(x1)+E(x2) E ( x 1 + x 2 ) = E ( x 1 ) + E ( x 2 )
var(cX)=c2var(X) v a r ( c X ) = c 2 v a r ( X )

对于独立的随机变量 var(ΣXi)=ΣvarXi v a r ( Σ X i ) = Σ v a r X i

计算方差的公式：
var(X)=E(x−EX)2=EX2−(EX)2 v a r ( X ) = E ( x − E X ) 2 = E X 2 − ( E X ) 2
var(X)=E(x−EX)2=Σ(x−EX)2f(x)=Σ(x2f(x)−(EX)2) v a r ( X ) = E ( x − E X ) 2 = Σ ( x − E X ) 2 f ( x ) = Σ ( x 2 f ( x ) − ( E X ) 2 )

var(X+Y)=var(X)+var(Y)+2E[(X−EX)(Y−EY)]=var(X)+var(Y)+2cov(X,Y) v a r ( X + Y ) = v a r ( X ) + v a r ( Y ) + 2 E [ ( X − E X ) ( Y − E Y ) ] = v a r ( X ) + v a r ( Y ) + 2 c o v ( X , Y )

1
贝叶斯公式 （逆概率公式）

是从出现的结果估算其发生的原因的可能性的基本公式

2 证明方法
概率公理体系的构建过程中，定理的证明，多是从公理、定义出发的，用集合、微积分方面的定理来推导。
@acat 因为事件是集合，P(*) 取概率 是 一个集合函数，证明定理多是用 集合方面的定理，还有微积分方面的。

离散随机变量

1 二项分布 B~(n,p)

2 泊松分布 （p 很小时的，二项分布概率的近似计算）

连续型随机变量

正态分布

补充参考：

（待整合）
期望、方差、协方差及相关系数的基本运算