概率论与统计(二)概率论知识总结

1.概率定义

频率派概率：一个结果发生的概率为P，则如果我们进行无数次的反复实验，有P的比例会导致这样的结果
贝叶斯概率：根据经验估计得出先验概率，随后根据数据一步步修正概率

2.条件概率

2.1条件概率公式

在事件F已经发生的情况下，事件E发生的概率表示为
$P(E|F)=\frac{P(EF)}{P(F)}$
$P(EF)=P(E|F)P(F)$

2.2贝叶斯公式

全概率公式：将某一事件单独发生的概率转化为与其他事件相关的条件概率公式
$P(E)=P(EF)+P(E{F}^{\prime })=P(E|F)P(F)+P(E|F^{\prime })P(F^{\prime })$
$P(E)={\sum }_{i=1}^{n}P(F_i)P(E|F_i)$
贝叶斯公式：
$P(F|E)=\frac{P(EF)}{P(E)}=\frac{P(EF)}{P(E|F)P(F)+P(E|F^{\prime })P(F^{\prime })}$
$P(F_j|E)=\frac{P(E{F}_j)}{P(E)}=\frac{P(E|F_j)P(F_j)}{{\sum }_{i=1}^{n}P(E|F_i)P(F_i)}$

3.独立性

根据条件概率公式，若两个事件独立则$P(E|F)=P(E)$
$P(EF)=P(E)P(F)$等价于事件E与事件F独立

4.随机变量

4.1随机变量定义

样本空间：一个事件的所有可能结果
样本点：事件所有可能结果中的一种结果
随机变量：对于每一个样本点，都有一个唯一的实数与之对应，则就产生了一个样本点到唯一实数之间的函数
分布律：
概率质量函数(Probablity Mass Function)：随机变量中的每个取值映射到该取值的概率
$P(x)=P(X=x)$
累积分布函数(Cumulative Probablity Function)：随机变量小于等于某个值的概率之和
$F(x)=P(X\le x)$

4.2离散型随机变量

定义：一个随机变量的全部可能取值，只有有限多个或可列无穷多个
常见分布：两点分布、二项分布、几何分布、超几何分布、均匀分布、泊松分布
分布律：$F(a)={\sum }_{x\le a}p(x)$

4.3连续型随机变量

定义：随机变量的取值为连续的
常见分布：均匀分布、指数分布、正态分布
分布律：
概率密度函数(Probability Density Function):
$P(X\in B)={\int }_{B}f(x)dx$

4.4联合分布随机变量

分布函数：
联合分布函数：$F(x,y)=P(X\le x,Y\le y)$
边缘分布函数：$F_X(x)=F(x,\infty ),F_Y(y)=F(\infty ,y)$
联合分布质量函数：$p(x,y)=P(X=x,Y=y)$
独立随机变量：
$P(X\in A,Y\in B)=P(X\in A)P(Y\in B)$
$F(a,b)=F_X(a)F_Y(b)$
$p(x,y)=p_X(x)p_Y(y)$
条件分布：
$p_{X|Y}(x|y)=P(X=x|Y=y)=\frac{P(X=x,Y=y)}{P(Y=y)}$

5.期望、方差与协方差

5.1期望

期望：随机变量取值的平均值
$E[X]=\sum x_{i}P(x_i)$
函数的期望：
离散：$E[X]=\sum g(x)p(x)$
连续：$E[X]=\int g(x)f(x)$
联合分布的期望：
离散：$E[g(X,Y)]={\sum }_y{\sum }_{x}g(x,y)p(x,y)$
连续：$E[g(X,Y)]={\int }_y{\int }_{x}g(x,y)f(x,y)dxdy$

5.2方差

方差：随机变量的取值与平均取值（期望）的偏离程度
$Var(X)=E[(X-\mu {)}^2]=E[X^2]-(E[X]{)}^2$
性质：
$Var(aX+b)=a^{2}Var(X)$

5.3协方差

协方差：两个随机变量之间的相关程度的大小
$Cov(X,Y)=E[(X-{\mu }_x)(Y-{\mu }_y)]$
性质：
$Cov(X,Y)=Cov(Y,X)$
$Cov(aX,Y)=aCov(X,Y)$
$Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$
协方差与独立性：
若两个随机变量独立，则它们的协方差为零，反之不成立
相关系数：
$Corr(X,Y)=\frac{Cov(X,Y)}{\sqrt{Var(X)Var(Y)}}$

6.大数定律

6.1马尔可夫不等式

$P(X\ge a)\le \frac{E[X]}{a}$

6.2切比雪夫不等式

$P(|X-\mu |\ge k)\le \frac{{\sigma }^2}{k^2}$
$P(|X-\mu |>k\sigma )\le 1/k^2$

6.3大数定律

在试验不变的条件下，重复试验多次，随机事件的频率近似于它的概率
X1 X2, … Xn为一系列均值相同的随机变量
$P(|\frac{X_1+...+X_n}{n}-\mu |>ϵ)->0$ as n->∞