概率统计基础

概率统计

参考：datawhalechina/team-learning

概率定义

随机试验$E$的样本空间为$\Omega$，对于每个事件$A$，定义一个实数$P(A)$与之对应，若函数$P(.)$满足条件：

1. 非负性：对每个事件$A$，均有$0<=P(A)<=1$;

2. 规范性：对于必然事件S, 有$P(S)=1$;

3. 可列可加性：若事件$A_1,A_2,A_3,...$两两互斥，即对于$i，j=1,2,...，i\ne j,A_i\cap A_j=\varphi$，均有

   $P(A_1\cup A_2\cup ...)=P(A_1)+P(A_2)+...$

主要性质

• 对立事件：$P(\overline{A})=1-P(A)$.
• 减法： $P(B-A)=P(B)-P(A\cap B)$.
• 加法： $P(A\cup B)=P(A)+P(B)-P(A\cap B)$.

古典概型

$P(A)=\frac{m}{n}=\frac{事件A包含的基本事件数}{基本事件总数}$。

例题： 假设有 $k$ 个不同颜色的球，每个球以同样的概率 $1/l$ 落到 $l$ 个格子 $(l>=k)$ 的每个中，且每个格子可容纳任意多个球。问，分别求出如下两个事件 $A$ 和 $B$ 的概率。

• $A$ :指定的 $k$ 个格子中各有一个球； $P(A)=\frac{k!}{l^k}$
• $B$ :存在 $k$ 个格子，其中各有一个球。 $P(B)=\frac{C_l^k\ast k！}{l^k}=\frac{l！}{l^k\ast （l-k）!}$

生日问题

40个同学中至少两个人同一天过生日的概率是：(把一年作为365天)：

L=365 k=40 带入 $P(B)=\frac{C_l^k\ast k！}{l^k}=\frac{l！}{l^k\ast （l-k）!}$

#我们采用函数的递归的方法计算阶乘：
def factorial(n):
    if n == 0:
        return 1;
    else:
        return (n*factorial(n-1)) 
    
l_fac = factorial(365);          #l的阶乘
l_k_fac = factorial(365-40)      #l-k的阶乘
l_k_exp = 365**40                #l的k次方

P_B =  l_fac /(l_k_fac * l_k_exp)     #P(B）
print("事件B的概率为：",P_B)
print("40个同学中至少两个人同一天过生日的概率是：",1 - P_B)

条件概率

定义： 设 $A$ 和 $B$ 是两个事件，且$P(B)>0$，称 $P(A|B)=\frac{P(AB)}{P(B)}$ 为在事件 $B$ 发生的条件下，事件 $A$ 发生的概率。

例子：某集体中有 $N$ 个男人和 $M$ 个女人，其中患色盲者男性 $n$ 人，女性 $m$ 人。我们用 $\Omega$ 表示该集体， $A$ 表示其中全体女性的集合，$B$ 表示其中全体色盲者的集合。如果从 $\Omega$ 中随意抽取一人，则这个人分别是女性、色盲者和同时既为女性又是色盲者的概率分别为：

​ $$P(A)=\frac{M}{M+N},P(B)=\frac{m+n}{M+N},P(AB)=\frac{m}{M+N}$$

如果限定只从女性中随机抽取一人**(即事件 $A$ 已发生)，那么这个女人为色盲者的(条件)**概率为

​ $$P(B|A)=\frac{m}{M}=\frac{P(AB)}{P(A)}$$

• 乘法公式： $P(AB)=P(B|A)P(A)=P(A|B)P(B)$

全概率公式

设$B_1,B_2,...$是样本空间 $\Omega$ 的一个划分，$A$ 为任一事件，则

​ $P(A)={\sum }_{i=1}^{\infty }P(B_i)P(A|B_i)$

称为全概率公式。

贝叶斯公式

设$B_1,B_2,...$是样本空间 $\Omega$ 的一个划分，则对任一事件 $A(P(A)>0)$ ,有

​ $P(B_i|A)=\frac{P(B_{i}A)}{P(A)}=\frac{P(A|B_i)P(B_i)}{{\sum }_{j=1}^{\infty }P(B_j)P(A|B_j)},i=1,2,...$

称上式为贝叶斯公式，称$P(B_i)(i=1,2,...)$ 为先验概率，$P(B_i|A)（i=1,2,...）$为后验概率。

随机变量

定义：设 $E$ 是随机试验，$\Omega$ 是样本空间，如果对于每一个 $\omega \in \Omega$ 。都有一个确定的实数 $X(\omega )$ 与之对应，若对于任意实 $x\in R$ , 有 $\{\omega ：X(\omega )<x\}\in F$ ，则称 $\Omega$ 上的单值实函数 $X(\omega )$ 为一个随机变量。

随机变量的分布函数定义：设 $X$ 是一个随机变量，对任意的实数 $x$ ，令
$$F(x)=P\{X<=x\},x\in (-\infty ,+\infty )$$
则称 $F(x)$ 为随机变量 $x$ 的分布函数，也称为概率累积函数。

离散型随机变量

定义： 如果随机变量 $X$ 的全部可能取值只有有限多个或可列无穷多个，则称 $X$ 为离散型随机变量。掷骰子的结果就是离散型随机变量。

​ 对于离散型随机变量 $X$ 可能取值为 $x_k$的概率为：
$$P\{X=x_k\}=p_k,k=1,2,...$$
则称上式为离散型随机变量 $X$ 的分布律。

常见的离散型分布

.伯努利实验，二项分布

• 定义：如果一个随机试验只有两种可能的结果 $A$ 和 $\overline{A}$，并且

$$P(A)=p，P(\overline{A})=1-p=q$$

其中， $0<p<1$ ，则称此试验为Bernoulli(伯努利)试验. Bernoulli试验独立重复进行 $n$ 次，称为 $n$ 重伯努利试验。

若随机变量 $X$ 的分布律为：
$$P\{X=k\}=C_n^k{p}^k(1-p{)}^{n-k},k=0,1,2,...n.$$

随机变量的数字特征

1.数学期望

离散型求数学期望： $E(X)={\sum }_i{x}_i{p}_i$

连续性求数学期望： $E(X)={\int }_{-\infty }^{+\infty }xf（x）dx$

数学期望代表了随机变量取值的平均值，是一个重要的数字特征。数学期望具有如下性质：

• 若 $c$ 是常数，则 $E(c)=c$ ;
• $E(aX+bY)=aE(X)+bE(Y)$ , 其中a, b为任意常数；
• 若 $X,Y$ 相互独立，则$E(XY)=E(X)E(Y)$ ; （相互独立就是没有关系，不相互影响）。

2.方差

$Var（X）=E\{[X-E(X){]}^2\}$

并且称 $\sqrt{Var(X)}$ 为 $X$ 的标准差或均方差。

方差是用来描述随机变量取值相对于均值的离散程度的一个量，也是非常重要的数字特征。方差有如下性质:

1. 若 $c$ 是常数，则 $Var(c)=0$ ;
2. $Var(aX+b)=a^{2}E(X)$ , 其中a, b为任意常数；
3. 若 $X,Y$ 相互独立，则$Var(X+Y)=Var(X)+Var(Y)$ 。

协方差和相关系数

协方差和相关系数都是描述随机变量 $X$ 与随机变量 $Y$ 之间的线性联系程度的数字量。

$Cov(X,Y)=E\{[X-E(X)][Y-E(Y)]\}$

相关系数：$\rho （X,Y）=\frac{Cov(X，Y)}{\sqrt{Var(X)}\sqrt{Var(Y)}}$

基本上我们都会用相关系数来衡量两个变量之间的相关程度。相关系数在-1到1之间，小于零表示负相关，大于零表示正相关。绝对值 $|\rho （X,Y）|$ 表示相关度的大小。越接近1，相关度越大。

python实现二项分布，协方差和相关系数以及贝叶斯公式

二项分布

p = 0.5   # 事件发生概率
n = 2     # 事件发生总次数
k = 2     # 事件成功总次数

#采用函数的递归的方法计算阶乘：
def factorial(n):
    if n == 0:
        return 1;
    else:
        return (n*factorial(n-1)) 
arr= [n, p, k,]

P_A =  factorial(arr[0]) /(factorial(arr[2])*factorial(arr[0]-arr[2])) * (p**k*((1-p)**(n-k)))     #P(A）
print("事件A的概率为：",P_A)  

协方差和相关系数

import numpy as np

# 随机生成两个样本
x = np.random.randint(0, 9, 10)
y = np.random.randint(0, 9, 10)
np.cov(x,y)  # 协方差
# array([[6.23333333, 1.81111111],    
#       [1.81111111, 6.76666667]])  
# array([[COV(x,x), COV(x,y)],    
#       [COV(y,x), COV(y,y) ]])  

np.corrcoef(x, y)   # 相关系数
# array([[1.        , 0.27886726],
#       [0.27886726, 1.        ]])

贝叶斯公式

例题：假定用血清甲胎蛋白法诊断肝癌。用 $C$ 表示被检验者有肝癌这一事件，用 $A$ 表示被检验者为阳性反应这一事件。当前有肝癌的患者被检测呈阳性反应的概率为0.95。即 $P(A|C)=0.95$ 。当前非肝癌的患者被检测呈阴性反应的概率为0.9。即 $P(\overline{A}|\overline{C})=0.90$ 。若某人群中肝癌患者概率为0.0004，即$P(C)=0.0004$，现在有一人呈阳性反应，求此人确为肝癌患者的概率是多少？

• 求出检验者为阳事件$P(A)$概率(全概率公式)
• 条件概率
• $P(C|A)=\frac{P(C)P(A|C)}{P(C)P(A|C)+P(\overline{C})P(A|\overline{C})}=\frac{0.0004\ast 0.95}{0.0004\ast 0.95+0.9996\ast 0.1}=0.0038$

def calculateTrustDegree(P_C):
  PC_A = float(P_C*PA_C)/((1-PA_C_)*(1-P_C)+P_C*PA_C)
  return PC_A
PA_C = 0.95
PA_C_ = 0.90
P_C = 0.0004
print(calculateTrustDegree(P_C))
# 0.003787123779150888