随机现象:不能确定结果,但是能确定结果范围
随机试验:记为 E E E,
样本空间:记为 Ω \Omega Ω,随机试验的所有可能结果组成的集合
样本点:记为 ω \omega ω,试验的每一个可能结果
随机事件:记为 A , B , C A,B,C A,B,C,样本空间 Ω \Omega Ω中满足一定条件的子集.随机事件在随机试验中可能出现也可能不出现.
必然事件:样本空间包含了所有的样本点,因此总是发生
不可能事件:空集 ϕ \phi ϕ不包含任何样本点
随机试验 E E E的样本空间为 Ω \Omega Ω,对于每个事件 A A A,定义一个实数 P ( A ) P(A) P(A)与之对应,若函数 P ( . ) P(.) P(.)满足条件:
对每个事件 A A A,均有 0 < P ( A ) < = 1 0 0<P(A)<=1
P ( Ω ) = 1 P(\Omega)=1 P(Ω)=1;
若事件 A 1 , A 2 , A 3 , . . . A_1,A_2,A_3,... A1,A2,A3,...两两互斥,即对于 i , j = 1 , 2 , . . . , i ≠ j , A i ∩ A j = ϕ i,j=1,2,...,i \neq j ,A_i \cap A_j = \phi i,j=1,2,...,i=j,Ai∩Aj=ϕ,均有
P ( A 1 ∪ A 2 ∪ . . . ) = P ( A 1 ) + P ( A 2 ) + . . . P(A_1 \cup A_2 \cup ...)=P(A_1) +P(A_2) +... P(A1∪A2∪...)=P(A1)+P(A2)+...
则称 P ( A ) P(A) P(A)为事件 A A A的概率。
对于任一事件 A A A,均有 P ( A ‾ ) = 1 − P ( A ) P(\overline{A})=1-P(A) P(A)=1−P(A).
对于两个事件 A A A和 B B B,若 A ⊂ B A \subset B A⊂B,则有
$P(B-A) = P(B) - P(A), P(B) >P(A) $.
P ( A ∪ B ) = P ( A ) + P ( B ) − P ( A ∩ B ) P(A \cup B) = P(A) + P(B) - P(A\cap B) P(A∪B)=P(A)+P(B)−P(A∩B).
设随机事件 E E E 的样本空间中只有有限个样本点,即 Ω = { ω 1 , ω 2 , . . . , ω n } \Omega= \{ \omega_1, \omega_2,..., \omega_n \} Ω={ω1,ω2,...,ωn},其中, n n n 为样本点的总数。每个样本点 ω i ( i = 1 , 2 , . . . , n ) \omega_i (i =1,2,...,n) ωi(i=1,2,...,n)出现是等可能的,并且每次试验有且仅有一个样本点发生,则称这类现象为古典概型。若事件 A A A 包含个 m m m 个样本点,则事件 A A A 的概率定义为:
$P(A) = \frac{m} {n} = \frac{事件A包含的基本事件数} {基本事件总数} $。
设 A A A 和 B B B 是两个事件,且 P ( B ) > 0 P(B)>0 P(B)>0,称 $P(A|B) = \frac {P(AB)} {P(B)} $ 为在事件 B B B 发生的条件下,事件 A A A 发生的概率。
概率的乘法公式:
$P(AB)=P(B|A)P(A) =P(A|B)P(B) $
则称事件组 B 1 , B 2 , . . . B_1,B_2,... B1,B2,...是样本空间 $ \Omega$ 的一个划分。
全概率公式
设 B 1 , B 2 , . . . B_1,B_2,... B1,B2,...是样本空间 $ \Omega$ 的一个划分, A A A 为任一事件,则
P ( A ) = ∑ i = 1 ∞ P ( B i ) P ( A ∣ B i ) P(A) = \sum_{i=1}^{\infty } {P(B_i)}P(A|B_i) P(A)=∑i=1∞P(Bi)P(A∣Bi)
称为全概率公式。
根据全概率公式和概率乘法公式,我们可以得到:
贝叶斯公式
设 B 1 , B 2 , . . . B_1,B_2,... B1,B2,...是样本空间 $ \Omega$ 的一个划分,则对任一事件 A ( P ( A ) > 0 ) A(P(A)>0) A(P(A)>0) ,有
$P(B_i|A) =\frac {P(B_i A)} {P(A)} = \frac {P(A|B_i )P(B_i)} {\sum_{j=1}^{\infty }P( B_j)P(A|B_j)} ,i=1,2,… $
称上式为贝叶斯公式,称 P ( B i ) ( i = 1 , 2 , . . . ) P(B_i)(i=1,2,...) P(Bi)(i=1,2,...) 为先验概率, P ( B i ∣ A ) ( i = 1 , 2 , . . . ) P(B_i|A)(i=1,2,...) P(Bi∣A)(i=1,2,...)为后验概率。
在实际中,常取对样本空间 Ω \Omega Ω 的有限划分 B 1 , B 2 , . . . , B n B_1,B_2,...,B_n B1,B2,...,Bn 。 B i B_i Bi 视为导致试验结果 A A A 发生的“原因”,而 P ( B i ) P(B_i) P(Bi) 表示各种“原因”发生的可能性大小,故称为先验概率; P ( B i ∣ A ) P(B_i|A) P(Bi∣A) 则反应当试验产生了结果 A A A 之后,再对各种“原因”概率的新认识,故称为后验概率 。
随机变量定义:
设 E E E 是随机试验, Ω \Omega Ω 是样本空间,如果对于每一个 $\omega \in \Omega $ 。都有一个确定的实数 X ( ω ) X(\omega) X(ω) 与之对应,若对于任意实 $x \in R $ , 有 $ {\omega :X(\omega) < x } \in F$ ,则称 $\Omega $ 上的单值实函数 X ( ω ) X(\omega) X(ω) 为一个随机变量。
随机变量的分布函数定义:
设 X X X 是一个随机变量,对任意的实数 x x x ,令
F ( x ) = P { X < = x } , x ∈ ( − ∞ , + ∞ ) F(x) = P \{ X<=x\} ,x \in (- \infty ,+ \infty) F(x)=P{X<=x},x∈(−∞,+∞)
则称 F ( x ) F(x) F(x) 为随机变量 x x x 的分布函数,也称为概率累积函数。
如果随机变量 X X X 的全部可能取值只有有限多个或可列无穷多个,则称 X X X 为离散型随机变量。掷骰子的结果就是离散型随机变量。
对于离散型随机变量 X X X 可能取值为 x k x_k xk的概率为:
P { X = x k } = p k , k = 1 , 2 , . . . P \{ X =x_k \} =p_k,k=1,2,... P{X=xk}=pk,k=1,2,...
则称上式为离散型随机变量 X X X 的分布律。
F ( x ) = P { X < = x } = ∑ x k < = x P { X = x k } = ∑ x k < = x P k F (x) = P \{ X<=x \} =\sum_{x_k <=x}{ P \{ X=x_k \} } = \sum_{x_k <=x}{ P_k} F(x)=P{X<=x}=xk<=x∑P{X=xk}=xk<=x∑Pk
定义:
如果一个随机试验只有两种可能的结果 A A A 和 A ‾ \overline A A,并且
P ( A ) = p , P ( A ‾ ) = 1 − p = q P(A) = p,P(\overline A) =1-p=q P(A)=p,P(A)=1−p=q
其中, 0 < p < 1 0 0<p<1
设
A = { n 重 伯 努 利 试 验 中 A 出 现 k 次 } A = \{ n重伯努利试验中A出现k次\} A={n重伯努利试验中A出现k次}
则
P ( A k ) = C n k p k ( 1 − p ) n − k , k = 0 , 1 , 2 , . . . n . P(A_k) =C^k_np^k(1-p)^{n-k},k=0,1,2,...n. P(Ak)=Cnkpk(1−p)n−k,k=0,1,2,...n.
这就是著名的二项分布,常记作 B ( n , k ) B(n,k) B(n,k)。
解释:一共抽了 n n n 次, k ( k < n ) k(k
若随机变量 X X X 的分布律为:
P { X = k } = C n k p k ( 1 − p ) n − k , k = 0 , 1 , 2 , . . . n . P \{ X =k \} =C^k_np^k(1-p)^{n-k},k=0,1,2,...n. P{X=k}=Cnkpk(1−p)n−k,k=0,1,2,...n.
其分布函数为:
F ( x ) = ∑ k = [ x ] C n k p k ( 1 − p ) n − k , k = 0 , 1 , 2 , . . . n . F(x) = \sum_{k=}^{[x]} {C^k_np^k(1-p)^{n-k}},k=0,1,2,...n. F(x)=k=∑[x]Cnkpk(1−p)n−k,k=0,1,2,...n.
其中, [ x ] [x] [x] 表示下取整,即不超过 x x x 的最大整数。
离散型:设离散型随机变量 X X X 的分布律为 P { X = x i } = p i , i = 1 , 2 , . . . , P \{ X=x_i\} = p_i ,i =1,2,..., P{X=xi}=pi,i=1,2,..., 若级数 $ \sum_{i} {|x_i|p_i}$ 收敛,
(收敛指会聚于一点,向某一值靠近,相对于发散)。则称级数 $ \sum_{i} {x_ip_i}$ 的和为随机变量 X X X 的数学期望。记为 E ( X ) E(X) E(X) ,即:
E ( X ) = ∑ i x i p i E(X) = \sum_{i} {x_ip_i} E(X)=i∑xipi
数学期望代表了随机变量取值的平均值,是一个重要的数字特征。数学期望具有如下性质:
V a r ( X ) = E { [ X − E ( X ) ] 2 } Var (X) =E\{ [X-E(X)]^2\} Var(X)=E{[X−E(X)]2}
并且称 $ \sqrt{Var(X)} $ 为 X X X 的标准差或均方差。
方差是用来描述随机变量取值相对于均值的离散程度的一个量,也是非常重要的数字特征。方差有如下性质:
协方差和相关系数都是描述随机变量 X X X 与随机变量 Y Y Y 之间的线性联系程度的数字量。
设 X , Y X, Y X,Y 为两个随机变量,称 $ E{ [X-E(X)] [Y-E(Y)]} $ 为 X X X 和 Y Y Y 的协方差,记为 C o v ( X , Y ) Cov(X, Y) Cov(X,Y),即:
C o v ( X , Y ) = E { [ X − E ( X ) ] [ Y − E ( Y ) ] } Cov(X, Y) = E\{ [X-E(X)] [Y-E(Y)]\} Cov(X,Y)=E{[X−E(X)][Y−E(Y)]}
协方差有如下性质:
$Cov(X, Y) = Cov(Y, X) $ ;
$Cov(aX+b,cY+d) =ac Cov( X,Y) $ ,其中, a , b , c , d a,b,c,d a,b,c,d 为任意常数;
$Cov(X_1+X_2,Y) =Cov( X_1,Y) +Cov( X_2,Y) $ ;
$Cov(X,Y) =E( X,Y) -E( X)E(Y) $ ; 当 X , Y X,Y X,Y 相互独立时,有 C o v ( X , Y ) = 0 Cov(X,Y) = 0 Cov(X,Y)=0;
$|Cov(X,Y)| \le \sqrt {Var(X)} \sqrt {Var(Y)} $ ;
$Cov(X,X) =Var( X) $ ;
当 $ \sqrt {Var(X)} >0 ,\sqrt {Var(Y)} >0 $ 时,称
ρ ( X , Y ) = C o v ( X , Y ) V a r ( X ) V a r ( Y ) \rho(X,Y) = \frac{Cov(X,Y)}{\sqrt {Var(X)} \sqrt {Var(Y)}} ρ(X,Y)=Var(X)Var(Y)Cov(X,Y)
为 X , Y X,Y X,Y 的相关系数,它是无纲量的量(也就是说没有单位,只是个代数值)。
基本上我们都会用相关系数来衡量两个变量之间的相关程度。相关系数在-1到1之间,小于零表示负相关,大于零表示正相关。绝对值 ∣ ρ ( X , Y ) ∣ |\rho(X,Y)| ∣ρ(X,Y)∣ 表示相关度的大小。越接近1,相关度越大。
# 阶乘
def factorial(n):
if n == 0:
return 1
elif n <= 2:
return n
else:
return n * factorial(n - 1)
# 排列计算
def arrangement(m, n):
if m < n:
return 0
return factorial(m) // factorial(m - n)
# 组合计算
def combination(m, n):
return arrangement(m, n) // factorial(n)
# 二项分布
# A = n重伯努利试验中A出现K次,P(A)
n = 10
k = 2
p = 0.5
p_A_k = combination(n, k) * (p ** k) * ((1 - p) ** (n - k))
# 样本空间 omega = { B_1: p_1, B_2: p_2, B_3: p_3, ...}
omega = {"B_1": 0.1,
"B_2": 0.2,
"B_3": 0.7,
}
A = {"B_1": 0.1,
"B_2": 0.1,
"B_3": 0.1,
}
# 贝叶斯公式
P_A = 0
for key, value in A.items():
P_A += omega[key] * value
P_B_1_A = A["B_1"] * omega["B_1"] / P_A
# 协方差
D_1 = {"1": 0.1,
"3": 0.2,
"4": 0.7,
}
D_2 = {"2": 0.2,
"3": 0.3,
"5": 0.5
}
def expect(d):
tem = 0
for key, value in d.items():
tem += int(key) * value
return tem
def Cov_X_Y(X, Y):
tem = 0
for x in X:
for y in Y:
tem += (int(x) - expect(X)) * (int(y) - expect(Y))
return tem
print(Cov_X_Y(D_1, D_2))
# 协方差相关系数
def Var(X):
tem = X.copy()
for x in X:
tem[x] = (x - expect(X)) ** 2
return expect(tem)
P_D1_D2 = Cov_X_Y(D_1, D_2) / (Var(D_1) * Var(D_2))