概率统计学习笔记——1.随机事件与随机变量

概率统计学习笔记——1.随机事件与随机变量

注： 由于这都是《概率论与数理统计》一书中的知识，那么这里就不再过多重复阐述有关的概念定义了，我们整理一下其中重要的知识点。

---

一、随机事件

1.基本概念：

随机现象 、 样本空间 $\Omega$ 、 样本点 $\omega$ 、 随机事件 、必然事件（ $\Omega$就是一个必然事件）、不可能事件

---

2.概率：

主要性质：

• 对于任一事件$A$，均有$P(\overline{A})=1-P(A)$.
• 对于两个事件$A$和$B$，若$A\subset B$，则有
  $P(B-A)=P(B)-P(A),P(B)>P(A)$.
• 对于任意两个事件$A$和$B$，有
  $P(A\cup B)=P(A)+P(B)-P(A\cap B)$.

---

3.等可能概型（古典概型）

古典概型概率公式：
若事件 $A$ 包含个$m$ 个样本点，则事件 $A$ 的概率定义为：
$P(A)=\frac{m}{n}=\frac{事件A包含的基本事件数}{基本事件总数}$。

概率论的历史上有一个颇为著名的问题生日问题：求 k 个同班同学没有两人生日相同的概率，就是一个古典概型。视一年365天，那么他们的生日各不同的概率为 $\frac{365\ast 364\ast ...\ast (365-k+1)}{365^k}$,普遍性地写成公式：
$P(A)=\frac{C_l^k\ast k！}{l^k}=\frac{l！}{l^k\ast （l-k）!}$

编写一段简单Python来解决生日问题：

#只要稍加修改或者包装成一个函数就可以实现类似问题的求解
#我们采用函数的递归的方法计算阶乘：
def factorial(n):
    if n == 0:
        return 1;
    else:
        return (n*factorial(n-1))

l_fac = factorial(365);          #l的阶乘
l_k_fac = factorial(365-40)      #l-k的阶乘
l_k_exp = 365**40                #l的k次方


P_B =  l_fac /(l_k_fac * l_k_exp)     #P(B）
print("事件B的概率为：",P_B)
print("40个同学中至少两个人同一天过生日的概率是：",1 - P_B)

---

4.条件概率

条件概率公式：
设 $A$ 和 $B$ 是两个事件，且$P(B)>0$，称
$$P(A|B)=\frac{P(AB)}{P(B)}$$ 为在事件 $B$ 发生的条件下，事件 $A$ 发生的概率。

---

5.全概率公式和贝叶斯公式

• 重要的知识认知：

  • 概率乘法公式：
    $P(AB)=P(B|A)P(A)=P(A|B)P(B)$
  • 如果事件组，满足
  1. $B_1,B_2,...$ 两两互斥，即$B_i\cap B_j=\varphi ，i\ne j,i,j=1,2,...$，且$P(B_i)>0,i=1,2,...$
  2. $B_1\cup B_2\cup ...=\Omega$
     则称事件组$B_1,B_2,...$是样本空间 $\Omega$ 的一个划分。

• 全概率公式：
  设$B_1,B_2,...$是样本空间 $\Omega$ 的一个划分，$A$ 为任一事件，则
  $P(A)={\sum }_{i=1}^{\infty }P(B_i)P(A|B_i)$ 称为全概率公式。

• 贝叶斯公式
  设$B_1,B_2,...$是样本空间 $\Omega$ 的一个划分，则对任一事件 $A(P(A)>0)$ ,有
  $P(B_i|A)=\frac{P(B_{i}A)}{P(A)}=\frac{P(A|B_i)P(B_i)}{{\sum }_{j=1}^{\infty }P(B_j)P(A|B_j)},i=1,2,...$
  称上式为贝叶斯公式，称$P(B_i)(i=1,2,...)$ 为先验概率，$P(B_i|A)（i=1,2,...）$为后验概率。
  下面的图能很好的帮助理解贝叶斯公式含义~

---

二、随机变量

1.随机变量及其分布

• 随机变量的分布函数定义：
  设 $X$ 是一个随机变量，对任意的实数 $x$ ，令
  $$F(x)=P\{X<=x\},x\in (-\infty ,+\infty )$$
  则称 $F(x)$ 为随机变量 $x$ 的分布函数，也称为概率累积函数。

---

2. 离散型随机变量

如果随机变量 $X$ 的全部可能取值只有有限多个或可列无穷多个，则称 $X$ 为离散型随机变量。对于离散型随机变量 $X$ 可能取值为 $x_k$的概率为：
$$P\{X=x_k\}=p_k,k=1,2,...$$
则称上式为离散型随机变量 $X$ 的分布律。当然分布律还可以用表格的方式表示。
离散型随机变量的分布函数为：
$$F(x)=P\{X<=x\}=\sum _{x_k<=x}P\{X=x_k\}=\sum _{x_k<=x}{P}_k$$

---

3.常见的离散型分布

一.（0 - 1）分布
二.伯努利实验，二项分布：记作$B(n，k）$
其分布律为：
$$P\{X=k\}=C_n^k{p}^k(1-p{)}^{n-k},k=0,1,2,...n.$$
其分布函数为：
$$F（x）=\sum _{k=}^{[x]}{C}_n^k{p}^k(1-p{)}^{n-k},k=0,1,2,...n.$$
其中， $[x]$ 表示下取整，即不超过 $x$ 的最大整数。

---

4.随机变量的数字特征：

1.数学期望

• 离散型：设离散型随机变量 $X$ 的分布律为 $P\{X=x_i\}=p_i,i=1，2，...，$ 若级数 ${\sum }_i|x_i|p_i$ 收敛，（收敛指会聚于一点，向某一值靠近，相对于发散）。则称级数 ${\sum }_i{x}_i{p}_i$ 的和为随机变量 $X$ 的数学期望。记为 $E(X)$ ,即：
  $$E(X)=\sum _i{x}_i{p}_i$$

• 设连续型随机变量 $X$ 的概率密度函数为 $f(x)$ ,若积分 ${\int }_{-\infty }^{+\infty }|x|f（x）dx$ 收敛， 称积分 ${\int }_{-\infty }^{+\infty }xf（x）dx$ 的值为随机变量 $X$ 的数学期望，记为 $E(X)$ ,即：
  $$E(X)={\int }_{-\infty }^{+\infty }xf（x）dx$$
  $E(X)$ 又称为均值

• 数学期望代表了随机变量取值的平均值，是一个重要的数字特征。数学期望具有如下性质：

  1. 若 $c$ 是常数，则 $E(c)=c$ ;
  2. $E(aX+bY)=aE(X)+bE(Y)$ , 其中a, b为任意常数；
  3. 若 $X,Y$ 相互独立，则$E(XY)=E(X)E(Y)$ ; （相互独立就是没有关系，不相互影响）。

2.方差

• 设 $X$ 为随机变量，如果 $E\{[X-E(X){]}^2\}$ 存在，则称 $E\{[X-E(X){]}^2\}$ 为 $X$ 的方差。记为 $Var(X)$ , 即：
  $$Var（X）=E\{[X-E(X){]}^2\}$$
  并且称 $\sqrt{Var(X)}$ 为 $X$ 的标准差或均方差。

• 方差是用来描述随机变量取值相对于均值的离散程度的一个量，也是非常重要的数字特征。方差有如下性质:

  1. 若 $c$ 是常数，则 $Var(c)=0$ ;
  2. $Var(aX+b)=a^{2}Var(X)$ , 其中a, b为任意常数；
  3. 若 $X,Y$ 相互独立，则$Var(X+Y)=Var(X)+Var(Y)$ 。

3.协方差和相关系数

• 协方差和相关系数都是描述随机变量 $X$ 与随机变量 $Y$ 之间的线性联系程度的数字量。

• 设 $X,Y$ 为两个随机变量，称 $E\{[X-E(X)][Y-E(Y)]\}$ 为 $X$ 和 $Y$ 的协方差，记为 $Cov(X,Y)$，即：
  $$Cov(X,Y)=E\{[X-E(X)][Y-E(Y)]\}$$

• 协方差有如下性质：

  1. $Cov(X,Y)=Cov(Y,X)$

  2. $Cov(aX+b，cY+d)=acCov(X，Y)$ ,其中， $a,b,c,d$ 为任意常数

  3. $Cov(X_1+X_2，Y)=Cov(X_1，Y)+Cov(X_2，Y)$

  4. $Cov(X，Y)=E(X，Y)-E(X)E(Y)$ ; 当 $X,Y$ 相互独立时，有 $Cov(X，Y)=0$

  5. $|Cov(X，Y)|\le \sqrt{Var(X)}\sqrt{Var(Y)}$ ;

  6. $Cov(X，X)=Var(X)$

• 当 $\sqrt{Var(X)}>0，\sqrt{Var(Y)}>0$ 时，称
  $$\rho （X,Y）=\frac{Cov(X，Y)}{\sqrt{Var(X)}\sqrt{Var(Y)}}$$
  为 $X,Y$ 的相关系数，它是无纲量的量（也就是说没有单位，只是个代数值）。

• 基本上我们都会用相关系数来衡量两个变量之间的相关程度。相关系数在-1到1之间，小于零表示负相关，大于零表示正相关。绝对值 $|\rho （X,Y）|$ 表示相关度的大小。越接近1，相关度越大。