Datawhale组队学习-概率统计 -task1 随机事件与随机变量

一、随机事件

1.基本概念

• 随机现象是表示一个动作或一件事，在一定条件下，所得结果不能预先完全确定，而只能确定是多种可能结果中的一种。比较常见的例子如掷骰子。

• 随机试验随机现象得以现实和它观察的全过程。记作 $E$。随机实验满足以下三个条件：

1. 可以在相同条件下重复进行
2. 结果有多种可能性，且所有可能结果事先已知
3. 做一次实验究竟哪个结果出现，事先不能确定。

• 样本空间：随机试验的所有可能结果组成的集合。记作 $\Omega$。
• 随机事件：样本空间 $\Omega$ 中满足一定条件的子集。用大写字母$A,B,C...$表示。
  随机事件在随机实验中可能出现也可能不出现。
• 必然事件：一次试验中，一个事件发生是指构成该事件的一个样本点出现。样本空间 $\Omega$ 包含了所有样本点。因此每次试验中它总会发生。
• 不可能事件：空集 $\varphi$ 不包含任何样本点，且在每次试验中总不发生。

---

2.概率

1.定义

随机试验$E$的样本空间为$\Omega$，对于每个事件$A$，定义一个实数$P(A)$与之对应，若函数$P(.)$满足条件：

1. 对每个事件$A$，均有$0<P(A)<=1$;

2. $P(\Omega )=1$;

3. 若事件$A_1,A_2,A_3,...$两两互斥，即对于$i，j=1,2,...，i\ne j,A_i\cap A_j=\varphi$，均有

   $P(A_1\cup A_2\cup ...)=P(A_1)+P(A_2)+...$

则称$P(A)$为事件$A$的概率。

2.主要性质

• 对于任一事件$A$，均有$P(\overline{A})=1-P(A)$.

• 对于两个事件$A$和$B$，若$A\subset B$，则有

​ $P(B-A)=P(B)-P(A),P(B)>P(A)$.

• 对于任意两个事件$A$和$B$，有

  ​ $P(A\cup B)=P(A)+P(B)-P(A\cap B)$.

  ---

  3.古典概型

  设随机事件 $E$ 的样本空间中只有有限个样本点，即 $\Omega =\{{\omega }_1,{\omega }_2,...,{\omega }_n\}$，其中， $n$ 为样本点的总数。每个样本点${\omega }_i(i=1,2,...,n)$出现是等可能的，并且每次试验有且仅有一个样本点发生，则称这类现象为古典概型。若事件 $A$ 包含个$m$ 个样本点，则事件 $A$ 的概率定义为：

$P(A)=\frac{m}{n}=\frac{事件A包含的基本事件数}{基本事件总数}$。

---

4.条件概率

定义

设 $A$ 和 $B$ 是两个事件，且$P(B)>0$，称 $P(A|B)=\frac{P(AB)}{P(B)}$ 为在事件 $B$ 发生的条件下，事件 $A$ 发生的概率。

---

5.全概率公式和贝叶斯公式

预备知识:

• 概率的乘法公式：$P(AB)=P(B|A)P(A)=P(A|B)P(B)$

如果事件组，满足

1. $B_1,B_2,...$ 两两互斥，即$B_i\cap B_j=\varphi ，i\ne j,i,j=1,2,...$，且$P(B_i)>0,i=1,2,...$
2. $B_1\cup B_2\cup ...=\Omega$

​ 则称事件组$B_1,B_2,...$是样本空间 $\Omega$ 的一个划分。

---

• 全概率公式： 设$B_1,B_2,...$是样本空间 $\Omega$ 的一个划分，$A$ 为任一事件，则

  ​ $P(A)={\sum }_{i=1}^{\infty }P(B_i)P(A|B_i)$

  称为全概率公式。

根据全概率公式和概率乘法公式可得：

• 贝叶斯公式:
  设$B_1,B_2,...$是样本空间 $\Omega$ 的一个划分，则对任一事件 $A(P(A)>0)$ ,有

  ​ $P(B_i|A)=\frac{P(B_{i}A)}{P(A)}=\frac{P(A|B_i)P(B_i)}{{\sum }_{j=1}^{\infty }P(B_j)P(A|B_j)},i=1,2,...$

  称上式为贝叶斯公式，称
  $P(B_i)(i=1,2,...)$ 为先验概率，
  $P(B_i|A)（i=1,2,...）$为后验概率。

  在实际中，常取对样本空间 $\Omega$ 的有限划分 $B_1,B_2,...,B_n$ 。 $B_i$ 视为导致试验结果 $A$ 发生的“原因”，
  而$P(B_i)$ 表示各种“原因”发生的可能性大小，故称为先验概率；
  $P(B_i|A)$ 则反应当试验产生了结果 $A$ 之后，再对各种“原因”概率的新认识，故称为后验概率 。

---

二、随机变量

1.随机变量及其分布

• 随机变量的定义：
  设 $E$ 是随机试验，$\Omega$ 是样本空间，如果对于每一个 $\omega \in \Omega$ 。都有一个确定的实数 $X(\omega )$ 与之对应，若对于任意实 $x\in R$ , 有 $\{\omega ：X(\omega )<x\}\in F$ ，则称 $\Omega$ 上的单值实函数 $X(\omega )$ 为一个随机变量。

  从定义可知随机变量是定义在样本空间 $\Omega$ 上，取值在实数域上的函数。由于它的自变量是随机试验的结果，而随机试验结果的出现具有随机性，因此，随机变量的取值也具有一定的随机性。这是随机变量与普通函数的不同之处。

---

描述一个随机变量，不仅要说明它能够取那些值，而且还要关心它取这些值的概率。因此，接下来引入随机变量的分布函数的概念。

---

• 随机变量的分布函数定义：

设 $X$ 是一个随机变量，对任意的实数 $x$ ，令
$$F(x)=P\{X<=x\},x\in (-\infty ,+\infty )$$
​ 则称 $F(x)$ 为随机变量 $x$ 的分布函数，也称为概率累积函数。

直观上看，分布函数 $F(x)$ 是一个定义在 $(-\infty ,+\infty )$ 上的实值函数， $F(x)$在点 $x$ 处取值为随机变量 $X$ 落在区间 $(-\infty ,+x]$上的概率 。分布函数（概率累积函数）很好理解，就是在一个区间范围内概率函数的累加。这个区间就是负无穷到当前节点。

---

2.离散型随机变量

​ 如果随机变量 $X$ 的全部可能取值只有有限多个或可列无穷多个，则称 $X$ 为离散型随机变量。掷骰子的结果就是离散型随机变量。

​ 对于离散型随机变量 $X$ 可能取值为 $x_k$的概率为：
$$P\{X=x_k\}=p_k,k=1,2,...$$
则称上式为离散型随机变量 $X$ 的分布律。

我们可以用下表来表示分布律：

$X$	$x_1$	$x_2$	…	$x_n$	…
$p_k$	$p_1$	$p_2$	…	$p_n$	…

离散型随机变量的分布函数为：
$$F(x)=P\{X<=x\}=\sum _{x_k<=x}P\{X=x_k\}=\sum _{x_k<=x}{P}_k$$

---

3.常见的离散型分布

伯努利实验，二项分布

• 定义:

• 如果一个随机试验只有两种可能的结果 $A$ 和 $\overline{A}$，并且

  $$P(A)=p，P(\overline{A})=1-p=q$$

  其中， $0<p<1$ ，则称此试验为Bernoulli(伯努利)试验.
  Bernoulli试验独立重复进行 $n$ 次，称为 $n$ 重伯努利试验。

• 分布函数：

若随机变量 $X$ 的分布律为：
$$P\{X=k\}=C_n^k{p}^k(1-p{)}^{n-k},k=0,1,2,...n.$$
其分布函数为：
$$F（x）=\sum _{k=}^{[x]}{C}_n^k{p}^k(1-p{)}^{n-k},k=0,1,2,...n.$$
其中， $[x]$ 表示下取整，即不超过 $x$ 的最大整数。

---

4.随机变量的数字特征

1.数学期望

• 离散型：
  设离散型随机变量 $X$ 的分布律为 $P { X=x_i} = p_i ,i =1，2，…，
  若级数 ${\sum }_i|x_i|p_i$ 收敛， （收敛指会聚于一点，向某一值靠近，相对于发散）。
  则称级数 ${\sum }_i{x}_i{p}_i$ 的和为随机变量 $X$ 的数学期望。记为 $E(X)$ ,即：

$$E(X)=\sum _i{x}_i{p}_i$$

• 设连续型随机变量 $X$ 的概率密度函数为 $f(x)$ ,
• 若积分 ${\int }_{-\infty }^{+\infty }|x|f（x）dx$ 收敛，
• 称积分 ${\int }_{-\infty }^{+\infty }xf（x）dx$ 的值为随机变量 $X$ 的数学期望，记为 $E(X)$ ,即：
  $$E(X)={\int }_{-\infty }^{+\infty }xf（x）dx$$
  $E(X)$ 又称为均值。

数学期望代表了随机变量取值的平均值，是一个重要的数字特征。数学期望具有如下性质：

1. 若 $c$ 是常数，则 $E(c)=c$ ;
2. $E(aX+bY)=aE(X)+bE(Y)$ , 其中a, b为任意常数；
3. 若 $X,Y$ 相互独立，则$E(XY)=E(X)E(Y)$ ; （相互独立就是没有关系，不相互影响）。

---

2.方差

• 设 $X$ 为随机变量，如果 $E\{[X-E(X){]}^2\}$ 存在，则称 $E\{[X-E(X){]}^2\}$ 为 $X$ 的方差。记为 $Var(X)$ , 即：

$$Var（X）=E\{[X-E(X){]}^2\}$$

​ 并且称 $\sqrt{Var(X)}$ 为 $X$ 的标准差或均方差。

方差是用来描述随机变量取值相对于均值的离散程度的一个量，也是非常重要的数字特征。方差有如下性质:

1. 若 $c$ 是常数，则 $Var(c)=0$ ;
2. $Var(aX+b)=a^{2}Var(X)$ , 其中a, b为任意常数；
3. 若 $X,Y$ 相互独立，则$Var(X+Y)=Var(X)+Var(Y)$ 。

---

3.协方差和相关系数

协方差和相关系数都是描述随机变量 $X$ 与随机变量 $Y$ 之间的线性联系程度的数字量。

• 设 $X,Y$ 为两个随机变量，称 $E\{[X-E(X)][Y-E(Y)]\}$ 为 $X$ 和 $Y$ 的协方差，记为 $Cov(X,Y)$，即：
  $$Cov(X,Y)=E\{[X-E(X)][Y-E(Y)]\}$$
  协方差有如下性质：

  1. $Cov(X,Y)=Cov(Y,X)$ ;

  2. $Cov(aX+b，cY+d)=acCov(X，Y)$ ,其中， $a,b,c,d$ 为任意常数；

  3. $Cov(X_1+X_2，Y)=Cov(X_1，Y)+Cov(X_2，Y)$ ;

  4. $Cov(X，Y)=E(XY)-E(X)E(Y)$ ; 当 $X,Y$ 相互独立时，有 $Cov(X，Y)=0$;

  5. $|Cov(X，Y)|<=\sqrt{Var(X)}\sqrt{Var(Y)}$ ;

  6. $Cov(X，X)=Var(X)$ ;

• 当 $\sqrt{Var(X)}>0，\sqrt{Var(Y)}>0$ 时，称
  $$\rho （X,Y）=\frac{Cov(X，Y)}{\sqrt{Var(X)}\sqrt{Var(Y)}}$$
  为 $X,Y$ 的相关系数，它是无纲量的量（也就是说没有单位，只是个代数值）。

• 基本上我们都会用相关系数来衡量两个变量之间的相关程度。相关系数在-1到1之间，小于零表示负相关，大于零表示正相关。绝对值 $|\rho （X,Y）|$ 表示相关度的大小。越接近1，相关度越大。

三、后记

感谢Datawhale组织这次组队学习。这篇博客主要的参考链接：https://github.com/datawhalechina/team-learning/blob/master/02%20%E6%95%B0%E6%8D%AE%E6%8C%96%E6%8E%98%E5%9F%BA%E7%A1%80%E6%96%B9%E6%B3%95/%E6%A6%82%E7%8E%87%E7%BB%9F%E8%AE%A1/1.%20%E9%9A%8F%E6%9C%BA%E4%BA%8B%E4%BB%B6%E4%B8%8E%E9%9A%8F%E6%9C%BA%E5%8F%98%E9%87%8F.md