概率论和数理统计(一)基本概念

前言

生活中对于事件的发生,可以概括为

• 确定现象：在一定条件下必然发生，如日出
• 随机现象：在个别试验中其结果呈现出不确定性，在大量重复试验中其结果又具有统计规律的现象，称之为随机现象。

随机现象的特点：人们通过长期实践并深入研究之后，发现这类现象在大量重复试验或观察下，它的结果却呈现出某种统计规律性.

概率论与数理统计是研究随机现象统计规律性的一门学科

随机试验

为了对随机现象的统计规律性进行研究，就需要对随机现象进行重复观察，我们把对随机现象的观察称为随机试验，并简称为试验，记为E.
随机试验具有下列特点：

1. 可重复性：试验可以在相同的条件下重复进行；
2. 可观察性：试验结果可观察，所有可能的结果是明确的；
3. 随机性（不确定性）：每次试验出现的结果事先不能准确预知.，但可以肯定会出现所有可能结果中的一个.

样本空间

1. 样本点：随机试验中的每一个可能出现的试验结果称为这个试验的一个样本点，记作．
2. 样本空间：全体样本点组成的集合称为这个随机试验的样本空间，记为 $\Omega （或S）$

随机事件

我们称试验E的样本空间的子集为E的随机事件，简称事件，在随机试验中，可能出现也可能不出现，而在大量重复试验中具有某种规律性一般用A，B，C，，…等大写字母表示事件．设A为一个事件，当且仅当试验中出现的样本点w∈A时，称事件A在该次试验中发生.

注：要判断一个事件是否在一次试验中发生，只有当该次试验有了结果以后才能知道.

1. 基本事件：仅含一个样本点的随机事件称为基本事件
2. 必然事件：样本空间本身也是的子集，它包含的所有样本点，在每次试验中必然发生，称为必然事件．即必然发生的事件.
3. 不可能事件：空集也是的子集，它不包含任何样本点，在每次试验中都不可能发生，称为不可能事件．不可能发生的事件是不包含任何样本点的.

事件间的关系

1. 包含/相等:A⊂B或A=B。
2. 和事件或并事件：A ∪ B
3. 积事件或交事件: A ∩ B
4. 事件的差: A−B
5. 互斥或互不相容: A∩B=ϕ
6. 对立事件或互逆事件: A∪B=S and A∩B=ϕ

事件的运算规律

概率与频率

频率定义:在相同条件下重复进行了n次试验，如果事件A在这n次试验中发生了$n_A$次，则称比值$\frac{n_A}{n}$为事件A发生的频率，记作 $f_n(A)$。

即对任意事件A，在相同的条件下重复进行n次试验，事件A发生k次，从而事件A发生的频率 $\frac{k}{n}$，随着试验次数n的增大而稳定地在某个常数p附近摆动，那么称p为事件A的概率

概率的公理化定义: 设E是随机试验，S是它的样本空间。对于E的每一事件A赋予一个实数，记为$P(A)$称为事件 A 的概率.满足条件

概率的性质

古典概型(等可能概型)

我们高中数学的概率,拥有以下特点:

1. 试验的样本空间只包含有限个元素；
2. 试验中每个基本事件发生的可能性相同。

古典概型计算公式

条件概率

在事件 A 发生的前提条件下事件 B 发生的概率，称为条件概率,记为$P(B|A)=\frac{P(AB)}{P(A)}$。

条件概率符合概率的公理化定义中的三个条件

乘法定理

全概率公式和贝叶斯公式

即将该样本空间划分为 n 个两两互不相容的事件. 结合乘法公式得出全概率公式

该公式是 通过加和 A 在每个划分事件中概率，得出A的总概率

再进一步转换得贝叶斯公式

事件的独立性

两事件互不相容与相互独立是完全不同的两个概念，它们分别从两个不同的角度表达了两事件间的某种联系，互不相容是表述在一次随机试验中两事件不能同时发生，而相互独立是表述在一次随机试验中一事件是否发生与另一事件是否发生互无影响.

A，B相互独立与A，B互不相容不能同时成立

证明:$P(\bar{A}B)=P(\bar{A})P(B)$

1. $P(\bar{A}B)=P(A)-P(AB)$
2. $P(\bar{A}B)=P(A)-P(A)P(B)=P(A)(1-P(B))$

A,B,C相互独立的定义

随机变量

这里有个问题“如何去描述随机事件?”. 例如:

1. 硬件试验中,为正面(X=1)的概率,
2. 随机数试验中, 数值小于3(X<3)的概率

现实世界中各色各样具象的随机事件，就都可以被映射成数学世界中抽象的数字，而这种映射规则就叫做随机变量.

随机变量.质实际上就是随机事件的数字化.

1. 数值
2. 区间

分布函数

在完成了随机事件到随机变量的数字化过程之后,再想办法映射到概率值域 [0,1]内.这映射即为分布函数$F(x)$

而在分布函数的基础上，为了进一步的刻画其局部特性，而丰富引入了概率分布（离散型）与概率密度（连续型）：

离散型随机变量的概率分布

如果随机变量X的取值是有限个或可列无穷个，则称X为离散型随机变量. 其概率分布

X	$x_1$	$x_2$	$x_3$	$x_4$	$x_5$	…
P	$p_1$	$p_2$	$p_2$	$p_4$	$p_5$	…

1. $P\{X=x_k\}=P_k,k=1,2,\mathrm{3...}$
2. ${\sum }_{k=1}^{\infty }{p}_k=1$

0-1分布

二项分布

如图可见当X增加到一定程度后,概率P的增加就相对缓慢.

泊松分布

其它

• 几何分布
• 超几何分布、负几何分布

连续型随机变量及其概率密度

概率密度的性质

均匀分布

指数分布

正态分布

其它

1. 伽马分布
2. 贝塔分布

随机变量函数的分布

二维随机变量

分布函数

边缘分布函数

二维离散型随机变量

二维连续型随机变量

条件分布

离散型条件分布

连续性条件分布

随机变量的独立性

两个随机变量的函数的分布

1. 两个离散型随机变量的函数的分布求解思路
   • 二项分布的可加性
   • 泊松分布的可加性
2. 两个连续型随机变量的函数的分布求解思路
   • 定义法
   • 使用雅可比行列式的变量变换法
   • Z=X+Y以及卷积公式
   • 正态分布的可加性
   • M=max{X, Y}和N=min{X,Y}的分布以及推广

主要参考

《第一章 概率论的基本概念》
《第二章 随机变量及其分布》
《概率论-3.随机变量与分布函数》
《随机变量及其分布》
《第三章 多维随机变量及其分布》
《概率论-5.多维随机变量及其函数的分布》