机器学习的数学基础-(三、概率论和数理统计)

概率论和数理统计

随机事件和概率

1.事件的关系与运算

(1) 子事件:  ,若  发生,则  发生。

(2) 相等事件:  ,即  ,且  。

(3) 和事件:  (或  ),  与  中至少有一个发生。

(4) 差事件:  ,  发生但  不发生。

(5) 积事件:  (或  ),  与  同时发生。

(6) 互斥事件(互不相容):  。

(7) 互逆事件(对立事件):

2.运算律
(1) 交换律:  
(2) 结合律:  ;
 
(3) 分配律: 

3.德  摩根律

 

4.完全事件组

 两两互斥,且和事件为必然事件,即 

5.概率的基本公式
(1)条件概率:
 ,表示  发生的条件下,  发生的概率。
(2)全概率公式:
 
(3) Bayes公式:

 
注:上述公式中事件  的个数可为可列个。

(4)乘法公式: 

6.事件的独立性
(1)  与  相互独立  
(2)  ,  ,  两两独立
 ;  ;  ;
(3)  ,  ,  相互独立
 ;  ;
 ; 

7.独立重复试验

将某试验独立重复  次,若每次实验中事件  发生的概率为  ,则  次试验中  发生 次的概率为:

8.重要公式与结论

(1)

(2) 

(3) 

(4)  , 

(5)条件概率  满足概率的所有性质, 例如:

  
(6)若  相互独立,则  ,

(7)互斥、互逆与独立性之间的关系:  与  互逆  与  互斥,但反之不成立,  与  互斥(或互逆)且均非零概率事件     不独立。

(8)若  相互独立,则  与  也相互独立,其中  分别表示对相应事件做任意事件运算后所得的事件,另外,概率为1(或0)的事件与任何事件相互独立.

随机变量及其概率分布

1.随机变量及概率分布

取值带有随机性的变量,严格地说是定义在样本空间上,取值于实数的函数称为随机变量,概率分布通常指分布函数或分布律

2.分布函数的概念与性质

定义: 

性质:

(1) 

(2)  单调不减

(3) 右连续 

(4) 

3.离散型随机变量的概率分布

4.连续型随机变量的概率密度

概率密度  ;非负可积,且:

(1) 

(2) 

(3)  为  的连续点,则:

 分布函数 

5.常见分布

(1) 0-1分布: 

(2) 二项分布:  : 

(3) Poisson分布:  : 

(4) 均匀分布  : 

(5) 正态分布:  : 

(6)指数分布: 

(7)几何分布: 

(8)超几何分布: 

6.随机变量函数的概率分布

(1)离散型: 

则: 

(2)连续型: 

则:  ,

7.重要公式与结论

(1)  , 

(2) 

(3) 

(4) 

(5) 离散型随机变量的分布函数为阶梯间断函数;连续型随机变量的分布函数为连续函数,但不一定为处处可导函数。

(6) 存在既非离散也非连续型随机变量。

多维随机变量及其分布

1.二维随机变量及其联合分布

由两个随机变量构成的随机向量  , 联合分布为 

2.二维离散型随机变量的分布

(1) 联合概率分布律 

(2) 边缘分布律 

(3) 条件分布律  

3. 二维连续性随机变量的密度

(1) 联合概率密度  :

1) 

2) 

(2) 分布函数: 

(3) 边缘概率密度:  

(4) 条件概率密度:  

4.常见二维随机变量的联合分布

(1) 二维均匀分布:  , 

(2) 二维正态分布:  ,

f(x,y) = \frac{1}{2\pi\sigma_{1}\sigma_{2}\sqrt{1 - \rho^{2}}}.\exp\left\{ \frac{- 1}{2(1 - \rho^{2})}\lbrack\frac{{(x - \mu_{1})}^{2}}{\sigma_{1}^{2}} - 2\rho\frac{(x - \mu_{1})(y - \mu_{2})}{\sigma_{1}\sigma_{2}} + \frac{{(y - \mu_{2})}^{2}}{\sigma_{2}^{2}}\rbrack \right\}

5.随机变量的独立性和相关性

 和  的相互独立:  :

 (离散型)  (连续型)

 和  的相关性:

相关系数  时,称  和  不相关,
否则称  和  相关

6.两个随机变量简单函数的概率分布

离散型:  则:

连续型:  
则:

 , 

7.重要公式与结论

(1) 边缘密度公式:  

(2) 

(3) 若  服从二维Y=y正态分布  
则有:

1) 

2)  与  相互独立  ,即  与  不相关。

3) 

4)  关于  的条件分布为: 

5)  关于  的条件分布为: 

(4) 若  与  独立,且分别服从  
则: 

(5) 若  与  相互独立,  和  为连续函数, 则  和  也相互独立。

随机变量的数字特征

1.数学期望

离散型:  ;

连续型: 

性质:

(1) 

(2) 

(3) 若  和  独立,则 

(4) 

2.方差: 

3.标准差:  ,

4.离散型: 

5.连续型: 

性质:

(1) 

(2)  与  相互独立,则 

(3) 

(4) 一般有 

(5) 

(6) 

6.随机变量函数的数学期望

(1) 对于函数 

 为离散型:  ;

 为连续型: 

(2)  ;   ; 

7.协方差

8.相关系数

 ;
 阶中心矩 

性质:

(1) 

(2) 

(3) 

(4) 

(5)  ,其中 

 
,其中 

9.重要公式与结论

(1) 

(2) 

(3)  且  ,其中 

 ,其中 

(4) 下面5个条件互为充要条件:

  

注:  与  独立为上述5个条件中任何一个成立的充分条件,但非必要条件。

数理统计的基本概念

1.基本概念

总体:研究对象的全体,它是一个随机变量,用  表示。

个体:组成总体的每个基本元素。

简单随机样本:来自总体  的  个相互独立且与总体同分布的随机变量  ,称为容量为  的简单随机样本,简称样本。

统计量:设  是来自总体  的一个样本,  )是样本的连续函数,且  中不含任何未知参数,则称  为统计量。

样本均值: 

样本方差: 

样本矩:样本  阶原点矩: 

样本  阶中心矩: 

2.分布

 分布:  ,其中  相互独立,且同服从 

 分布:  ,其中  且  ,  相互独立。

 分布:  ,其中  且  ,  相互独立。

分位数:若  则称  为  的  分位数

3.正态总体的常用样本分布

(1) 设  为来自正态总体  的样本,

 则:

1)  或者 

2) 

3) 

4) 

4.重要公式与结论

(1) 对于  ,有 

(2) 对于  ,有  ;

(3) 对于  ,有 

(4) 对于任意总体  ,有 

转载于:https://www.cnblogs.com/grimm/p/10874050.html

你可能感兴趣的:(机器学习的数学基础-(三、概率论和数理统计))