【数学基础】一份非常适合人工智能学习的概率论基础材料中文版 （国内教材精华）...

机器学习，需要一定的数学基础，需要掌握的数学基础知识特别多，如果从头到尾开始学，估计大部分人来不及，我建议先学习最基础的数学知识，基础知识可以分为高等数学、线性代数、概率论与数理统计三部分，我整理了相关数学基础资料：

源文件下载：

https://github.com/fengdu78/Data-Science-Notes/tree/master/0.math

内容简介

一、斯坦福大学CS229数学基础

这是斯坦福大学 CS 229 机器学习课程的基础材料，是斯坦福各大人工智能课程的数学基础，对人工智能课程做了优化，强烈推荐！！

我们对原始教程进行了翻译，翻译版本做成了在线阅读版本。

（点击查看：1.线性代数，2.概率论）

二、国内大学的数学基础教材精华

这个是我考研考博时候整理的中文教材的资料，分为高等数学、线性代数、概率论与数理统计三部分，我把和机器学习相关的数学知识进行了整理，进行公布。

本文是概率论和数理统计部分，建议收藏慢慢看。

---

概率论和数理统计

随机事件和概率

1.事件的关系与运算

(1) 子事件： ，若 发生，则 发生。

(2) 相等事件： ，即 ，且  。

(3) 和事件： （或 ）， 与 中至少有一个发生。

(4) 差事件： ， 发生但 不发生。

(5) 积事件： （或 ）， 与 同时发生。

(6) 互斥事件（互不相容）： = 。

(7) 互逆事件（对立事件）： 

2.运算律(1) 交换律：  (2) 结合律：  (3) 分配律：

3.德 摩根律

 

4.完全事件组

两两互斥，且和事件为必然事件，即

5.概率的基本公式(1)条件概率:  ,表示 发生的条件下， 发生的概率。

(2)全概率公式： 

(3) Bayes 公式：

 注：上述公式中事件 的个数可为可列个。

(4)乘法公式：  

6.事件的独立性

(1) 与 相互独立

(2) ， ， 两两独立  ;  ; ;

(3) ， ， 相互独立  ;   ;   ; 

7.独立重复试验

将某试验独立重复 次，若每次实验中事件 A 发生的概率为 ，则 次试验中 发生 次的概率为： 

8.重要公式与结论 

 

 

(5)条件概率 满足概率的所有性质， 例如：.    

(6)若 相互独立，则 

(7)互斥、互逆与独立性之间的关系：  与 互逆   与 互斥，但反之不成立， 与 互斥（或互逆）且均非零概率事件 与 不独立.

(8)若相互独立，则 与 也相互独立，其中 分别表示对相应事件做任意事件运算后所得的事件，另外，概率为 1（或 0）的事件与任何事件相互独立.

随机变量及其概率分布

1.随机变量及概率分布

取值带有随机性的变量，严格地说是定义在样本空间上，取值于实数的函数称为随机变量，概率分布通常指分布函数或分布律

2.分布函数的概念与性质

定义： 

性质：(1)

(2)  单调不减

(3) 右连续

(4) 

3.离散型随机变量的概率分布

4.连续型随机变量的概率密度

概率密度 ;非负可积，且:

(1)

(2)

(3) 为 的连续点，则:

分布函数

5.常见分布

(1) 0-1 分布:

(2) 二项分布: ： 

(3) Poisson分布: ： 

(4) 均匀分布 ：

(5) 正态分布:  

(6)指数分布:

(7)几何分布:

(8)超几何分布: 

6.随机变量函数的概率分布

(1)离散型：

则: 

(2)连续型：

则:， 

7.重要公式与结论

(1)  

(2) 

(3) 

(4) 

(5) 离散型随机变量的分布函数为阶梯间断函数；连续型随机变量的分布函数为连续函数，但不一定为处处可导函数。

(6) 存在既非离散也非连续型随机变量。

多维随机变量及其分布

1.二维随机变量及其联合分布

由两个随机变量构成的随机向量 ， 联合分布为

2.二维离散型随机变量的分布

(1) 联合概率分布律 

(2) 边缘分布律   

(3) 条件分布律  

3. 二维连续性随机变量的密度

(1) 联合概率密度

(2) 分布函数：

(3) 边缘概率密度：  

(4) 条件概率密度： 

4.常见二维随机变量的联合分布

(1) 二维均匀分布：  ,

(2) 二维正态分布：,

5.随机变量的独立性和相关性

和 的相互独立::

（离散型） （连续型）

和 的相关性：

相关系数 时，称 和 不相关， 否则称 和 相关

6.两个随机变量简单函数的概率分布

离散型：  则：

连续型：  则：

，

7.重要公式与结论

(1) 边缘密度公式：  

(2) 

(3) 若 服从二维正态分布  则有：

2. 与 相互独立 ，即 与 不相关。

4. 关于 的条件分布为： 

5. 关于 的条件分布为： 

(4) 若 与 独立，且分别服从  则：

(5) 若 与 相互独立， 和 为连续函数， 则 和 也相互独立。

随机变量的数字特征

1.数学期望

离散型：；

连续型： 

性质：

(1) 

(2) 

(3) 若 和 独立，则

(4)

2.方差：

3.标准差： ，

4.离散型：

5.连续型：

性质：

(1)

(2)  与 相互独立，则

(3)

(4) 一般有 

(5)

(6)

6.随机变量函数的数学期望

(1) 对于函数

为离散型：；

为连续型：

(2)  ;;   ;

7.协方差

8.相关系数

, 阶原点矩  ;  阶中心矩 

性质：

(1)

(2)

(3)

(4)

(5)   ，其中

 ，其中

9.重要公式与结论

(1)

(2)

(3)  且  ，其中

，其中

(4) 下面 5 个条件互为充要条件：

       

注： 与 独立为上述 5 个条件中任何一个成立的充分条件，但非必要条件。

数理统计的基本概念

1.基本概念

总体：研究对象的全体，它是一个随机变量，用 表示。

个体：组成总体的每个基本元素。

简单随机样本：来自总体 的 个相互独立且与总体同分布的随机变量 ，称为容量为 的简单随机样本，简称样本。

统计量：设 是来自总体 的一个样本， ）是样本的连续函数，且 中不含任何未知参数，则称 为统计量。

样本均值：

样本方差：

样本矩：样本 阶原点矩：

样本 阶中心矩：

2.分布

分布：，其中 相互独立，且同服从

分布：  ，其中 且 ，  相互独立。

分布： ，其中 且 ， 相互独立。

分位数：若 则称 为 的 分位数

3.正态总体的常用样本分布

(1) 设 为来自正态总体 的样本，

则：

1. 或者

4)

4.重要公式与结论

(1) 对于 ，有

(2) 对于 ，有 ；

(3) 对于 ，有 

(4) 对于任意总体 ，有 

本文首发于“机器学习初学者”公众号