2.机器学习数学基础--概率论与数理统计

概率论与数理统计

本文参考了目前网上诸多的机器学习数学复习讲义，取其精华，逐步深入，在帮助大家进行复习的同时，尽可能降低学习曲线。

0.贝叶斯学派与频率学派

有兴趣的同学可以查相关资料，这里只作为一个兴趣点引入

1.事件的关系与运算

图片1.png

2.频率与概率

图片1.png

3.古典概型

图片1.png

图片1.png

图片1.png

4.信息熵

图片1.png

图片1.png

图片1.png

图片1.png

上图中，结合我们上一节高数中推导出来的公式，可对组合数公式取对数乘1/n,然后计算得出信息熵公式

5.本福特定律

本福特定律，又称第一数字定律，是指在实际生活得出的一组数据中，以1为首位数字出现的概率约为总数的三成；是直观想象1/9的三倍。通常用于检测数据是否造假

图片1.png

6.概率的基本公式

图片1.png

7.贝叶斯公式

图片1.png

8.常见分布

0-1分布

图片1.png

二项分布

图片1.png

泊松分布

图片1.png

均匀分布

图片1.png

指数分布

图片1.png

图片1.png

正态分布(高斯分布)

图片1.png

图片1.png

图片1.png

学有余力可以查阅二元高斯分布相关资料

总结

图片1.png

Beta分布

图片1.png

可以查阅指数族相关资料，推导过程会出现Sigmoid/Logistic函数

9.事件的独立性

图片1.png

10.随机变量及其概率分布

图片1.png

11.二维随机变量

图片1.png

12.期望

图片1.png

性质

图片1.png

13.随机变量函数的数学期望

图片1.png

14.方差

图片1.png

15.协方差

图片1.png

协方差和独立、不相关

图片1.png

协方差的意义

图片1.png

16.Pearson相关系数

图片1.png

17.协方差矩阵

图片1.png

18.切比雪夫不等式

图片1.png

19.大数定律

图片1.png

意义

图片1.png

伯努利定理

图片1.png

20.中心极限定理

图片1.png

21.最大似然估计

贝叶斯公式的思考

图片1.png

定义

图片1.png

图片1.png

二项分布的最大似然估计

图片1.png

正态分布的最大似然估计

图片1.png

图片1.png

图片1.png

22.最大似然估计与过拟合

图片1.png