机器学习中的数学系列-2概率与统计

1，基本概念
期望，方差，协方差概念与性质
2，重要的分布

重要的定理

1.Jensen 不等式

Paste_Image.png

需要注意条件，pi大于0，p1+p2+...+pn=1,以及f是凸函数。
如果把pi看作概率，那么得到f(E(X))<=Ef(X)

2.切比雪夫不等式

Paste_Image.png

切比雪夫不等式说明任意一个数据集中，位于其平均数m个标准差范围内的比例（或部分）总是至少为1-1/㎡，其中m为大于1的任意正数。

3.大数定理

随机变量X1,X2...Xn相互独立，并且具有相同的期望和方差，Yn为这N个随机变量的均值，那么对于任意整数epsilon有：

Paste_Image.png

大数定理说明在n无限大的时候，随机变量的均值无限接近于期望。还有一个伯努利定理，它说明事件A的发生频率na/n以概率收敛于事件A的概率p。打公式太复杂了，这里就不贴了。

4.中心极限定理

定义：随机变量X1,X2...XN独立同分布，并且具有相同的期望和方差则随机变量-

Paste_Image.png

的分布收敛到标准正态分布。

Paste_Image.png