机器学习中的数学-期望、方差与协方差

原创文章,如需转载请保留出处
本博客为七月在线邹博老师机器学习数学课程学习笔记

一. 期望
是试验中每次可能结果的概率乘以其结果的总和，是最基本的数学特征之一。它反映随机变量平均取值的大小。

1.1 期望的性质

• 无条件成立
  E(kX)=kE(X)
  E(X+Y)=E(X)+E(Y)

• 若X和Y互相独立
  E(XY)=E(X)E(Y)

  • 反之不成立。实际上，若E(XY)=E(X)E(Y)，只能说明X和Y不相关。

1.2 事件的独立性

1.3 计算期望

1.4计算每一位的期望


1.5 集合Hash问题



二. 方差

• 方差是在概率论和统计方差衡量随机变量或一组数据时离散程度的度量。概率论中方差用来度量随机变量和其数学期望（即均值）之间的偏离程度。统计中的方差（样本方差）是每个样本值与全体样本值的平均数之差的平方值的平均数。
• 方差是衡量源数据和期望值相差的度量值。
  
  三. 协方差
  在概率论和统计学中用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况，即当两个变量是相同的情况。

3.1 定义： Cov(X,Y)=E{[X-E(X)][Y-E(Y)]}
3.2 性质：

• Cov(X,Y)=Cov(Y,X)
  

• Cov(aX+b,cY+d)=acCov(X,Y)
  

• Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y)
  

• Cov(X,Y)=E(XY)-E(X)E(Y)
  

3.3 协方差和独立、不相关

• X和Y独立时，E(XY)=E(X)E(Y)

• 而Cov(X,Y)=E(XY)-E(X)E(Y)

• 从而，当X和Y独立时，Cov(X,Y)=0

• 但X和Y独立这个前提太强，定义：若Cov(X,Y)=0，称X和Y不相关

3.4 协方差意义
协方差是两个随机变量具有相同方向变化趋势的度量：

• 若Cov(X,Y)>0，它们的变化趋势相同；
• 若Cov(X,Y)<0，它们的变化趋势相反；
• 若Cov(X,Y)=0，称X和Y不相关；

3.5 协方差的上界
3.6 独立与不相关

• 因为定理的保证，使得”不相关“即”线性独立“。
• 即，若X和Y不相关，说明X和Y之间没有线性关系(但有可能存在其他函数关系)，不能保证X和Y相互独立。
• 对于二维正态随机变量，X和Y不相关等价于X与Y相互独立。

3.7Person相关系数

3.8 协方差矩阵

• 当我们讨论两个事件时,我们称事件为X,Y,其中对于X事件有很多种情况,我们可以用向量的方式表示一个事件X的不同情况.
• 我们原先讨论的是X,Y两个事件的协方差情况,如果对于n个事件,我们怎样计算不同事件之间的协方差?–这里引入协方差矩阵的概念.