机器学习之数学基础——期望、方差、协方差、相关系数、矩、协方差矩阵

期望

定义

• 离散型

E(X)=∑i∞xkpk

• 连续型

E(X)=∫∞−∞xf(x)dx

性质

E[aX+bY]=aE[X]+bE[Y]

方差

定义

D(X)=Var(X)=E{[X−E(X)]2}=E(X2)−[E(X)]2

切比雪夫不等式

定理 设随机变量 X 具有数学期望E(X)=μ，方差 D(X)=σ2 ，则对于任意整数 ϵ ，不等式

P{∣X−μ∣≥ϵ}≤σ2ϵ

成立。

切比雪夫(Chebbyshev)不等式也可以写成如下的形式：

P{∣X−μ∣<ϵ}≥1−σ2ϵ

切比雪夫不等式给出了在随机变量的分布未知，而只知道 E(X) \和 D(X) 的情况下估计概率 P{∣X−E(X)∣<ϵ} 的界限。

协方差

对于二维随机变量(X, Y)，除了需要了解X与Y的数学期望和方差意外，还需要掌握描述X与Y之间相互关系的数字特征。

定义

如果两个随机变量X和Y是相互独立的，则

E{[X−E(X)][Y−E(Y)]}=0

亦

E(XY)=E(X)E(Y)

量 E{[X−E(X)][Y−E(Y)]} 称为随机变量X与Y的协方差，记为 Cov(X, Y) ，即

Cov(X,X)=E{[X−E(X)][Y−E(Y)]}=E(XY)−E(X)E(Y)

于是

Cov(X,X)=E[X2]−E[X]2=D(X)

协方差表达的是两个随机变量总体误差的期望。

性质

1. 如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值时另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值；如果两个变量的变化趋势相反，即其中一个变量大于自身的期望值时另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。

2. 如果X与Y是统计独立的，那么二者之间的协方差就是0，因为两个独立的随机变量满足 E[XY]=E[X]E[Y] 。但是，反过来并不成立。即如果X与Y的协方差为0，二者并不一定是统计独立的。协方差为0的两个随机变量称为是不相关的。独立一定不相关，不相关不一定独立。

Cov(X,Y)=Cov(Y,X)Cov(aX,bY)=abCov(X,Y), a, b是常数Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y)

协方差的上界

若 Var(X)=ρ21,Var(Y)=ρ22 ，则 ∣Cov(X,Y)∣≤ρ1ρ2

当且仅当 X 和Y之间有线性关系时，等号才成立。

方差和协方差的关系

D(X+Y)=D(X)+D(Y)+2Cov(X,Y)D(X−Y)=D(X)+D(Y)−2Cov(X,Y)Cov(X,X)=E[X2]−E[X]2=D(X)

相关系数

ρXY=Cov(X,Y)D(X)‾‾‾‾‾√D(Y)‾‾‾‾‾√

称为随机变量X与Y的相关系数，也成Pearson相关系数。

矩

定义 设 X 和Y是随机变量，若

E(Xk),k=1,2,...

存在，称它为 X 的k 阶原点矩，简称 k 阶矩。

若

E{[X−E(X)]k},k=2,3,...

存在，称它为 X 的k 阶中心矩。

若

E(XkYl),k,l=1,2,...

存在，称它为 X 和Y 的 k+l 阶混合矩。

若

E{[X−E(X)]k[Y−E(Y)]l},k,l=1,2,...

存在，称它为 X 和Y 的 k+l 阶混合中心矩。

X 的数学期望E(X)是 X 的一阶原点矩，方差D(X)是 X 的二阶中心矩，协方差Cov(X,Y)是 X 和Y的二阶混合中心矩。

协方差矩阵

二维随机变量 (X1,X2) 有四个二阶中心矩（设它们都存在），分别记为

c11=E{[X1−E(X1)]2}c12=E{[X1−E(X1)][X2−E(X2)]}c21=E{[X2−E(X2)][X1−E(X1)]}c22=E{[X2−E(X2)]2}

将它们写成矩阵的形式

A=(c11c21c12c22)

这个矩阵称为随机变量 (X1,X2) 的 协方差矩阵。

设 n 维随机变量(X1,X2,...,Xn)的二阶混合中心矩

cij=Cov(Xi,Xj)=E{[Xi−E(Xi)][Xj−E(Xj)]},i,j=1,2,...,n

都存在，则称矩阵

C=⎛⎝⎜⎜⎜⎜⎜⎜⎜c11c21...cn1c12c22...cn2..................c1nc2n...cnn⎞⎠⎟⎟⎟⎟⎟⎟⎟

为 n 维随机变量(X1,X2,...,Xn) 的协方差矩阵。

协方差矩阵是一个对称矩阵。