期望、方差、标准差、偏差、协方差和协方差矩阵

期望
一件事情有n种结果，每一种结果值为 xi x i ，发生的概率记为 pi p i ，那么该事件发生的期望为：

E=∑i=1nxipi E = ∑ i = 1 n x i p i

方差

S2=1n∑i=1n(Xi−μ)2 S 2 = 1 n ∑ i = 1 n ( X i − μ ) 2

其中： μ μ 为全体平均数
标准差
标准差为方差的算术平方根，方差和标准差能反映数据的离散程度。
偏差

S2=1n∑i=1n(yi−f(xi))2 S 2 = 1 n ∑ i = 1 n ( y i − f ( x i ) ) 2

yi y i 表示预测值， f(xi) f ( x i ) 表示真实值。 偏差描述了准确性，方差描述了稳定性。
协方差
协方差代表了两个变量之间的关系。如果 协方差为正值，说明两个变量呈正相关；如果 协方差为负值，则两个变量呈负相关；若 协方差为0，两个变量相互独立。
期望值分别为 E(X) E ( X ) 和 E(Y) E ( Y ) 的两个实随机变量 X X 和 Y Y 之间的协方差 Cov(X,Y) C o v ( X , Y ) 定义为：

Cov(X,Y)=E[(X−E[X])(Y−E[Y])] C o v ( X , Y ) = E [ ( X − E [ X ] ) ( Y − E [ Y ] ) ]

=E[XY]−2E[Y]E[X]+E[X]E[Y] = E [ X Y ] − 2 E [ Y ] E [ X ] + E [ X ] E [ Y ]

=E[XY]−E[X]E[Y] = E [ X Y ] − E [ X ] E [ Y ]

协方差矩阵
多个变量之间的协方差构成协方差矩阵，协方差矩阵是对称矩阵,即 Cov(X,Y)=Cov(Y,X) C o v ( X , Y ) = C o v ( Y , X )
协方差矩阵如下表示：

参考：
https://blog.csdn.net/beechina/article/details/51074750
https://baike.baidu.com/item/%E5%8D%8F%E6%96%B9%E5%B7%AE/2185936