方差、协方差、协方差矩阵和相关系数（全称皮尔逊相关系数）

一，方差

方差衡量的是当我们对x依据它的概率分布进行采样时，随机变量x的样本值会呈现多大的差异，或者说方差是对随机变量x取值集中或分散的一种对量。

1，方差公式

Var(X)=E((X−E(X))2)=E(X2)−(E(X)2) V a r ( X ) = E ( ( X − E ( X ) ) 2 ) = E ( X 2 ) − ( E ( X ) 2 )

标准差为 Var(X)−−−−−−√ V a r ( X ) 。

方差越大，随机变量的取值越分散，差异越大；方差越小，随机变量的取值越集中，差异越小。

2，方差的性质

• 设 c c 为常数，则 Var(c)=0 V a r ( c ) = 0 。
• 设 X X 为随机变量， c c 为常数，则:
  Var(cX)=c2Var(X)$，$Var(c+X)=Var(X) V a r ( c X ) = c 2 V a r ( X ) $ ， $ V a r ( c + X ) = V a r ( X )

• 设 X、Y X 、 Y 是随机变量，则:

  Var(X+Y)=Var(X)+Var(Y)+2E((X−E(X)(Y−E(Y)) V a r ( X + Y ) = V a r ( X ) + V a r ( Y ) + 2 E ( ( X − E ( X ) ( Y − E ( Y ) )

  其实 E((X−E(X)(Y−E(Y))=Cov(X,Y) E ( ( X − E ( X ) ( Y − E ( Y ) ) = C o v ( X , Y ) ，即它是随机变量 X、Y X 、 Y 的协方差。

二，协方差

协方差在某种意义上给出了两个变量线性相关的强度以及这些变量的尺度。

1，协方差公式

Cov(X,Y)=E((X−E(X))(Y−E(Y)))=E(XY)−E(X)E(Y) C o v ( X , Y ) = E ( ( X − E ( X ) ) ( Y − E ( Y ) ) ) = E ( X Y ) − E ( X ) E ( Y )

协方差的绝对值越大，意味着两个随机变量的线性相关性越大；协方差的绝对值越小，意味着两个随机变量的线性相关性越小。

协方差与相关性是有联系的，但只与线性相关有联系。

• 协方差为正时，两个变量是正线性相关的。
• 协方差为负时，两个变量是负线性相关的。
• 协方差为0时，两个变量不是线性相关的，但有可能是非线性相关的。

如果两个变量相互独立，那么它们的协方差一定为0，但是如果两个变量的协方差为0，这两个变量不一定相互独立，它们不是线性相关的，但有可能是非线性相关的。而相互独立不仅排除了线性相关还排除了非线性相关的可能性。

2，协方差的性质

• Cov(X,Y)=Cov(Y,X) C o v ( X , Y ) = C o v ( Y , X ) ，特别地， Cov(X,c)=0 C o v ( X , c ) = 0 。
• Cov(aX,bY)=abCov(X,Y) C o v ( a X , b Y ) = a b C o v ( X , Y ) 。
• Cov(X+Y,Z)=Cov(X,Z)+Cov(Y,Z) C o v ( X + Y , Z ) = C o v ( X , Z ) + C o v ( Y , Z ) 。

三，协方差矩阵

设 X⃗ =(X1,X2,...,Xn) X → = ( X 1 , X 2 , . . . , X n ) 是一个包含 n n 个随机变量的随机向量，则 X⃗  X → 的协方差矩阵是一个 n∗n n ∗ n 的矩阵C，且：

Cij=Cov(Xi,Xj) C i j = C o v ( X i , X j )

显然矩阵 C C 是一个对称矩阵，因为 Cov(Xi,Xj)=Cov(Xj,Xi) C o v ( X i , X j ) = C o v ( X j , X i ) ，且对角线上的元素为 Cov(Xi,Xi)=Var(Xi) C o v ( X i , X i ) = V a r ( X i ) 。

四，相关系数 (全称皮尔逊相关系数)

相关系数在协方差的基础上将每一个变量的贡献归一化，为了只衡量变量的相关性而不受各个变量尺度大小的影响。

1，相关系数公式

ρ(X,Y)=Cov(X,Y)Var(X)−−−−−−√Var(Y)−−−−−−√ ρ ( X , Y ) = C o v ( X , Y ) V a r ( X ) V a r ( Y )

相关系数的绝对值越大，意味着两个随机变量的线性相关性越大；相关系数的绝对值越小，意味着两个随机变量的线性相关性越小。
其他性质同协方差。

2，相关系数的性质

• ρ(X,Y)=ρ(Y,X) ρ ( X , Y ) = ρ ( Y , X ) 。
• |ρ(X,Y)|≤1 | ρ ( X , Y ) | ≤ 1 。
• |ρ(X,Y)=1| | ρ ( X , Y ) = 1 | 的充分必要条件是存在常数 a,b a , b 使得 P{Y=aX+b}=1 P { Y = a X + b } = 1 ,且当 a>0 a > 0 时， ρ(X,Y)=1 ρ ( X , Y ) = 1 ;当 a<0 a < 0 时， ρ(X,Y)=−1 ρ ( X , Y ) = − 1 。