协方差矩阵与相关系数矩阵

文章目录

    • 前言
    • 1. 方差、协方差与相关系数
    • 2. 协方差矩阵
    • 3. 相关系数矩阵

前言

  本篇博客主要介绍一下方差、协方差及相关系数的相关知识,进而引入了协方差矩阵与相关系数矩阵,并结合相关实例进行说明。

1. 方差、协方差与相关系数

  在《概率论与数理统计》中,方差用来度量单个随机变量 X X X的离散程度,记为 D X DX DX,计算公式如下:
D X = E ( X − E X ) 2 = E X 2 − E 2 X \begin{aligned} DX &= E(X-EX)^2 \\[3pt] &= EX^2 - E^2X \end{aligned} DX=E(XEX)2=EX2E2X  数学表达式为: σ 2 ( x ) = 1 n − 1 ∑ i = 1 N ( x i − x ˉ ) 2 \sigma ^2(x) = \frac {1} {n-1}\sum _{i=1} ^N (x_i - \bar x)^2 σ2(x)=n11i=1N(xixˉ)2

  即方差 = 平方的期望 - 期望的平方

  协方差用来度量两个随机变量 X X X Y Y Y间的相似程度,记为 C o v ( X , Y ) Cov(X,Y) Cov(X,Y),计算公式为:
C o v ( X , Y ) = E [ ( X − E X ) ⋅ ( Y − E Y ) ] = E ( X Y ) − E X ⋅ E Y \begin{aligned} Cov(X,Y) &= E[(X - EX) \cdot (Y - EY)] \\[3pt] &= E(XY) - EX \cdot EY \end{aligned} Cov(X,Y)=E[(XEX)(YEY)]=E(XY)EXEY  数学表达式为: σ ( x , y ) = 1 n − 1 ∑ i = 1 N ( x i − x ˉ ) ( y i − y ˉ ) \sigma (x, y) = \frac {1} {n-1}\sum _{i=1} ^N (x_i - \bar x) (y_i - \bar y) σ(x,y)=n11i=1N(xixˉ)(yiyˉ)

  从公式上来看,协方差是两个变量与自身期望做差再相乘,然后对乘积取期望。也就是说,当其中一个变量的取值大于自身期望,另一个变量的取值也大于自身期望时,即两个变量的变化趋势相同,此时,两个变量之间的协方差取正值。反之,即其中一个变量大于自身期望时,另外一个变量小于自身期望,那么这两个变量之间的协方差取负值。

  相关系数,也叫皮尔逊(Pearson)相关系数,用来度量两个随机变量 X X X Y Y Y间的相关程度,记为 ρ X Y \rho_{XY} ρXY,计算公式为:
ρ X Y = C o v ( X , Y ) D X D Y \rho_{XY} = \frac {Cov(X,Y)} {\sqrt {DX} \sqrt {DY}} ρXY=DX DY Cov(X,Y)  若 ρ X Y > 0 \rho_{XY} > 0 ρXY>0,表示随机变量 X X X Y Y Y呈正相关;
  若 ρ X Y < 0 \rho_{XY} < 0 ρXY<0,表示随机变量 X X X Y Y Y呈负相关;
  若 ρ X Y = 0 \rho_{XY} = 0 ρXY=0,表示随机变量 X X X Y Y Y不相关,即相互独立;
  若 ρ X Y = ± 1 \rho_{XY} = \pm1 ρXY=±1,表示随机变量 X X X Y Y Y呈线性相关;

  相关系数也可以看成协方差:一种剔除了两个变量量纲影响、标准化后的特殊协方差,它消除了两个变量变化幅度的影响,而只是单纯反应两个变量每单位变化时的相似程度。

2. 协方差矩阵

  在实际场景中,我们在描述一个物体时,并不会单单从一个或两个维度去描述,比如说,在描述一个神经网络模型的性能时,需要从模型的大小,精度,推理时间等多个维度来衡量。在进行多维数据分析时,不同维度之间的相关程度就需要协方差矩阵(covariance matrix)来描述,维度之间的两两相关程度就构成了协方差矩阵,而协方差矩阵主对角线上的元素即为每个维度上的数据方差。
  协方差矩阵的表达式为: ∑ = [ σ ( x 1 , x 1 ) … σ ( x 1 , x n ) ⋮ ⋱ ⋮ σ ( x n , x 1 ) … σ ( x n , x n ) ] \sum = \begin{bmatrix} \sigma (x_1, x_1) & \dots & \sigma (x_1, x_n) \\ \vdots & \ddots & \vdots \\ \sigma (x_n, x_1) & \dots & \sigma (x_n, x_n) \\ \end{bmatrix} = σ(x1,x1)σ(xn,x1)σ(x1,xn)σ(xn,xn)

3. 相关系数矩阵

  顾名思义,就是由相关系数组成的矩阵(correlation matrix),也叫系数矩阵,矩阵中的每个元素的取值范围为[-1, 1]
  相关系数矩阵的表达式为: C = [ ρ ( x 1 , x 1 ) … ρ ( x 1 , x n ) ⋮ ⋱ ⋮ ρ ( x n , x 1 ) … ρ ( x n , x n ) ] = [ 1 … ρ ( x 1 , x n ) ⋮ ⋱ ⋮ ρ ( x n , x 1 ) … 1 ] \begin{aligned} C &= \begin{bmatrix} \rho(x_1, x_1) & \dots & \rho(x_1, x_n) \\ \vdots & \ddots & \vdots \\ \rho(x_n, x_1) & \dots & \rho(x_n, x_n) \\ \end{bmatrix}\\[5pt] &= \begin{bmatrix} 1 & \dots & \rho(x_1, x_n) \\ \vdots & \ddots & \vdots \\ \rho(x_n, x_1) & \dots & 1 \\ \end{bmatrix} \end{aligned} C= ρ(x1,x1)ρ(xn,x1)ρ(x1,xn)ρ(xn,xn) = 1ρ(xn,x1)ρ(x1,xn)1

你可能感兴趣的:(机器学习,概率论,协方差矩阵,相关系数矩阵,人工智能)