不相关、独立与正交

目录

    • 随机变量对(X,Y)
      • 用基于协方差的相关系数定义相关性
        • 协方差:
        • 相关系数:
        • 相关性:
      • 用分布函数定义独立性
        • 独立性:
      • 用相关函数定义正交性
        • 相关函数:
        • 正交性:
    • 总结

参考:
[1] 孔告化,何铭,胡国雷. 概率统计与随机过程. 第2版. 北京: 人民邮电出版社, 2012 (2021重印)

随机变量对(X,Y)

用基于协方差的相关系数定义相关性

协方差:

C o v ( X , Y ) = E ( [ X − E ( X ) ] [ Y − E ( Y ) ] ) Cov(X,Y) = E([X-E(X)][Y-E(Y)]) Cov(X,Y)=E([XE(X)][YE(Y)])

二阶混合中心矩(mixed central moment)

计算协方差的常用公式(有定义直接推导出):
C o v ( X , Y ) = E ( X Y ) − E ( X ) E ( Y ) Cov(X,Y) = E(XY) - E(X)E(Y) Cov(X,Y)=E(XY)E(X)E(Y)

相关系数:

ρ X Y = C o v ( X , Y ) D ( X ) D ( Y ) \rho_{XY} = \frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}} ρXY=D(X) D(Y) Cov(X,Y)
其中 D ( ⋅ ) D(·) D()表示随机变量的方差,此处要求方差不能不为0。
由定义看出,两个随机变量的相关系数为用其标准差对其协方差归一化后的值。

相关性:

  • ∣ ρ X Y ∣ = 1 \left|{\rho_{XY}}\right|=1 ρXY=1:X与Y依概率1线性相关;

    即存在常数 a ( a ≠ 0 ) , b a(a\ne0),b a(a=0),b使得 P ( Y = a X + b ) = 1 P(Y=aX+b)=1 P(Y=aX+b)=1

  • 相关性随 ∣ ρ X Y ∣ |\rho_{XY}| ρXY减小而减弱,当 ∣ ρ X Y ∣ = 0 |{\rho_{XY}}|=0 ρXY=0时,二者之间没有相关关系(即不相关)。

用分布函数定义独立性

独立性:

若联合分布与边缘分布之间具有如下关系:
F ( x , y ) = F X ( x ) F Y ( y ) F(x,y) = F_X(x)F_Y(y) F(x,y)=FX(x)FY(y)
则称随机变量X与Y相互独立

用相关函数定义正交性

此处正交概念仅考虑随机变量或随机过程领域;此外:

  • 欧氏几何中直线、平面间的垂直关系也常被称为正交;
  • 同一定义区间上的两个函数间也有所谓正交关系;
  • 线性代数中涉及N维向量之间的正交性。

相关函数:

通常用来描述随机过程,此处忽略过程的参数t,当作随机变量来理解。

R X Y = E ( X Y ) R_{XY} = E(XY) RXY=E(XY)

二阶混合原点矩(mixed moment)

正交性:

若相关函数 R X Y = 0 R_{XY}=0 RXY=0,则称X与Y相互正交

总结

  1. 独立性用概率分布来定义;
  2. 相关性用协方差(所谓相关系数只是增加了归一化处理)来定义;正交性用相关函数来定义;
  3. 相关函数为零不能称其为不相关,是因为数学史上概念命名先后造成的语言障碍,从而让不相关正交易产生混淆;
  4. 独立可以推出不相关;(用概率分布定义的概念,显然强于用数字特征定义的概念)
  5. 高斯分布的概率函数完全由二阶矩数字特征确定,不相关等价于独立;
  6. 对零均值变量而言,协方差等于相关函数,因而不相关等价于正交。(将中心矩理解为变量去均值后的原点矩,则协方差即为变量去均值后的相关函数)

你可能感兴趣的:(数学,概率论,机器学习,人工智能)