不相关、独立与正交

参考：
[1] 孔告化,何铭,胡国雷. 概率统计与随机过程. 第2版. 北京: 人民邮电出版社, 2012 (2021重印)

随机变量对(X,Y)

用基于协方差的相关系数定义相关性

协方差：

$$Cov(X,Y)=E([X-E(X)][Y-E(Y)])$$

二阶混合中心矩（mixed central moment）

计算协方差的常用公式（有定义直接推导出）：
$$Cov(X,Y)=E(XY)-E(X)E(Y)$$

相关系数：

$${\rho }_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$$
其中 $D(\cdot )$表示随机变量的方差，此处要求方差不能不为0。
由定义看出，两个随机变量的相关系数为用其标准差对其协方差归一化后的值。

相关性：

• $\left|{\rho }_{XY}\right|=1$：X与Y依概率1线性相关；

  即存在常数$a(a\ne 0),b$使得$P(Y=aX+b)=1$

• 相关性随$|{\rho }_{XY}|$减小而减弱，当$|{\rho }_{XY}|=0$时，二者之间没有相关关系（即不相关）。

用分布函数定义独立性

独立性：

若联合分布与边缘分布之间具有如下关系：
$$F(x,y)=F_X(x)F_Y(y)$$
则称随机变量X与Y相互独立。

用相关函数定义正交性

此处正交概念仅考虑随机变量或随机过程领域；此外：

• 欧氏几何中直线、平面间的垂直关系也常被称为正交；
• 同一定义区间上的两个函数间也有所谓正交关系；
• 线性代数中涉及N维向量之间的正交性。

相关函数：

通常用来描述随机过程，此处忽略过程的参数t，当作随机变量来理解。

$$R_{XY}=E(XY)$$

二阶混合原点矩（mixed moment）

正交性：

若相关函数$R_{XY}=0$，则称X与Y相互正交。

总结

1. 独立性用概率分布来定义；
2. 相关性用协方差（所谓相关系数只是增加了归一化处理）来定义；正交性用相关函数来定义；
3. 相关函数为零不能称其为不相关，是因为数学史上概念命名先后造成的语言障碍，从而让不相关和正交易产生混淆；
4. 独立可以推出不相关；（用概率分布定义的概念，显然强于用数字特征定义的概念）
5. 高斯分布的概率函数完全由二阶矩数字特征确定，不相关等价于独立；
6. 对零均值变量而言，协方差等于相关函数，因而不相关等价于正交。（将中心矩理解为变量去均值后的原点矩，则协方差即为变量去均值后的相关函数）