独立、相关、正交

【1.独立】

• 独立描述的是两个变量之间是否存在联系。独立则表明两变量之间不存在联系，不独立则表明两变量之间存在联系（有可能是线性、正交等关系）。
• 独立：对于两个随机变量 $X$ 和 $Y$，若 $X$ 的有关信息不给出 $Y$ 的任何信息，并且 $Y$ 的有关信息也不包含有 $X$ 的任何信息，则称这两个随机变量独立，并有$$P(X,Y)=P(X)P(Y)$$其中 $P(X,Y)$ 是 $X$ 和 $Y$ 联合概率密度函数，$P(X)$，$P(Y)$ 分别是 $X$ 和 $Y$ 的边缘概率密度函数。
• 若 $X$ 和 $Y$ 是两个独立的随机变量，且 $h_1(X)$ 和 $h_2(Y)$ 分别是 $X$ 和 $Y$ 的函数，则：
  $$E[h_1(X)h_2(Y)]=E[h_1(X)]E[h_2(Y)]$$
• 当 $X$ 和 $Y$ 相互独立时，协方差为 0。
  $$cov(X,Y)=E([X-E(X)][Y-E(Y)])=0$$

【2.相关】

• 相关性描述的是两个变量之间是否存在线性关系。相关则表明两变量之间存在线性关系，不相关则表明两变量之间不存在线性关系（也有可能存在正交或其他关系）。
• 相关：如果存在一组不全为零的数 $c_1,c_2...,c_m\in K$，使得对于元素 $x_1,x_2...,x_m\in V$ 有 ${\sum }_{i=1}^m{c}_i{x}_i=0$ ，则称元素组 $x_1,x_2...,x_m$ 线性相关，否则称其线性无关（即：系数不全为0的线性组合为0，则元素组线性相关）。
• 不相关：当 $X$ 和 $Y$ 不相关时，协方差为 0。
  $$cov(X,Y)=E\{[X-E(X)][Y-E(Y)]\}=0$$
  $$E(XY)=E(X)E(Y)$$

【3.正交】

• 正交：若 $X$ 不含有 $Y$ 的任何成分，$Y$ 也不含有 $X$ 的任意成分，则称两个随机变量 $X$ 与 $Y$ 正交，数学上定义为：
  $$E(XY)=0$$
• 正交信号的性质：互相关函数恒等于0，内积为0。
  $$\begin{gathered} 正交信号的互相关函数恒等于0： \\ {R}_{xy}(\tau )={\int }_{-\infty }^{+\infty }x(t)y^{\ast }(t-\tau )dt=0,\forall \tau \end{gathered}$$

【4.相互关系】

相关和独立

• 独立一定不相关，不相关不一定独立。

举例不相关不一定独立：令 $Y=X^2,X\in [-1,0,1],Y\in [1,0,1]$，其中，X的三种取值等概率。

• X,Y 不相关：
  $E(XY)-E(X)E(Y)=0-0\times \frac{2}{3}=0$
• X,Y不独立：
  $\begin{array}{rl}& P(X\le 0,Y\le 0)=\frac{1}{3}\\ & P(X\le 0)P(Y\le 0)=\frac{2}{3}\times \frac{1}{3}=\frac{2}{9}\ne \frac{1}{3}\end{array}$

• 不相关→独立的条件： X,Y都服从标准正态分布。

相关和正交

• 正交一定不相关，不相关不一定正交。

举例不相关不一定正交：$X=[0,1,1],Y=[1,0,1]$

• X,Y 不相关：
  显然。
• X,Y不正交：
  $X\cdot Y=0\times 1+1\times 0+1\times 1=1\ne 0$

• 不相关→正交的条件：不相关需要满足 $E(XY)=E(X)E(Y)$，而正交需要满足 $E(XY)=0$，当且仅当 $E(X)$ 或者 $E(Y)$ 两者中有一个为 0 时，不相关一定正交。
• 若x(t)和y(t)的均值均等于零，则不相关与正交彼此等价。

独立和正交

• 独立→正交的条件：独立一定不相关，则 $E(XY)=E(X)E(Y)$，而正交需要满足 $E(XY)=0$，当且仅当 $E(X)$ 或者 $E(Y)$ 两者中有一个为 0 时，独立一定正交。
• 正交→独立的条件：X,Y都服从标准正态分布。

独立、不相关和正交

• 标准正态分布信号的独立、不相关和正交三者等价。
  
  

【5. 参考文献】

[1] 张贤达. 现代信号处理[M]. 清华大学出版社, 2002.
[2] 独立正交不相关定义关系
[3] 如何证明「X，Y 不相关，则 X，Y 不一定独立」