矩阵篇（四）-- 实随机向量的相关矩阵、协方差矩阵、相关系数

        观测数据和加性噪声通常取随机变量。由随机变量组成的向量称为随机向量，也可以称作多维随机变量。

1 随机向量

        描述随机向量的统计函数有累积分布函数、概率密度函数、均值函数和协方差函数等。

        一个含有 $m$ 个随机变量的实值向量
$$xx(\xi )=[x_1(\xi ),\cdots ,x_m(\xi ){]}^T\text{\hspace{1em}(1-1)}$$

        称为 $m\times 1$ 实随机向量，或简称随机向量(当维数无关紧要时)。其中，$\xi$ 表示样本点，例如它可以是时间 $t$，圆频率 $f$，角频率 $w$ 或位置 $s$ 等。

1.1 概率密度函数

        一个随机向量所有元素的联合累积分布函数常用符号 $F_{\mathbf{x}}(x_1,\cdots ,x_m)$ 表示，联合概率密度函数常用 $f_{\mathbf{x}}(x_1,\cdots ,x_m)$ 表示。为了简化，令 $F(xx)=F_{\mathbf{x}}(x_1,\cdots ,x_m)$ 和 $f(xx)=f_{\mathbf{x}}(x_1,\cdots ,x_m)$。一个随机向量由它的联合累积分布函数或联合概率密度函数完全描述。

        随机向量 $xx(\xi )$ 的联合累积分布函数为：
$$F(xx)\stackrel{def}{=}P\{\xi :x_1(\xi )\le x_1,\cdots ,x_m(\xi )\le x_m\}\text{\hspace{1em}(1-2)}$$
        随机向量 $xx(\xi )$ 的联合概率密度函数为：
$$\begin{gathered} f(xx)\stackrel{def}{=}\underset{\Delta x_1\to 0,\cdots ,\Delta x_m\to 0}{\lim }\frac{P\{\xi :x_1<x_1(\xi )\le x_1+\Delta x_1,\cdots ,x_m<x_m(\xi )\le x_m+\Delta x_m\}}{\Delta x_1\cdots \Delta x_m} \\ =\frac{{\partial }^m}{\partial x_1\cdots \partial x_m}{F}_{\mathbf{x}}(x_1,\cdots ,x_m)\text{\hspace{1em}(1-3)} \end{gathered}$$
        若对于 $m$ 个事件 $\{x_1(\xi )\le x_1\}\cdots ,\{x_m(\xi )\le x_m\}$ 有概率关系，
$$P\{\xi :x_1(\xi )\le x_1,\cdots ,x_m(\xi )\le x_m\}=P\{\xi :x_1(\xi )\le x_1\}\cdots P\{x_m(\xi )\le x_m\}\text{\hspace{1em}(1-4)}$$
        则随机变量 $\xi :x_1(\xi )\le x_1,\cdots ,x_m(\xi )\le x_m$ 称为独立。
        所以，
$$\begin{gathered} F(xx)=F_{\mathbf{x}}(x_1,\cdots ,x_m)=F_{x_1}(x_1)\cdots F_{x_m}(x_m) \\ f(xx)=f_{\mathbf{x}}(x_1,\cdots ,x_m)=f_{x_1}(x_1)\cdots f_{x_m}(x_m)\text{\hspace{1em}(1-5)} \end{gathered}$$

        若 $m$ 个随机变量的联合分布函数（或联合概率密度函数）等于各个随机变量的边缘分布函数（或边缘概率密度函数）之积，则这 $m$ 个随机变量是联合独立的。

1.2 随机向量的统计描述

1.2.1 均值向量

        随机向量的最重要的统计运算为数学期望。令随机变量 $x_i(\xi )$ 的均值 $E\{x_i(\xi )\}={\mu }_i$，则随机向量的数学期望称为均值向量，记作 ${\mu }_x{\mu }_x$，定义为
$${\mu }_x{\mu }_x=E\{x(\xi )\}=\left[\begin{array}{c}E\{x_1(\xi )\}\\ ⋮\\ E\{x_m(\xi )\}\end{array}\right]=\left[\begin{array}{c}{\mu }_1\\ ⋮\\ {\mu }_m\end{array}\right]\text{\hspace{1em}(1-6)}$$

1.2.2 相关矩阵

1. 自相关矩阵
        均值向量是随机向量的一阶矩，它描述随机向量的元素围绕其均值的散布情况。与均值向量不同，随机向量的二阶矩为矩阵，它描述随机向量分布的散布情况。

        随机向量的自相关矩阵定义为该向量与自身的外积的数学期望
$$\begin{array}{r}{RR}_{\mathbf{x}}\stackrel{def}{=}E\{xx(\xi ){xx}^H(\xi )\}=\left[\begin{array}{ccc}{r}_{11}& \cdots & r_{1m}\\ ⋮& \ddots & \cdots \\ r_{m1}& \cdots & r_{mm}\end{array}\right]\end{array}\text{\hspace{1em}(1-7)}$$
        式中，$r_{ii},i=1,\cdots ,m$ 表示随机变量 $x_i(\xi )$ 的自相关系数，定义为
$$r_{ii}\stackrel{def}{=}E\{|x_i(\xi ){|}^2\},i=1,\cdots ,m\text{\hspace{1em}(1-8)}$$
        而 $r_{ij}$ 表示随机变量 $x_i(\xi )$ 和 $x_j(\xi )$ 之间的互相关函数，定义为
$$r_{ij}\stackrel{def}{=}E\{x_i(\xi )x_j(\xi )\},i,j=1,\cdots ,m,i\ne j\text{\hspace{1em}(1-9)}$$

        显然，自相关矩阵是对称的。

2. 互相关矩阵
        推广自相关矩阵的概念，则有随机变量的互相关矩阵
$$\begin{array}{r}{RR}_{\mathbf{xy}}\stackrel{def}{=}E\{xx(\xi ){yy}^H(\xi )\}=\left[\begin{array}{ccc}{r}_{x_1,y_1}& \cdots & r_{x_1,y_m}\\ ⋮& \ddots & \cdots \\ r_{x_m,y_1}& \cdots & r_{x_m,y_m}\end{array}\right]\end{array}\text{\hspace{1em}(1-10)}$$
        式中， $r_{x_i,y_j}\stackrel{def}{=}E\{x_i(\xi )y_j(\xi )\}$ 是随机变量 $x_i(\xi )$ 和 $y_j(\xi )$ 之间的互相关。

1.2.3 协方差矩阵

1. 自协方差矩阵
        随机向量 $xx(\xi )$ 的自协方差矩阵记为 $C_x{C}_x$，定义为：
$$C_x{C}_x=Cov(xx,xx)\stackrel{def}{=}E\{[xx(\xi )-{\mu }_x{\mu }_x][xx(\xi )-{\mu }_x{\mu }_x{]}^T\}=\left[\begin{array}{ccc}{c}_{11}& \cdots & c_{1m}\\ ⋮& \ddots & \cdots \\ c_{m1}& \cdots & c_{mm}\end{array}\right]\text{\hspace{1em}(1-11)}$$
        式子中，主对角线元素，
$$c_{ii}\stackrel{def}{=}E\{|x_i(\xi )-{\mu }_i{|}^2\},i=1,\cdots ,m\text{\hspace{1em}(1-12)}$$
        表示随机变量 $x_i(\xi )$ 的方差 ${\sigma }_i^2$，即 $c_{ii}={\sigma }_i^2$，而非主对角线元素
$$c_{ij}\stackrel{def}{=}E\{[x_i(\xi )-{\mu }_i][x_j(\xi )-{\mu }_j]\},i,j=1,\cdots ,m,i\ne j\text{\hspace{1em}(1-13)}$$

        表示随机变量 $x_i(\xi )$ 和 $x_j(\xi )$ 之间的协方差，也是对称矩阵。

        自协方差矩阵有时也称为方差矩阵，用符号 $Var(xx)$ 表示，即有 $Var(xx)=E\{[xx(\xi )-{\mu }_x{\mu }_x][xx(\xi )-{\mu }_x{\mu }_x{]}^T\}$。显然，$Var(xx)=Cov(xx,xx)$。

        自相关矩阵和自协方差矩阵之间存在下列关系
$$C_x{C}_x=R_x{R}_x-{\mu }_x{\mu }_x{{\mu }_x{\mu }_x}^T\text{\hspace{1em}(1-14)}$$

2. 互协方差矩阵
$$C_{xy}{C}_{xy}=Cov(xx,xx)\stackrel{def}{=}E\{[xx(\xi )-{\mu }_x{\mu }_x][yy(\xi )-{\mu }_x{\mu }_x{]}^T\}=\left[\begin{array}{ccc}{c}_{x_1,y_1}& \cdots & c_{x_1,y_m}\\ ⋮& \ddots & \cdots \\ c_{x_m,y_1}& \cdots & c_{x_m,y_m}\end{array}\right]\text{\hspace{1em}(1-15)}$$
        式中， $c_{x_i,y_j}\stackrel{def}{=}E\{[x_i(\xi )-{\mu }_{x_i}][y_j(\xi )-{\mu }_{y_j}]\}$ 是随机变量 $x_i(\xi )$ 和 $y_j(\xi )$ 之间的互协方差。

        易知，互协方差矩阵与互相关矩阵之间存在下列关系
$$C_{xy}{C}_{xy}=R_{xy}{R}_{xy}-{\mu }_x{\mu }_x{{\mu }_y{\mu }_y}^T\text{\hspace{1em}(1-16)}$$

        一个实随机向量的自相关矩阵和自协方差矩阵均为实对称方阵，而两个维数不同的实随机向量的互相关矩阵和互协方差矩阵是非方阵。即使随机向量 $xx(\xi )$ 和 $yy(\xi )$ 维数相同，互相关矩阵和互协方差矩阵为方阵，它们也不是对称的。

        自协方差矩阵与互协方差矩阵的以下性质：
        （1）自协方差矩阵是转置对称的，即有 $[Var(xx){]}^T=Var(xx)$
        （2）线性组合向量 $AxAx+bb$ 的自协方差矩阵 $Var(AxAx+bb)=Var(AxAx)=AAVar(xx){AA}^T$
        （3）互协方差矩阵不是转置对称的，但满足 $Cov(xx,yy)=[Cov(yy,xx){]}^T$
        （4）$Cov({xx}_1+{xx}_2,yy)=Cov({xx}_1,yy)+Cov({xx}_2,yy)$
        （5）若 $xx$ 和 $yy$ 具有相同的维数，则$Var(xx+yy)=Var(xx)+Cov(xx,yy)+Cov(yy,xx)+Var(yy)$
        （6）$Cov(AxAx,ByBy)=AACov(xx,yy){BB}^T$

1.2.4 两个随机向量的统计不相关与正交

        两个随机变量 $x(\xi )$ 和 $y(\xi )$ 之间的相关系数定义为：
$${\rho }_{xy}\stackrel{def}{=}\frac{c_{xy}}{\sqrt{E\{|x(\xi ){|}^2\}E\{|y(\xi ){|}^2\}}}=\frac{c_{xy}}{{\sigma }_x{\sigma }_y}\text{\hspace{1em}(1-17)}$$

        式中，$c_{xy}$ 是随机变量 $x(\xi )$ 和 $y(\xi )$ 之间的互协方差，而 ${\sigma }_x^2$ 和 ${\sigma }_y^2$ 分别是 $x(\xi )$ 和 $y(\xi )$ 的方差。对相关系数的定义公式使用Cauchy-Schwartz不等式，易知
$$0\le |{\rho }_{xy}|\le 1\text{\hspace{1em}(1-18)}$$

        相关系数 ${\rho }_{xy}$ 给出了两个随机变量 $x(\xi )$ 和 $y(\xi )$ 之间的相似程度的度量；${\rho }_{xy}$ 越接近于零，随机变量 $x(\xi )$ 和 $y(\xi )$ 的相似度越弱；反之，若 ${\rho }_{xy}$ 越接近于1，则 $x(\xi )$ 和 $y(\xi )$ 的相似度越大。特别地，相关系数的两个极端值0和1有着重要的意义。

         ${\rho }_{xy}=0$ 意味着互协方差 $c_{xy}=0$，这表明随机变量 $x(\xi )$ 和 $y(\xi )$ 之间不存在任何相关部分。因此，若 ${\rho }_{xy}=0$ ，则称随机变量 $x(\xi )$ 和 $y(\xi )$ 不相关。鉴于这种不相关是在统计意义下定义的，所以常称之为统计不相关。

        将两个随机变量之间的不相关条件 $c_{xy}=0，i,j\ne 0$ 加以推广，立即得到 $m\times 1$ 随机向量 $xx(\xi )$ 和 $n\times 1$ 随机向量 $yy(\xi )$ 统计不相关定义如下。

        若 $m\times 1$ 随机向量 $x(\xi )$ 和 $n\times 1$ 随机向量 $y(\xi )$ 统计不相关，则它们的互协方差矩阵等于零矩阵，即 $C_{xy}{C}_{xy}={00}_{m\times n}$。

        两个随机变量 $x(\xi )$ 和 $y(\xi )$ 称为正交，若它们的互相关等于零，即
$$r_{xy}=E\{x(\xi )y(\xi )\}=0\text{\hspace{1em}(1-19)}$$

        类似地，两个随机向量 $xx(\xi )=[x_1(\xi ),\cdots ,x_m(\xi ){]}^T$ 和 $yy(\xi )=[y_1(\xi ),\cdots ,y_n(\xi ){]}^T$ 称为正交，若 $xx(\xi )$ 的任一元素 $x_i(\xi )$ 与随机向量$yy(\xi )$ 的任一元素 $y_j(\xi )$ 正交，

        即 $r_{x_i,y_j}=E\{x_i(\xi )y_j(\xi )\}=0,i=1,\cdots ,m;j=1,\cdots ,n$。显然，这意味着这两个随机向量的互相关矩阵等于零矩阵，即有 $R_{xy}{R}_{xy}={00}_{m\times n}$。

        若 $m\times 1$ 随机向量 $xx(\xi )$ 和 $n\times 1$ 随机向量 $yy(\xi )$ 正交，则它们的互相关矩阵等于零矩阵，即 $R_{xy}{R}_{xy}={00}_{m\times n}$。

        对比互协方差矩阵和互相关矩阵的定义知，若随机向量 $xx(\xi )$ 和 $yy(\xi )$ 均具有零均值向量，则 $C_{xy}{C}_{xy}=R_{xy}{R}_{xy}$。因此，对于分别具有零均值向量的两个随机向量而言，它们之间的统计不相关与正交是等价的。