【什么是自相关矩阵，自协方差矩阵，互相关矩阵，互协方差矩阵？】

写在前面的话

最近看模式识别课程的时候卡在了一个地方，见下图：

协方差矩阵倒还知道，自相关矩阵？怎么推导的？它有什么意义？上网查了资料，要么晦涩难懂，要么一堆废话，这里我想尽量用最简洁的语言讲清楚它们。

前置知识

向量的内积与外积

场景：机器学习

样本（n个样本，N个维度（特征））：
$$\begin{gathered} X=\left\{x_1,x_2,...,x_n\right\} \\ {x}_i={\left\{w_{i,1},w_{i,2},...,w_{i,N}\right\}}^T \\ i\in \left[1,n\right] \\ {w}_j=\left\{w_{1,j},w_{2,j},...,w_{n,j}\right\} \\ j\in \left[1,N\right] \end{gathered}$$
这里的i和j与下面的i和j无关！！！

具体样例（3个样本，4个维度（特征））：
$$\begin{gathered} X=\left\{x_1,x_2,x_3\right\} \\ {x}_1={\left\{1,2,3,4\right\}}^T \\ {x}_2={\left\{3,2,1,4\right\}}^T \\ {x}_3={\left\{2,2,3,4\right\}}^T \end{gathered}$$
方差（后面会频繁用到方差）：

自协方差矩阵

首先定义由各样本向量均值构成的向量$M_X$ ，则样本向量$X$构成的协方差矩阵记为 ：
$$\begin{gathered} M_X=E\left(X\right)={\left\{m_1,m_2,...,m_N\right\}}^T \\ {C}_{X,X}=E\left\{\left(X-M_X\right){\left(X-M_X\right)}^T\right\}=\left[\begin{array}{ccc}{c}_{1,1}& ...& c_{1,N}\\ ...& ...& ...\\ c_{N,1}& ...& c_{N,N}\end{array}\right] \end{gathered}$$
$c_{i,i}$是$w_i$的方差：
$$c_{i,i}=E\left\{\left(w_i-M_{X,i}\right){\left(w_i-M_{X,i}\right)}^T\right\}=E\left\{{\left|w_i-M_{X,i}\right|}^2\right\}$$
$c_{i,j}$是$w_i$和$w_j$的协方差：
$$c_{i,j}=E\left\{\left(w_i-M_{X,i}\right){\left(w_j-M_{X,j}\right)}^T\right\}$$
通过公式可以知道，自协方差矩阵也是Hermitian矩阵。自协方差矩阵也被称为方差矩阵，用符号$Var(X)$表示。

注意，自协方差矩阵是N*N的方阵，理解协方差矩阵的关键就在于它的计算是不同维度之间的协方差，而不是不同样本之间。拿到一个样本矩阵，最先要明确的就是一行是一个样本还是一个维度。在这里一行是一个维度，一列是一个样本，这一点一定要记住！

具体样例

$$\begin{gathered} X=\left\{x_1,x_2,x_3\right\} \\ {x}_1={\left\{1,2,3,4\right\}}^T \\ {x}_2={\left\{3,2,1,4\right\}}^T \\ {x}_3={\left\{2,2,3,4\right\}}^T \\ X=\left[\begin{array}{ccc}1& 3& 2\\ 2& 2& 2\\ 3& 1& 3\\ 4& 4& 4\end{array}\right] \end{gathered}$$

$$\begin{gathered} M_X=E\left(X\right)={\left\{m_1,m_2,...,m_N\right\}}^T \\ {m}_1=(1+3+2)/3=2 \\ {m}_2=(2+2+2)/3=2 \\ {m}_3=(3+1+3)/3=2.5 \\ {m}_4=(4+4+4)/3=4 \\ {M}_X={\left\{2,3,2.5,4\right\}}^T \end{gathered}$$
$$C_{X,X}=E\left\{\left(X-M_X\right){\left(X-M_X\right)}^T\right\}=\left[\begin{array}{ccc}{c}_{1,1}& ...& c_{1,N}\\ ...& ...& ...\\ c_{N,1}& ...& c_{N,N}\end{array}\right]$$
$$X-M_X=\left[\begin{array}{ccc}1-2& 3-2& 2-2\\ 2-3& 2-3& 2-3\\ 3-2.5& 1-2.5& 3-2.5\\ 4-4& 4-4& 4-4\end{array}\right]=\left[\begin{array}{ccc}-1& 1& 0\\ -1& -1& -1\\ 0.5& -1.5& 0.5\\ 0& 0& 0\end{array}\right]$$
$${\left(X-M_X\right)}^T=\left[\begin{array}{cccc}-1& -1& 0.5& 0\\ 1& -1& -1.5& 0\\ 0& -1& 0.5& 0\end{array}\right]$$
$c_{i,i}$是$w_i$的方差：
$$\begin{gathered} c_{i,i}=E\left\{\left(w_i-M_{X,i}\right){\left(w_i-M_{X,i}\right)}^T\right\}=E\left\{{\left|w_i-M_{X,i}\right|}^2\right\} \\ {w}_1-M_{X,1}={\left[\begin{array}{ccc}1-2& 3-2& 2-2\end{array}\right]}^T={\left[\begin{array}{ccc}-1& 1& 0\end{array}\right]}^T \\ \left(x_1-M_{X,1}\right){\left(x_1-M_{X,1}\right)}^T=(-1)\ast (-1)+(1)\ast (1)+0\ast 0=2 \\ E\left\{{\left|w_1-M_{X,1}\right|}^2\right\}=2/n=2/3 \end{gathered}$$

在matlab里面是除以样本数减1的差值，即n-1。

$c_{i,j}$是$w_i$和$w_j$的协方差：
$$\begin{gathered} c_{i,j}=E\left\{\left(w_i-M_{X,i}\right){\left(w_j-M_{X,j}\right)}^T\right\} \\ {w}_1-M_{X,1}={\left[\begin{array}{ccc}1-2& 3-2& 2-2\end{array}\right]}^T={\left[\begin{array}{ccc}-1& 1& 0\end{array}\right]}^T \\ {w}_2-M_{X,2}={\left[\begin{array}{ccc}2-3& 2-3& 2-3\end{array}\right]}^T={\left[\begin{array}{ccc}-1& -1& -1\end{array}\right]}^T \\ \left(x_1-M_{X,1}\right){\left(x_2-M_{X,2}\right)}^T=(-1)\ast (-1)+(1)\ast (-1)+0\ast (-1)=0 \\ E\left\{\left(w_i-M_{X,i}\right){\left(w_j-M_{X,j}\right)}^T\right\}=0/n=0 \end{gathered}$$

自相关矩阵

自相关矩阵定义为样本向量与自身的外积的数学期望，其实就是自协方差矩阵不减均值向量就好：
$$R_{X,X}=E\left(X{X}^T\right)=\left[\begin{array}{ccc}{r}_{1,1}& ...& r_{1,N}\\ ...& ...& ...\\ r_{N,1}& ...& r_{N,N}\end{array}\right]$$

$r_{i,i}$是$w_i$的自相关系数：
$$r_{i,i}=E\left\{w_i{w}_i^T\right\}=E\left\{{\left|w_i\right|}^2\right\}$$
$r_{i,j}$是$w_i$和$w_j$的互相关系数：
$$r_{i,j}=E\left\{w_i{w}_j^T\right\}$$
自相关矩阵是复共轭对称的，即为Hermitian矩阵。

这里就不举例了，计算方法都相似~

自相关矩阵与自协方差矩阵的关系

自相关矩阵与自协方差矩阵存在如下关系：
$$C_{X,X}=R_{X,X}-M_X{M}_X^T$$

互协方差矩阵

考虑又一个数据集，样本数量无所谓，但是特征数一定要是N：
$$Y={\left\{y_1,y_2,...,y_n\right\}}^T$$
通过自协方差矩阵的推广，可以得到样本向量$X$与$Y$的互协方差矩阵，定义为：
$$\begin{gathered} M_X=E\left(X\right) \\ {M}_Y=E\left(Y\right) \\ {C}_{X,Y}=E\left\{\left(X-M_X\right){\left(Y-M_Y\right)}^T\right\}=\left[\begin{array}{ccc}{c}_{w_{x1},w_{y1}}& ...& c_{w_{x1},w_{yN}}\\ ...& ...& ...\\ c_{w_{xN},w_{y1}}& ...& c_{w_{xN},w_{yN}}\end{array}\right] \end{gathered}$$
互协方差表示两个向量对应元素减去各自期望，再相乘再做期望。

$\left(X-M_X\right),{\left(Y-M_Y\right)}^T$表示两个零期望的随机序列。

互相关矩阵

通过自相关矩阵的推广，可以得到样本向量$X$与$Y$的互相关矩阵，定义为：
$$R_{X,Y}=E\left(X{Y}^T\right)=\left[\begin{array}{ccc}{r}_{w_{x1},w_{y1}}& ...& r_{w_{x1},w_{yN}}\\ ...& ...& ...\\ r_{w_{xN},w_{y1}}& ...& r_{w_{xN},w_{yN}}\end{array}\right]$$
互相关表示两个向量对应元素相乘的期望。

互相关矩阵与互协方差矩阵的关系

互相关矩阵与互协方差矩阵存在如下关系：
$$C_{X,Y}=R_{X,Y}-M_X{M}_Y^T$$
当样本向量$X$与$Y$的维数不同时，他们的互相关矩阵和互协方差矩阵为非方阵，当他们的维数相同时，他们的互相关矩阵与互协方差矩阵为方阵，但仍不为复共轭对称矩阵。

如果$X$与$Y$这两个序列的期望$E(X)$与$E(Y)$为0，那么互相关矩阵和互协方差矩阵是一样的。

性质

协方差矩阵与互协方差矩阵由如下的性质：
（1）自协方差矩阵是复共轭转置对称的；
（2）线性组合向量$Ax+b$的自协方差矩阵$C_{Ax+b}=C_{Ax}=A{C}_x{A}^T$；
（3）互协方差矩阵不是复共轭转置对称的，但是满足$C_{x,y}=C_{y,x}^T$；
（4）$C_{x_1+x_2,y}=C_{x_1,y}+C_{x_2,y}$；
（5）若随机向量$X$与$Y$具有相同的维数，则$C_{x+y}=C_x+C_{x,y}+C_{y,x}+C_y$;
（6）$C_{Ax,By}=A{C}_{x,y}{B}^T$；

相关系数

自协方差矩阵和互协方差矩阵主要用于描述矩阵各行，列向量之间的相关程度，但由于其元素是自协方差矩阵，互协方差函数的绝对大小，有的时候在衡量相关度的时候并不准确，因而需要引入相关系数的概念，定义为：
$${\rho }_{xy}\stackrel{def}{\Rightarrow }\frac{c_{x,y}}{{\sigma }_x{\sigma }_y}$$
其中， 是随机变量$X$与$Y$的互协方差， ${\sigma }_x^2$与${\sigma }_y^2$则表示$X$与$Y$的方差。由Caucht-Schwartz不等式可以知道$0\le \left|{\rho }_{xy}\right|\le 1$。相关系数${\rho }_{xy}$给出了随机向量$X$与$Y$的相关程度，接近于0说明两个向量的相似度越小，越接近于1说明两个向量的相似度越大。