多元：复相关系数和偏相关系数

本文就对多元统计中的复相关系数和偏相关系数进行阐述和说明。

1.复相关系数（Multi-correlation coefficient）

指度量$y$ 与其最优线性预测 $y$ 之间的相关系数。 也即有一个随机变量$y$ 和一组随机变量 $x=(x_1,x_2,\dots ,x_p{)}^{\prime }$ , 现在寻找 $y$ 和该组 $x$ 变量之间的整体相关性。

在一般情况下，$y$和$x$组成员$x_i$ 都具有一定的相关性。比如在人体素质测试中，若有 肺活量 为$y$，以及年龄（$x_1$）、体重（$x_2$）、800米跑步时间（$x_3$）、休息时的脉搏（$x_4$）和跑步时的脉搏（$x_5$）六个测试项目。肺活量与其余5个变量中的每一个都具有相关性。而我们想要研究肺活量与其余五个变量之间的整体相关性。

为做到这点，首先找到一个线性组合 $l^{\prime }x$ 将$x$ 中包含的关于 $y$ 的信息最大限度地提取出来，然后计算 $y$ 与 线性组合 $l^{\prime }x$ 之间的相关性，此即为复相关系数，表示为 ${\rho }_{y\cdot x}$ / ${\rho }_{y\cdot 1,2,3,\dots ,p}$ /$\rho (y,l^{\prime }x)$。

根据相关系数定义，我们有$${\rho }^2(y,l^{\prime }x)=\frac{Cov(y,l^{\prime }x)}{V(y)\ast V(l^{\prime }x)}=\frac{({\sigma }_{yx}{l}^{\prime }{)}^2}{{\sigma }_{yy}\ast l^{\prime }{\Sigma }_{xx}l}.$$
通过柯西—施瓦茨不等式

设有一$B>0$,则有$$(x^{\prime }y{)}^2⩽(x^{\prime }Bx)(y^{\prime }{B}^{-1}y).$$等号成立当且仅当$x=c{B}^{-1}y$或$y=cBx$，$c$为常数。

设$B={\Sigma }_{xx}^{-1}$,得到复相关系数的平方为$${\rho }^2(y,l^{\prime }x)⩽\frac{({\sigma }_{xy}^{\prime }{\Sigma }_{xx}^{-1}{\sigma }_{xy})(l^{\prime }{\Sigma }_{xx}l)}{{\sigma }_{yy}\ast (l^{\prime }{\Sigma }_{xx}l)}=\frac{{\sigma }_{xy}^{\prime }{\Sigma }_{xx}^{-1}{\sigma }_{xy}}{{\sigma }_{yy}}.$$
当$B={\Sigma }_{xx}^{-1}，l={\Sigma }_{xx}^{-1}{\sigma }_{xy}$时等式成立。
因此，复相关系数计算公式为 $${\rho }_{y\cdot x}=max\rho (y,l^{\prime }x)=\sqrt{\frac{{\sigma }_{xy}^{\prime }{\Sigma }_{xx}^{-1}{\sigma }_{xy}}{{\sigma }_{yy}}}.$$
其中，${\sigma }_{xy}$为$x和y$的协方差矩阵，${\Sigma }_{xx}$为$x$组的自协方差矩阵。${\sigma }_{xy}^{\prime }{\Sigma }_{xx}^{-1}x$为$y$的最优线性预测$y$。以上公式也可化为$\sqrt{{\rho }_{xy}^{\prime }{R}_{xx}^{-1}{\rho }_{xy}}$利用相关系数${\rho }_{xy}$和相关矩阵$R_{xx}$求解。

2.偏相关系数（Partial-correlation coefficient）

指剔除其他变量的线性影响后，变量$x_i与x_j$之间的相关系数。要真正度量两个随机变量之间的相关性，必须要剔除由第三方带来的影响。

例如：①男生和女生两家相好。他两之间的亲密度可看做是相关系数。两人要想真正走在一起，必须要剔除双方父母带来的影响，测量两个人之间不受其他干扰时剩下的亲密度。这就是偏相关系数。②一个家庭的饮食支出和衣着支出存在较强的正相关性，也就是说一般吃的费用大的一般穿的费用也大，即相关系数大。但实际上，这种“伪强正相关”是由于收入这个第三方变量引起的。一般而言，高收入带动了各方面的消费支出。如果控制收入不变，则饮食和衣着费用之间的相关性则大不相同，甚至变成负相关性。消除第三方变量的影响后两者的相关性，称作偏相关。

相关系数也称为总相关系数或零阶偏相关系数，包含了一切影响带来的相关性。设有多元随机变量$x$，对$x$ 及其均值向量 $\mu$ 、总体自协方差矩阵 $\Sigma$ 做剖分如下：$$x=\left(\genfrac{}{}{0ex}{}{x_1}{x_2}\right)\begin{array}{c}k\\ p-k\end{array},\mu =\left(\genfrac{}{}{0ex}{}{{\mu }_1}{{\mu }_2}\right)\begin{array}{c}k\\ p-k\end{array},\Sigma =\left(\begin{array}{cc}{\Sigma }_{11}& {\Sigma }_{12}\\ {\Sigma }_{21}& {\Sigma }_{22}\end{array}\right)\begin{array}{c}k\\ p-k\end{array}.$$
以下讨论消除$x_2$的线性影响后$x_1$分量之间的相关性，先记为${\Sigma }_{11\cdot 2}$。

我们讨论的方法是

• 首先找到$x_2$对$x_1$各分量$x_i$的最优线性预测 $x_i$，将$x_2$中包含的$x_i$的信息尽可能提取出来；
• 计算预测误差$e_i=x_i-x_i$，表示$x_2$无法解释的部分;
• 度量$e_i$之间的相关性，计算$V(e)$；
• 利用相关系数公式，代入$V(e)$成分计算偏相关。

由最优线性预测公式

$y={\mu }_y+{\sigma }_{xy}^{\prime }{\Sigma }_{xx}^{-1}(x-{\mu }_x)$

可知$$e_i=x_i-[{\mu }_i+a_i^{\prime }{\Sigma }_{12}{\Sigma }_{22}^{-1}(x_2-{\mu }_2)].$$
其中$a_i=(0,\dots ,0,1,0,\dots ,0{)}^{\prime }:k\times 1$,1出现在第$i$个位置。导出$$e=x_1-[{\mu }_1+(a_1,\dots ,a_k{)}^{\prime }{\Sigma }_{12}{\Sigma }_{22}^{-1}(x_2-{\mu }_2)]$$ $$=x_1-[{\mu }_1+{\Sigma }_{12}{\Sigma }_{22}^{-1}(x_2-{\mu }_2)].$$
计算$x_i$各分量间的相关性，则有$$V(e)=V(x_1-[{\mu }_1+{\Sigma }_{12}{\Sigma }_{22}^{-1}(x_2-{\mu }_2)])$$ $$=V(x_1-{\Sigma }_{12}{\Sigma }_{22}^{-1}{x}_2)={\Sigma }_{11}-{\Sigma }_{12}{\Sigma }_{22}^{-1}{\Sigma }_{21}={\Sigma }_{11\cdot 2}.$$

于是，我们称${\Sigma }_{11\cdot 2}=({\sigma }_{ij,k=1,\dots ,p})$为偏协方差矩阵，非对角元素称为偏协方差，对角元素称为偏方差。根据相关系数的公式推导出$x_2$给定时，$x_i$和$x_j$的$(p-k)$阶偏相关系数的计算公式为$${\rho }_{ij\cdot k+1,\dots ,p}=\frac{{\sigma }_{ij\cdot k+1,\dots ,p}}{\sqrt{{\sigma }_{ii\cdot k+1,\dots ,p}\ast {\sigma }_{jj\cdot k+1,\dots ,p}}},1⩽i,j⩽k.$$