协方差详解

今天面算法，面试官问协方差是什么，因为平时基本可能用不到，所以一脸懵逼，今天来温习一下什么是协方差。

期望(Expection)

函数f(x)关于某分布P(x)的期望或者期望值是指，当x是由P产生时，f作用于x时，f(x)的平均值。对于离散型随机变量，通过求和得到：
$${\mathbb{E}}_{x\sim P}[f(x)]=\sum _{x}P(x)f(x)$$
对于连续性随机变量则可以通过积分得到：
$${\mathbb{E}}_{x\sim P}[f(x)]=\int P(x)f(x)dx$$
概率分布在上下文指明时，可以简写为${\mathbb{E}}_x[f(x)]$；如果随机变量明确时，可以简化为$E[f(x)]$。

期望是线性的，那么：
${\mathbb{E}}_x[\alpha f(x)+\beta g(x)]=\alpha {\mathbb{E}}_x[f(x)]+\beta {\mathbb{E}}_x[g(x)]$
其中$\alpha$和$\beta$不依赖于x。

方差(Variance)

方差衡量的是当我们对x依据它的概率分布进行采样时，随机变量x呈现出的函数值差异的大小的期望：
$Var(f(x))=\mathbb{E}[(f(x)-\mathbb{E}[f(x)]{)}^2]$
方差很小时，f(x)的值形成的簇比较接近它们的期望值。方差的平方根被称为标准差。

Bias衡量了模型的输出值和真实值之间的差距；Variance衡量的是模型每一次输出结果与模型输出期望的之间的误差，也即模型的稳定性。

协方差(Covariance)

协方差（Covariance）在概率论和统计学中用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况，即当两个变量同一个变量的情况。
$Cov(f(x),g(y))=\mathbb{E}[(f(x)-\mathbb{E}[f(x)])(g(y)-\mathbb{E}[g(y)])]$
注意：x=y，f = g上式即为方差。

协方差在某种意义上给出了两个变量线性相关的强度以及这些变量的尺度：
协方差的绝对值如果很大则意味着变量值变化很大并且他们同时距离各自的均值很远。如果协方差是正的，那么两个变量的取值倾向相同，要大一起大，要小一起小；如果协方差是负的，那么两个变量的取值倾向相反，一个变量倾向于取得相对较大的值的同时，另一个变量会倾向于取得相对较小的值；如果协方差是零，则两个变量的取值无任何关联。

详见下：

两个随机变量X和Y之间的相互关系，大致有三种情况：

• 正相关
• 负相关
• 不相关

以下是三种情况下X和Y的联合分布：

正相关：很直观，X越大Y越大，X越小Y越小。

负相关：很直观，X越大Y越小，X越小Y越大，跟正相关相反。

不相关：X小的时候Y可大可小，X大的时候Y依然可大可小，反之亦然。

在上面的三张图中:

• 对于区域(1)，$X>EX$，$Y>EY$，那么$(X-EX)(Y-EY)>0$；
• 对于区域(3)，$X<EX$，$Y<EY$，那么$(X-EX)(Y-EY)>0$；
• 对于区域(2)，$X<EX$，$Y>EY$，那么$(X-EX)(Y-EY)<0$；
• 对于区域(4)，$X>EX$，$Y<EY$，那么$(X-EX)(Y-EY)<0$；

当X与Y正相关时，它们的联合分布大致在(1)和(3)中，小部分区域在(2)和(4)中，所以平均而言，其期望$E((X-EX)(Y-EY))>0$;

当X与Y负相关时，它们的联合分布大致在(2)和(4)中，小部分区域在(1)和(3)中，所以平均而言，其期望$E((X-EX)(Y-EY))<0$;

当X与Y不相关时，总体而言它们在(1)(3)和(2)(4)的分布大致相当，所以平均而言，其期望$E((X-EX)(Y-EY))<0$。

这就是协方差的来源，它可以表示X和Y相互关系的数字特征：
$Cov(X,Y)=E(X-EX)(Y-EY)$

综上：
当Cov(X, Y) > 0，X和Y正相关；
当Cov(X, Y) < 0，X和Y负相关；
当Cov(X, Y) = 0，X和Y不相关。

补充

随机向量$x\in {\mathbb{R}}^n$的协方差矩阵是一个$n\times n$的矩阵，并且满足：
$$Cov(x{)}_{i,j}=Cov(x_i,x_j)$$

协方差矩阵的对角元是方差：
$$Cov(x_i,x_i)=Var(x_i)$$

相关系数(Correlation coefficient)

相关系数是最早由统计学家卡尔·皮尔逊设计的统计指标，是研究变量之间线性相关程度的量。

相关关系是一种非确定的关系，相关系数是研究变量之间线性相关程度的量。相关系数有多种定义方式，我们这里仅列举使用协方差定义的简单相关系数。

简单相关系数：又叫相关系数或者线性相关系数，一般用字母r表示，用来度量两个变量之间的线性关系.
$$r(X,Y)=\frac{Cov(X,Y)}{\sqrt{Var[X]Var[Y]}}$$

参考

1. Deep Learning Chapter 3.8
2. 百度百科词条：协方差、相关系数
3. 终于明白协方差的意义了