Covariance

协方差分析是建立在方差分析和回归分析基础之上的一种统计分析方法。在概率论和统计学中，协方差用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况, 即当两个变量是相同的情况。
两个随机变量协方差公式：
cov(X,Y) = E[(X-E(X))(Y-E(Y))]
cov(X,Y):变量X,Y的协方差
E(X):变量X的期望
E(Y):变量Y的期望

cov(X,Y) = E[(X-E(X))(Y-E(Y))]
= E[XY-XE[Y]]-E[X]Y+E[X]E[Y]]
= E[XY]-E[X]E[Y]-E[X]E[Y]+E[X]E[Y]
= E[XY]-E[X]E[Y]

协方差矩阵：

协方差矩阵

性质

1.两个独立的随机变量满足E[XY]=E[X]E[Y]，即协方差为0的两个随机变量称为是不相关的。

协方差与方差之间有如下关系：
D(X+Y)=D(X)+D(Y)+2Cov(X，Y)
D(X-Y)=D(X)+D(Y)-2Cov(X，Y)

（1）Cov(X，Y)=Cov(Y，X)；
（2）Cov(aX，bY)=abCov(X，Y)，（a，b是常数）；
（3）Cov(X1+X2，Y)=Cov(X1，Y)+Cov(X2，Y)。
由协方差定义，可以看出Cov(X，X)=D(X)，Cov(Y，Y)=D(Y)。

Pearson相关系数

协方差作为描述X和Y相关程度的量，在同一物理量纲之下有一定的作用，但同样的两个量采用不同的量纲使它们的协方差在数值上表现出很大的差异。

Pearson相关系数

定义ρXY称为随机变量X和Y的(Pearson)相关系数。
若ρXY=0，则称X与Y不线性相关。
即ρXY=0的充分必要条件是Cov(X，Y)=0，亦即不相关和协方差为零是等价的。
∣ρXY∣=1充分必要条件为P{Y=aX+b}=1，（a，b为常数，a≠0）。
参考：
百度百科：协方差
WIKIPEDIA:Covariance