协方差与相关系数(标准协方差)

协方差的定义

设$(X,Y)$是二维随机变量，若：$$E[X-E(X)][Y-E(Y)]$$存在，则称它为随机变量$X$与$Y$的协方差，记为$cov(X,Y)$，有$$\begin{array}{rl}cov(X,Y)& =E[X-E(X)][Y-E(Y)]\\ & =E(XY)-E(X)E(Y)\\ & ={\int }_{-\infty }^{+\infty }xyf(x,y)dxdy-{\int }_{-\infty }^{+\infty }xf(x,y)dx{\int }_{-\infty }^{+\infty }yf(x,y)dy\end{array}$$

协方差的性质

1. $cov(X,Y)=cov(Y,X)$
2. $cov(X,X)=D(X)$
3. $cov(X,Y)=E(XY)-E(X)E(Y)$
4. $D(X\pm Y)=D(X)+D(Y)\pm 2cov(X,Y)$
5. $cov(aX,bY)=abcov(X,Y)$，$a$、$b$是常数
6. $cov(X_1+X_2,Y)=cov(X_1,Y)+cov(X_2,Y)$
7. 若$X$与$Y$相互独立，则$cov(X,Y)=0$
8. 若$cov(X,Y)=E(XY)-E(X)E(Y)=0$或$D(X\pm Y)=D(X)+D(Y)\pm 2cov(X,Y)=0$则$X$与$Y$不相关

协方差的定义

设$cov(X,Y)$存在，且$D(X),D(Y)$不为零，则称$\frac{cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$为随机变量$X$与$Y$的相关系数或标准协方差，记为${\rho }_{XY}$，即$${\rho }_{XY}=\frac{cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$$
由$cov(X,Y)=E[X-E(X)][Y-E(Y)]$可得，设$$X^{\ast }=\frac{X-E(X)}{\sqrt{D(X)}}，Y^{\ast }=\frac{Y-E(Y)}{\sqrt{D(Y)}}$$即$X^{\ast },Y^{\ast }$分别是$X,Y$的标准化随机变量，由协方差的定义，可知$${\rho }_{XY}=cov(X^{\ast },Y^{\ast })$$

相关系数的意义

已知${\rho }_{XY}$是$X,Y$的相关系数，则有定理：

1. $|{\rho }_{XY}|⩽1$;（${\rho }_{XY}>0$称正相关，${\rho }_{XY}<0$称负相关）
2. $|{\rho }_{XY}|=1$的充要条件是：存在常数$a,b$，使：$$P\{Y=aX+b\}=1$$即$X$与$Y$以概率1存在线性关系

该定理说明了，相关系数${\rho }_{XY}$描述了随机变量$X$、$Y$的线性相关程度，$|{\rho }_{XY}|$越接近1，则$X$与$Y$之间越接近线性关系。当$|\rho |=1$时，$X$与$Y$存在线性关系。特别地，如果${\rho }_{XY}=0$，则$X$与$Y$不相关，说明$X$与$Y$没有线性关系。

应当注意到，两个随机变量$X$与$Y$之间的不相关性和相互独立型一般是不同的。
由相关系数的定义可以推导得，当$X$与$Y$相互独立时，必有${\rho }_{XY}=0$，即$X$与$Y$不相关，但反之则不然。
独立性是比不相关性更为严格的条件，独立性反映$X$与$Y$之间不存在任何关系，而不相关性只是就线性关系而已的，即使$X$与$Y$不相关，它们之间也可能存在某种函数关系。