【概率论理论】协方差，协方差矩阵理论(机器学习)

---

前言

  $在许多算法中需要求出两个分量间相互关系的信息。协方差就是描述这种相互关联程度的一个特征数。$

---

一、协方差是什么？

  $设$(X,Y)$是一个二维随机变量，若$E[(X-E(X))(Y-E(Y))]$存在，则称此数学期望为$X$与$Y$的协方差，或称为$X$与$Y$的相关（中心）矩，并记为$
$$cov(X,Y)=E[(X-E(X))(Y-E(Y))]$$$特别有$Cov(X,X)=Var(X)$.$

• 当cov(X,Y)>0时，称X与Y正相关，这时两个偏差(X-E(X))与有同时增加或同时减少的倾向.由于E(X)与E(Y)都是常数，故等价于X与Y同时增加或同时减少的倾向，这就是正相关的含义。
• 当cov(X,Y)>0时，称X与Y负相关.
• 当cov(X,Y)=0时，称X与Y不相关.

$Cov(aX,bX)=abCov(X,Y)$
由上述性质可得，未预处理的数据的协方差仅有正负号为有用信息，即表示变量间呈现正负相关。

二、协方差矩阵是什么？

  $记n维随机变量为X=(X_1,X_2,...,X_n{)}^{{}^{\prime }},若其每个分量的数字期望都存在，则称$
$$E(X)=(E(X_1),E(X_2),...,E(X_n){)}^{{}^{\prime }}$$
$为n维随机向量X的数学期望向量，简称为X的数学期望，而称$
$$E[(X-E(X))(X-E(X){)}^{{}^{\prime }}]=\left[\begin{array}{cccc}Var(X_1)& Cov(X_1,X_2)& \cdots & Cov(X_1,X_n)\\ Cov(X_2,X_1)& Var(X_2)& \cdots & Cov(X_2,X_p)\\ ⋮& ⋮& \ddots & ⋮\\ Cov(X_n,X_1)& Cov(X_n,X_2)& \cdots & Var(X_n)\end{array}\right]$$
$为该随机向量的方差协方差矩阵，简称协方差阵，记为Cov(X).$
协方差矩阵的一般求法:

# 求矩阵X_train的协方差矩阵cov_X;
# 只有去均值后才可以直接X与X的逆相乘取均值得协方差矩阵
import numpy as np
X = X_train - np.mean(X_train, axis= 0)
cov_X = X.dot(X.T)/X.shape[0]

#等价于
cov_X = np.cov(X.T,rowvar=0) # 计算协方差矩阵，rowvar=0表示数据的每一列代表一个feature

#可直接求出相关系数矩阵
coef_X = no.coffcoef(X_train)

协方差矩阵与相关系数矩阵区别为，相关系数矩阵是将数据标准后求得的协方差矩阵，即在PCA中，当量纲相同时用 协方差矩阵&相关系数矩阵，但是当量纲不同时为了消除不同量纲间的影响（出现大数吃小数现象）,要使用相关系数矩阵

参考资料：概率论与数理统计教程（第三版）