[数学基础知识] 协方差和相关系数以及使用pandas进行自动计算

在研究两组数据之间的关联性时会用到的一些概念。

1. 协方差(Covariance) 和协方差矩阵

协方差表示的是两个变量的总体的误差，这与只表示一个变量误差的方差不同。 如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值，另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值。 如果两个变量的变化趋势相反，即其中一个大于自身的期望值，另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。

期望值分别为E[X]与E[Y]的两个实随机变量X与Y之间的协方差Cov(X,Y)定义为：

举例：

Apple	Orange
1	2
0	3
2	0
1	1

$E(Apple)=\overline{Apple}=(1+0+2+1)/4=1$
$E(Orange)=\overline{Orange}=(2+3+0+1)/4=3/2$

Apple	Orange	Apple-$\overline{Apple}$	Orange-$\overline{Orange}$
1	2	0	0.5
0	3	-1	1.5
2	0	1	-1.5
1	1	0	0.5

$Cov(Apple,Orange)=[0\ast 0.5+(-1)\ast 1.5+1\ast (-1.5)+0\ast 0.5]/(4-1)=3/3=1$
协方差只能研究两组数据之间的关系，当要研究多组数据之间的关系时就要用到协方差矩阵。
举例：

Apple	Orange	Peach
1	2	4
0	3	2
2	0	2
1	1	2

使用协方差公式求得：
$Cov(Apple,Apple)=2/3$
$Cov(Orange,Orange)=5/3$
$Cov(Peach,Peach)=1$
$Cov(Apple,Orange)=-1$
$Cov(Apple,Peach)=0$
$Cov(Orange,Peach)=1/6$

-	Apple	Orange	Peach
Apple	2/3	-1	0
Orange	-1	5/3	1/6
Peach	0	1/6	1

使用pandas可以非常方便的计算协方差矩阵，以上列子使用pandas来计算的代码如下：

a = pd.DataFrame([(1.0, 2.0, 4.0), (0, 3.0, 2.0), (2.0, 0, 2.0), (1.0, 1.0, 2.0)],
                  columns=['Apple', 'Orange', 'Peach'])
a.cov()

得到的输出如下

2. 相关系数

相关系数是最早由统计学家卡尔·皮尔逊设计的统计指标，是研究变量之间线性相关程度的量，一般用字母 r 表示。由于研究对象的不同，相关系数有多种定义方式，较为常用的是皮尔逊相关系数。
相关系数是用以反映变量之间相关关系密切程度的统计指标。相关系数是按积差方法计算，同样以两变量与各自平均值的离差为基础，通过两个离差相乘来反映两变量之间相关程度；着重研究线性的单相关系数。
皮尔逊相关系数的值在[-1,1]之间，大于零是正相关，小于零则表示负相关，其值越接近于1或-1则表示关系越紧密，越接近于零则表示其相关性越小。

相关系数计算公式：

$Var[X]$和$Var[Y]$分布是$X，Y$的方差。
由上图可以看到相关系数其实是在协方差的基础上进行计算的。
还是以之前的例子为例，我们来计算他们的相关系数。
我们先来求每个变量的方差
$Var(Apple)=\frac{(1-1{)}^2+(0-1{)}^2+(2-1{)}^2+(1-1{)}^2}{4-1}=2/3$
$Var(Orange)=\frac{(2-1.5{)}^2+(3-1.5{)}^2+(0-1.5{)}^2+(1-1.5{)}^2}{4-1}=5/3$
$Var(Peach)=(4-2.5{)}^2+(2-2.5{)}^2+(2-2.5{)}^2+(2-2.5{)}^2=1$
使用协方差公式求得：
$Corr(Apple,Apple)=\frac{Cov(Apple,Apple)}{\sqrt{Var(Apple)\ast Var(Apple)}}=\frac{2/3}{\sqrt{2/3\ast 2/3}}=1$
$Corr(Orange,Orange)=\frac{Cov(Orange,Orange)}{\sqrt{Var(Orange)\ast Var(Orange)}}=\frac{5/3}{\sqrt{5/3\ast 5/3}}=1$
$Corr(Peach,Peach)=\frac{Cov(Peach,Peach)}{\sqrt{Var(Peach)\ast Var(Peach)}}=\frac{1}{\sqrt{1\ast 1}}=1$
$Corr(Apple,Orange)=\frac{Cov(Apple,Orange)}{\sqrt{Var(Apple)\ast Var(Orange)}}=\frac{-1}{\sqrt{2/3\ast 5/3}}=3/\sqrt{10}=0.9487$
$Corr(Apple,Peach)=\frac{Cov(Apple,Peach)}{\sqrt{Var(Apple)\ast Var(Peach)}}=0$
$Corr(Orange,Peach)=\frac{Cov(Orange,Peach)}{\sqrt{Var(Orange)\ast Var(Peach)}}=\frac{1/6}{\sqrt{5/3\ast 1}}=0.2582$

由此我们可以得到相关系数表如下：

-	Apple	Orange	Peach
Apple	1	-0.9487	0
Orange	-0.9487	1	0.2582
Peach	0	0.2582	1

你会发现所有元素和自己的相关系数都是1，即关系最为紧密。

使用pandas可以非常方便的计算协方差矩阵，以上列子使用pandas来计算的代码如下：

a = pd.DataFrame([(1.0, 2.0, 4.0), (0, 3.0, 2.0), (2.0, 0, 2.0), (1.0, 1.0, 2.0)],
                  columns=['Apple', 'Orange', 'Peach'])
a.corr()