数据分析中常用的指标或方法

一、方差与标准差

总体方差
$$Var(x)={\sigma }^2=\frac{\sum _{i=1}^n(x_i-\bar{x}{)}^2}{n}=\frac{\sum _{i=1}^n{x}_i^2-n{\bar{x}}^2}{n}=E(x^2)-[E(x){]}^2$$

样本方差
$$Var(x)=s^2=\frac{\sum _{i=1}^n(x_i-\bar{x}{)}^2}{n-1}=\frac{\sum _{i=1}^n{x}_i^2-n{\bar{x}}^2}{n-1}$$

标准差
$$SD(x)=\sigma |s=\sqrt{Var(x)}$$

方差用来衡量随机变量离其期望值的分散程度，标准差在方差的基础上消除了量纲的影响。

二、协方差

总体协方差
$$Cov(x,y)=\frac{\sum _{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{n}=\frac{\sum _{i=1}^n{x}_i{y}_i-n\bar{x}\bar{y}}{n}$$

样本协方差
$$Cov(x,y)=\frac{\sum _{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{n-1}=\frac{\sum _{i=1}^n{x}_i{y}_i-n\bar{x}\bar{y}}{n-1}$$

对协方差公式的直观理解：以$(\bar{x},\bar{y})$为坐标原点，计算各个点到原点构成的矩形面积之和，然后除以n-1。其中一三象限面积为正，二四象限面积为负。

协方差的含义可以从以下几个方面理解：

• 正值和负值： 协方差为正表示两个变量呈正相关关系，即一个变量增大，另一个变量也倾向于增大；协方差为负表示两个变量呈负相关关系，即一个变量增大，另一个变量倾向于减小。
• 绝对值的大小： 协方差的绝对值大小表示变量之间的线性关系的强度。绝对值越大，说明两个变量之间的线性关系越强；绝对值越小，说明关系越弱。
• 零值： 协方差为零表示两个变量之间没有线性关系。但需要注意，协方差为零并不意味着两个变量之间没有其他类型的关系，只是没有线性关系。
• 单位： 协方差的单位是两个变量单位的乘积，即结果受量纲的影响。

直观理解可以参考https://www.youtube.com/watch?v=J9pXAfd_Kmc

三、皮尔逊系数

公式1
$$r=\frac{\sum (x_i-\bar{x})(y_i-\bar{y})}{\sqrt{\sum (x_i-\bar{x}{)}^2\sum (y_i-\bar{y}{)}^2}}=\frac{Cov(x,y)}{{\sigma }_x{\sigma }_y}$$

公式2
$$r=\frac{\frac{1}{n}\sum _{i=1}^n{x}_i{y}_i-\bar{x}\bar{y}}{{\sigma }_x{\sigma }_y}$$

公式1表明皮尔逊系数其实就是x, y的协方差与x, y各自标准差的乘积之比。皮尔逊系数的值域范围为[-1, 1]，不受量纲的影响。

下面分别给出值域的证明和公式1–>公式2的推导。

（1）值域证明：

1. 令 $x_i-\bar{x}=a_i，y_i-\bar{y}=b_i$，则公式1=$\frac{\sum a_i{b}_i}{\sqrt{\sum {a_i}^2\sum {b_i}^2}}$
2. 根据柯西不等式的一般形式有：$\sum _{i=1}^n{a}_i^2\sum _{i=1}^n{b}_i^2\ge (\sum _{i=1}^n{a}_i{b}_i{)}^2$
3. 由1、2知道原式中的分子$\sum a_i{b}_i$的绝对值必小于等于分母$\sqrt{\sum {a_i}^2\sum {b_i}^2}$，所以对应值域[-1,1]

看到一个关于柯西不等式的证明很有意思，分享下。原地址https://zhuanlan.zhihu.com/p/397034475

（2）公式1–>公式2推导：
$$\begin{array}{rl}r& =\frac{\sum (x_i-\bar{x})(y_i-\bar{y})}{\sqrt{\sum (x_i-\bar{x}{)}^2\sum (y_i-\bar{y}{)}^2}}\\ & =\frac{\sum (x_i{y}_i-\bar{x}{y}_i-x_i\bar{y}+\bar{x}\bar{y})}{\sqrt{\sum (x_i^2-2x_i\bar{x}+{\bar{x}}^2)\sum (y_i^2-2y_i\bar{y}+{\bar{y}}^2)}}\\ & =\frac{\sum x_i{y}_i-n\bar{x}\bar{y}-n\bar{x}\bar{y}+n\bar{x}\bar{y}}{\sqrt{(\sum x_i^2-2n{\bar{x}}^2+n{\bar{x}}^2)(\sum y_i^2-2n{\bar{y}}^2+n{\bar{y}}^2)}}\\ & =\frac{\sum x_i{y}_i-n\bar{x}\bar{y}}{\sqrt{(\sum x_i^2-n{\bar{x}}^2)(\sum y_i^2-n{\bar{y}}^2)}}\end{array}$$
分子分母除以n，结合上面方差的公式即可证明。

四、斯皮尔曼系数

斯皮尔曼系数的计算和皮尔逊系数相同，唯一区别只是将皮尔逊系数中的原始值替换为了原始值所对应的秩（序号）。

假设有两个$(x,y)$的变量，对应的顺序编号为$(R(x),R(y))$，将$(R(x),R(y))$当做$(x,y)$代入到皮尔逊系数公式则得到斯皮尔曼系数的一般计算公式：
$$\rho =\frac{\sum (R(x_i)-\overline{R(x_i)})(R(y_i)-\overline{R(y_i)})}{\sqrt{\sum (R(x_i)-\overline{R(x_i)}{)}^2\sum (R(y_i)-\overline{R(y_i)}{)}^2}}=\frac{Cov(R(x),R(y))}{{\sigma }_{R(x)}{\sigma }_{R(y)}}$$

当$x,y$中均不包含重复值时，可以使用下面的简单公式计算：
$$r=1-\frac{6\sum d_i^2}{n(n^2-1)}$$

其中$d_i=R(x_i)-R(y_i)$，表示$x,y$之间的序号差。下面先举个例子了解实际如何计算，再给出一般公式到简单公式的证明。

（1）实际计算
这里直接拿维基百科上的截图，下面的数据中，$X,Y$分别表示智商和每周看电视的时间。

接下来先根据$X_i$进行排序，得到rank$x_i$，再在$X_i$排完序的基础上，对$Y_i$进行排序，得到rank$y_i$，然后分别计算它们之间的序号差$d_i$和$d_i^2$。

最后代入到公式$1-\frac{6\sum d_i^2}{n(n^2-1)}$得到$r=1-\frac{6\ast 194}{10(10^2-1)}\approx -0.1758$。

简单公式只适用于$X_i,Y_i$中均无重复值的情况，任一列有重复值使用简单公式计算的结果就会有偏差。至于为什么有偏差，可以从下面（2）中的公式推导看出。

当有重复值时，一般采用平均顺序作为所有重复值的序号，例如对于序列[1, 1, 1, 2, 3]，1的序号为(1+2+3)/3，均为2。原序列对应的序号为[2, 2, 2, 4, 5]，经过验证在pandas的corr方法中采用的就是平均顺序计算。

（2）一般公式到简单公式的推导
推导可以从皮尔逊系数的计算公式2开始，只不过这里的$x_i,y_i$代表的不是原值，而是原值对应的秩。下面推导过程中的前置条件为：$x_i,y_i$均服从类似1, 2, 3, 4, …这样的分布，均为正整数且不含重复值，因为这里的$x_i,y_i$表示的是序号。这就要求原值中不能包含重复值。
$$\begin{array}{rl}\rho & =\frac{\frac{1}{n}\sum _{i=1}^n{x}_i{y}_i-\bar{x}\bar{y}}{{\sigma }_x{\sigma }_y}\\ & =\frac{\frac{1}{n}\sum _{i=1}^n\frac{1}{2}(x_i^2+y_i^2-d_i^2)-{\bar{x}}^2}{{\sigma }_x{\sigma }_y}\\ & =\frac{\frac{1}{2n}\sum _{i=1}^n{x}_i^2+\frac{1}{2n}\sum _{i=1}^n{y}_i^2-\frac{1}{2n}\sum _{i=1}^n{d}_i^2-{\bar{x}}^2}{{\sigma }_x{\sigma }_y}\\ & =\frac{(\frac{1}{n}\sum _{i=1}^n{x}_i^2-{\bar{x}}^2)-\frac{1}{2n}\sum _{i=1}^n{d}_i^2}{{\sigma }_x{\sigma }_y}\\ & =\frac{{\sigma }_x^2-\frac{1}{2n}\sum _{i=1}^n{d}_i^2}{{\sigma }_x{\sigma }_y}\\ & =\frac{{\sigma }_x{\sigma }_y-\frac{1}{2n}\sum _{i=1}^n{d}_i^2}{{\sigma }_x{\sigma }_y}\\ & =1-\frac{\frac{1}{2n}\sum _{i=1}^n{d}_i^2}{{\sigma }_x{\sigma }_y}\\ & =1-\frac{\frac{1}{2n}\sum _{i=1}^n{d}_i^2}{\frac{1}{n}\sum _{i=1}^n{x}_i^2-{\bar{x}}^2}\end{array}$$

其中$\sum _{i=1}^n{x}_i^2=1^2+2^2+3^2+...+n^2=\frac{n(n+1)(2n+1)}{6}$（金字塔数），${\bar{x}}^2=(\frac{1+n}{2}{)}^2$，代入上面得到$\rho =1-\frac{6\sum d_i^2}{n(n^2-1)}$。

斯皮尔曼系数值域同样为[-1, 1]，因为本身的计算还是基于皮尔逊系数公式。

参考https://en.wikipedia.org/wiki/Spearman%27s_rank_correlation_coefficient