偏差、方差、标准差、协方差

---

1 期望值（Expectation）

一件事情有n种结果，每一种结果值为$x_i$，发生的概率记为$p_i$，那么该事件发生的期望为：

$$E=\sum _{i=1}^n{x}_i{p}_i$$

---

2 偏差（Bias）

定义： 描述的是预测值（估计值）的期望与真实值之间的差距。偏差越大，越偏离真实数据。
$$S^2=\frac{1}{n}\sum _{i=1}^n{(y_i-f(x_i))}^2$$
$y_i$ 表示预测值，$f(x_i)$ 表示真实值。 偏差描述了准确性。

---

3 方差（Variance）

3.1 总体方差（Population Variance）

定义： 描述的是预测值的变化范围，离散程度，也就是离其期望值的距离。方差越大，数据的分布越分散。

$${\sigma }^2=E[(X-\mu {)}^2]$$
其中： $\mu$ 为全体平均数。方差描述了稳定性。

注：
上面的式子需要知道 $X$的具体分布是什么（在现实应用中往往不知道准确分布），计算起来也比较复杂。

3.2 样本方差（Sample Variance）

定义： 在真实世界中，除非在某些特殊情况下，找到一个总体的真实的方差是不现实的。因此，从总体中取出$n$个样本 ，用各样本值与样本算数平均数的离差平方的平均数对${\sigma }^2$进行估计。

有偏估计： 现实中往往并不清楚$X$服从什么分布，但若知道$\mu$的真值，则可对 $X$采样，并通过下式来估计${\sigma }^2$：
$$S^2=\frac{1}{n}\sum _{i=1}^n{(X_i-\mu )}^2$$
无偏估计： 更多的情况，我们不知道$\mu$是多少的，只能计算出 $\overline{X}$。用下式子进行估计，得到的样本方差是总体方差的无偏估计。
$$S^2=\frac{1}{n-1}\sum _{i=1}^n{(X_i-\overline{X})}^2$$
推导过程参见为什么样本方差（sample variance）的分母是 n-1？

---

4 标准差（Deviation）

4.1 总体标准差（Population Standard Deviation）

定义： 标准差为方差的算术平方根，能反映数据的离散程度。
$$\sigma =\sqrt{D(X)}$$

注：
$D(X)$为总体方差。

4.2 样本标准差（Sample Standard Deviation）

定义： 即样本方差的算术平方根。

有偏估计：
$$S=\sqrt{\frac{{\sum }_{i=1}^n{(X_i-\overline{X})}^2}{n}}$$

无偏估计：
$$S=\sqrt{\frac{{\sum }_{i=1}^n{(X_i-\overline{X})}^2}{n-1}}$$

---

5 协方差（Covariance）

5.1 协方差（Covariance）

定义： 协方差代表了两个变量之间的关系。如果 协方差为正值，说明两个变量呈正相关；如果协方差为负值，则两个变量呈负相关；若 协方差为0，两个变量相互独立。
        期望值分别为 $E(X)$ 和 $E(Y)$ 的两个实随机变量 $X$ 和 $Y$ 之间的协方差 $Cov(X,Y)$ 定义为：
$$\begin{array}{rl}Cov(X,Y)& =E[(X-E[X])(Y-E[Y])]\\ & =E[XY]-2E[Y]E[X]+E[X]E[Y]\\ & =E[XY]-E[X]E[Y]\end{array}$$
计算公式：
$$\sigma (X,Y)=\frac{1}{n-1}\sum _{i=1}^n(X_i-\overline{X})(Y_i-\overline{Y})$$

注：
方差是一种特殊的协方差。当X=Y时：$Cov(x,y)=D(X)=D(Y)$

直观理解:
        协方差表示的是两个变量总体误差的方差，这与只表示一个变量误差的方差不同。两个变量在变化过程中是同方向变化？还是反方向变化？同向或反向程度如何？
        $X$变大，同时$Y$也变大，说明两个变量是同向变化的，这时协方差就是正的。
        $X$变大，同时$Y$变小，说明两个变量是反向变化的，这时协方差就是负的。
        从数值来看，协方差的数值越大，两个变量同向程度也就越大。反之亦然。

5.2 协方差矩阵（Covariance Matrix）

概念： 设 为$n$维随机变量$X=(X_1,X_2,...X_N{)}^T$，称矩阵

为$n$维随机变量$X$的协方差矩阵（covariance matrix），也记为$D(X)$ ，其中

为$X$的分量$X_i$和$X_j$的协方差（设它们都存在）。

注：
上述矩阵中，对角线上的元素为各个随机变量的方差，非对角线上的元素为两两随机变量之间的协方差，根据协方差的定义，我们可以认定协方差矩阵为对称矩阵(symmetric matrix)，其大小为$n\times n$（即方阵）。

参考如何直观地理解「协方差矩阵」？

5.3 相关系数

概念： 就是用 $X$、$Y$ 的协方差除以 $X$ 的标准差和 $Y$ 的标准差。
$$\begin{array}{rl}{\rho }_{xy}& =r(X,Y)\\ & =\frac{Cov(X,Y)}{{\sigma }_X{\sigma }_Y}\\ & =\frac{{\sum }_{i=1}n(X_i-\overline{X})(Y_i-\overline{Y})}{\sqrt{{\sum }_{i=1}^n(X_i-\overline{X}{)}^2}\sqrt{{\sum }_{i=1}^n(Y_i-\overline{Y}{)}^2}}\end{array}$$

性质:

1. 有界性
   相关系数的取值范围为-1到1，其可以看成是无量纲、标准化后的协方差。
2. 统计意义
   值越接近1，说明两个变量正相关性（线性）越强，越接近-1，说明负相关性越强，当为0时表示两个变量没有相关性。
   参考如何通俗易懂地解释「协方差」与「相关系数」的概念？