(史上最全讲解)总体方差，样本方差，标准差，抽样方差，标准误差，均方误差，协方差 ...........

文章目录

$数学期望$

$总体和样本$

$1.总体方差$

$2.样本方差$

$3.标准差$

$4.抽样方差$

$5.标准误差$

$6.均方差$

$7.均方误差$

$8.均方根误差$

$9.协方差$

$10.极差$

标题（绿色字体）
公式（红色字体）
公式推导（蓝色字体）
重要部分（紫色字体）
名词解释（黄色字体）

在介绍各种差之前，首先得先了解一下数学期望，简称期望 (用大白话讲就是平均值，但是呢数学是一个非常高雅的学科)，以及总体和样本是什么。

$数学期望$

1.概念:

在概率论和统计学中，数学期望 (mean)（或 均值，亦简称期望）是试验中每次可能结果的 概率 乘以其结果的总和，是最基本的数学特征之一。它反映随机变量 平均取值 的大小。

需要注意的是，期望值并不一定等同于常识中的“期望”——“期望值”也许与每一个结果都不相等。期望值是该变量输出值的 平均数 。期望值并不一定包含于变量的输出值集合里。

大数定律 规定，随着重复次数接近无穷大，数值的算术平均值几乎肯定地收敛于期望值

2. 离散型随机变量的期望：

离散型随机变量的一切可能的取值 $X_i$ 与对应的概率 $p(X_i)$ 乘积之和称为该离散型随机变量的数学期望(若该求和绝对收敛)，则记为 $E(X)$。

若离散型随机变量 $X$ 的取值为 $X_1$ , $X_2$ , $X_3$ , $\dots$ , $X_i$ ，$\dots$ ； $p(X_1)$ , $p(X_2)$ , $p(X_3)$ , $\dots$ , $p(X_i)$ , $\dots$ 则为 $X$ 对应取值的概率。

$$E(X)=X_1\ast p(X_1)+X_2\ast p(X_2)+X_3\ast p(X_3)+\dots +X_i\ast p(X_i)$$

$$E(X)=\sum _{i=1}^{\infty }{X}_i\ast p(X_i)$$

3. 连续型随机变量的期望：

设连续性随机变量X的概率密度函数为 $f(x)$，若积分绝对收敛，则称积分的值 ${\int }_{-\infty }^{\infty }xf(x)\mathrm{d}x$ 为随机变量的数学期望，记为 $E(X)$。

$$E(X)={\int }_{-\infty }^{\infty }xf(x)\mathrm{d}x$$

若随机变量 X 的分布函数 $F(x)$ 可表示成一个非负可积函数 $f(x)$ 的积分，则称 X 为连续性随机变量，$f(x)$ 称为 X 的概率密度函数 (分布密度函数)。

参考百度百科：https://baike.baidu.com/item/%E6%95%B0%E5%AD%A6%E6%9C%9F%E6%9C%9B

$总体和样本$

这里介绍了下基本概念，过多的性质这里就不介绍了，大家感兴趣的话，可以自己去查资料或者看课本，接下来才是重点。

$方差$

概率论中方差用来度量随机变量和其数学期望（均值）之间的偏离程度。
统计中的方差（样本方差）是每个样本值与全体样本值的平均数之差的平方值的平均数。

方差用 $Var(X)$ 或者 $D(X)$ 表示：$$Var(X)=D(X)=E[X-E(X){]}^2=E(X^2)-(EX{)}^2\text{\hspace{1em}(1)}$$

$$\begin{array}{rl}Var(X)& =E[X-E(X){]}^2\\ & =E[X^2-2XE(X)+(EX{)}^2]\\ & =E(X^2)-2(EX{)}^2+(EX{)}^2\\ & =E(X^2)-(EX{)}^2\end{array}$$

$①.总体方差（有偏估计）$

$${\sigma }^2=\frac{{\sum }_{i=1}^N(X_i-\mu {)}^2}{N}$$

${\sigma }^2$ 为总体方差，$N$ 为总体的个数，$X_i$为变量，$\mu$ 为总体均值。

我们中学其实就已经学到了这个标准定义的方差，除数为总体样例的个数 $n$。

$②.样本方差（无偏估计）$

$$S^2=\frac{1}{n-1}\sum _{i=1}^n(X_i-\overline{X}{)}^2$$

$S^2$ 为样本方差，$n（n<<N）$ 为样本的个数，$X_i$ 为变量，$\overline{X}$ 为样本均值。

$实际工作中总体方差{\sigma }^2几乎算不出来，我们一般用S^2代替{\sigma }^2。$

$这里\mu 为什么要用\overline{X}代替呢？$

同理总体均值 $\mu$ 也很难得到，所以只能使用样本均值 $\overline{X}$ 代替，但是这样肯定就会有误差，那么误差是大还是小？又差多少呢 ？这就是下面的问题了。

$为什么样本方差的除数不是n,而是(n-1)呢？$

简单的来说，$\overline{X}$ 是用 $n$ 个样本所求到的平均数，因此样本平均数 $\overline{X}$ 一旦确定下来，就只有 $n-1$ 个数不受约束，第 $n$ 个数已经可以被均值和前面 $n-1$ 个数确定下来了，所以第 $n$ 个数也就没有啥信息量了，没用了（自由度由 $n$ 变成了 $n-1$）

证明：

首先我们并不知道样本方差与总体方差之间的差值, 所以样本方差为
$$\begin{array}{rl}{S}^2& =\frac{1}{n}\sum _{i=1}^n(X_i-\overline{X}{)}^2\\ & =\frac{1}{n}\sum _{i=1}^n[(X_i-\mu )-(\overline{X}-\mu ){]}^2\\ & =\frac{1}{n}\sum _{i=1}^n[(X_i-\mu {)}^2-2(X_i-\mu )(\overline{X}-\mu )+(\overline{X}-\mu {)}^2]\\ & =\frac{1}{n}\sum _{i=1}^n(X_i-\mu {)}^2-\frac{2}{n}(\overline{X}-\mu )\sum _{i=1}^n(X_i-\mu )+\frac{1}{n}\sum _{i=1}^n(\overline{X}-\mu {)}^2\end{array}\text{\hspace{1em}(2)}$$

$(\overline{X}-\mu )$ 为常数，并且
$$(\overline{X}-\mu )=\frac{1}{n}\sum _{i=1}^n{X}_i-\mu =\frac{1}{n}\sum _{i=1}^n{X}_i-\frac{1}{n}\sum _{i=1}^n\mu =\frac{1}{n}\sum _{i=1}^n(X_i-\mu )\text{\hspace{1em}(3)}$$

所以
$$\begin{array}{rl}{S}^2& =\frac{1}{n}\sum _{i=1}^n(X_i-\mu {)}^2-2(\overline{X}-\mu {)}^2+\frac{1}{n}(\overline{X}-\mu {)}^2\sum _{i=1}^{n}1\\ & =\frac{1}{n}\sum _{i=1}^n(X_i-\mu {)}^2-2(\overline{X}-\mu {)}^2+(\overline{X}-\mu {)}^2\\ & =\frac{1}{n}\sum _{i=1}^n(X_i-\mu {)}^2-(\overline{X}-\mu {)}^2\end{array}\text{\hspace{1em}(4)}$$

$如果总体均值\mu 已知，则样本方差[\frac{1}{n}{\sum }_{i=1}^n(X_i-\mu {)}^2]的期望等于总体方差{\sigma }^2$

因此
$$\begin{array}{rl}E(S^2)& =E[\frac{1}{n}\sum _{i=1}^n(X_i-\mu {)}^2-(\overline{X}-\mu {)}^2]\\ & =E[\frac{1}{n}\sum _{i=1}^n(X_i-\mu {)}^2]-E[(\overline{X}-\mu {)}^2]\\ & ={\sigma }^2-E[(\overline{X}-\mu {)}^2]\end{array}$$

$从上式可得，只有当样本均值\overline{X}等于总体均值\mu 时，样本方差的期望才等于总体方差$

最终可推出
$$\begin{array}{rl}E(S^2)& =E[\frac{1}{n}\sum _{i=1}^n(X_i-\overline{X}{)}^2]<=E[\frac{1}{n}\sum _{i=1}^n(X_i-\mu {)}^2]={\sigma }^2\end{array}$$

$由此可见用样本方差估计的话，会低估(小于)总体方差，那又会低估多少呢？$

$$\begin{array}{rl}E(S^2)& =E[\frac{1}{n}\sum _{i=1}^n(X_i-\overline{X}{)}^2]\\ & =E[\frac{1}{n}\sum _{i=1}^n(X_i-\mu {)}^2-(\overline{X}-\mu {)}^2]\\ & =E[\frac{1}{n}\sum _{i=1}^n(X_i-\mu {)}^2]-E[(\overline{X}-\mu {)}^2]\\ & ={\sigma }^2-E[(\overline{X}-\mu {)}^2]\end{array}\text{\hspace{1em}(由(2)(3)(4)式可得)}$$

$由于样本均值的期望等于总体均值，则可推出$

$$\begin{array}{rl}E[(\overline{X}-\mu {)}^2& =E[(\overline{X}-E(\overline{X}){)}^2\\ & =Var(\overline{X})\\ & =Var[\frac{1}{n}\sum _{i=1}^n{X}_i]\\ & =\frac{1}{n^2}Var[\sum _{i=1}^n{X}_i]\\ & =\frac{1}{n^2}\sum _{i=1}^{n}Var(X_i)\\ & =\frac{n\sigma }{n^2}\\ & =\frac{\sigma }{n}\end{array}\text{\hspace{1em}(由(1)式可得)}$$
最终可推出

$$\begin{array}{r}E(S^2)={\sigma }^2-\frac{\sigma }{n}=\frac{n-1}{n}{\sigma }^2\end{array}$$

$由此可见低估了\frac{1}{n}{\sigma }^2$

再将式子经过恒等变形

$$\begin{array}{r}\frac{n}{n-1}E(S^2)={\sigma }^2\\ \frac{n}{n-1}\ast \frac{1}{n}\sum _{i=1}^n(X_i-\overline{X}{)}^2={\sigma }^2\\ \frac{1}{n-1}\sum _{i=1}^n(X_i-\overline{X}{)}^2={\sigma }^2\end{array}$$

因此可以用以下式子对总体方差进行估算，也就是最终样本方差的除数是 $n-1$ 的原因
$$\begin{array}{r}{S}^2=\frac{1}{n-1}\sum _{i=1}^n(X_i-\overline{X}{)}^2\end{array}$$

参考链接：https://www.zhihu.com/question/20099757
https://blog.csdn.net/Frankgoogle/article/details/80260969

至于上面谈到的有偏估计和无偏估计怎么理解，这里就不细说了，有兴趣的同学可以看看这个链接：https://www.zhihu.com/question/22983179

$③.标准差（均方差，记作SD）$

随机变量 $X$ 标准差定义

$$\sigma =\sqrt{E[X-E(X){]}^2}=\sqrt{E(X^2)-(EX{)}^2}$$
总体方差对应的标准差

$$\sigma =\sqrt{\frac{{\sum }_{i=1}^N(X_i-\mu {)}^2}{N}}$$

样本方差对应的标准差

$$S=\sqrt{\frac{{\sum }_{i=1}^n(X_i-\overline{X}{)}^2}{n-1}}$$

$④.抽样方差（样本均值的方差）$

假如我们的总体容量为 $N$，我们将分成 $k$ 个样本，设其中一个样本的容量为 $n$ 。

我们前面讲到的样本方差是将容量为 $n$ 的样本作为一个整体，样本中的第 $1,2,3,\dots ,n$ 个体作为变量所求的方差。

这里我们则是将一个样本的均值定义为一个变量（样本均值记为 $\overline{Y}$，$\overline{Y}$ 做为一个随机变量），$k$ 个样本均值作为一个整体，最后求到 $\overline{Y}$ 的总体方差，也就是抽样方差。

$⑤.标准误差（标准误，样本均值的标准误差）$

$\overline{Y}的总体标准差称为标准误差（就是抽样方差开个根号），记作SE(\overline{Y})。$

抽样方差和总体方差的关系

$如果已知总体的标准差({\sigma }^2)，那么抽取无限多份大小为n的样本,$

$每个样本各有一个平均值，所有样本平均值的方差可证明为$

$（注意！不是一份样本里观察值的方差（那是S^2））$

$${\sigma }_{\overline{Y}}^2=\frac{{\sigma }^2}{n}$$

在现实中人们更喜欢用两边的算术平方根

$$SD(\overline{Y})={\sigma }_{\overline{Y}}=\frac{\sigma }{\sqrt{n}}$$

由于 $\sigma$ 在现实中往往很难得到，所以通常用 $S$（样本的标准差）来代替

$$SE(\overline{Y})=\frac{S}{\sqrt{n}}$$

${\sigma }_{\overline{Y}}^2:样本均值的方差$

$SD(\overline{Y}):样本均值的标准“差”$

$SE(\overline{Y}):样本均值的标准“误”$

参考：https://zhuanlan.zhihu.com/p/106706044
https://zh.wikipedia.org/zh-hans/%E6%A0%87%E5%87%86%E8%AF%AF%E5%B7%AE

总结一下

$因为每进行一次抽样就能得到一个样本均值\overline{Y}，所以\overline{Y}同样是一个随机变量。$

$这个新随机变量的总体方差叫做“抽样方差”（SamplingVariance），$

$这个新随机变量的总体标准差叫做“标准误”（StandardError）。$

具体怎么应用这里就不细说 $\dots$ 篇幅有限，大家有兴趣的话可以自己去去找找资料。

$⑥.均方差（也称标准差，上面说过了）$

$⑦.均方误差（记作：MSE）$

均方误差：各个数据估计值偏离数据真实值的平方和的平均数（误差平方和的平均数）

$$MSE=\frac{{\sum }_{i=1}^n(X_i-x_i)}{n}$$

$X_i:数据的估计值$

$x_i:数据的真实值$

均方误差在机器学习中可以当作模型的损失函数，用来预测和回归。均方误差越小，模型预测的正确率越高，反之正确率则越低。

$⑧.均方根误差（记作：RMSE）$

均方误差的算术平方根

$$RMSE=\sqrt{\frac{{\sum }_{i=1}^n(X_i-x_i)}{n}}$$

$⑨.协方差$

维基百科定义：在概率论和统计学中，协方差（Covariance）用于衡量两个随机变量的联合变化程度。而方差是协方差的一种特殊情况，即变量与自身的协方差。

$为什么说方差是协方差的特殊情况呢？$

前面我们讲到了方差的表达式

$$Var(X)=E[X-E(X){]}^2=E[X-E(X)][X-E(X)]$$

根据定义，协方差是衡量两个随机变量的联合变化程度，设两个随机变量分别为$X,Y$。
协方差为

$$Cov(X,Y)=E[X-E(X)][Y-E(Y)]$$

协方差表示的是两个变量的总体的误差；当 $X=Y$ 时，表示的就是只有一个变量总体的误差的方差，所以方差是协方差中两个随机变量相等时的一种特殊情况。

$$\begin{array}{rl}Cov(X,Y)& =E[X-E(X)][Y-E(Y)]\\ & =E[XY-XE(Y)-YE(X)+E(X)E(Y)]\\ & =E(XY)-E(X)E(Y)-E(X)E(Y)+E(X)E(Y)\\ & =E(XY)-E(X)E(Y)\end{array}$$

一般我们都会用 $E(XY)-E(X)E(Y)$ 来计算协方差

性质：

$1.Cov(X,X)=Var(X)$

$2.Cov(X,Y)=Cov(Y,X)$

$3.Cov(aX,bY)=abCov(X,Y)$

对于随机变量序列 $X_1,...,X_n$ 与 $Y_1,...,Y_m$，有

$4.Cov({\sum }_{i=1}^n{X}_i,{\sum }_{j=1}^n{Y}_j)={\sum }_{i=1}^n{\sum }_{j=1}^{n}Cov(X,Y)$

$5.Cov(X,k_1{Y}_1+k_2{Y}_2+\dots +k_n{Y}_n)=k_{1}Cov(X,Y_1)+\cdots +k_{n}Cov(X,Y_n)$

$6.X,Y变化方向相同时（比如同时变大或者同时变小），协方差为正。$

$7.X,Y变化方向不相同时（比如同一个变大，另一个变小），协方差为负。$

$8.当X,Y独立时，Cov(X,Y)=0$

因为当 $X,Y$ 独立时，则有 $E(XY)=E(X)E(Y)$，所以 $Cov(X,Y)=0$。但是反过来协方差等于 0 ，$X,Y$ 并不一定独立。

$⑩.极差（全距）$

这个最简单了，就是最大值减去最小值的差值

有什么遗漏或者错误的地方欢迎大家指正！！！