数学期望、方差、标准差、协方差、残差、均方差、均方误差、均方根误差、均方根值对比分析及python实现

---

内容较多，如有错误之处请评论区留言以便更正，内容仅供参考。

---

---

期望（Expected value）

数学期望在概率论和统计学中是指试验中每次可能结果的概率乘以其结果的总和，描述一个随机事件中的随机变量的平均值的大小可以用数学期望这个概念。它反映随机变量平均取值的大小。

另外大数定律规定，随着重复次数接近无穷大，数值的算术平均值几乎肯定地收敛于期望值。

意义

数学期望可以用于预测一个随机事件的平均预期情况。

定义

离散型

如果随机变量只取得有限个值，或者虽然取值无穷但能按一定次序一一列出，其值域为一个或若干个有限或无限区间，这样的随机变量称为离散型随机变量。例如，一次掷20个硬币，$k$个硬币正面朝上，$k$是随机变量。$k$的取值只能是自然数0，1，2，…，20。

离散型随机变量的一切可能的取值$x_i$与对应的概率$p\left(x_i\right)$乘积之和称为该离散型随机变量的数学期望，记为$E(x)$。它是简单算术平均的一种推广，类似加权平均。离散型随机变量X的取值为$x_1,x_2,x_3,\dots ,x_n$，$p\left(x_1\right),p\left(x_2\right),p\left(x_3\right),\dots ,p\left(x_n\right)$为$X$对应取值的概率，可理解为数据$x_1,x_2,x_3,\dots ,x_n$出现的频率$f\left(x_i\right)$，则：$$E(x)=x_1\ast p\left(x_1\right)+x_2\ast p\left(x_2\right)+\dots +x_n\ast p\left(x_n\right)=x_1\ast f\left(x_1\right)+x_2\ast f\left(x_2\right)+\dots +x_n\ast f\left(x_n\right)$$ 进一步得到：$$E(x)=\sum _{k=1}^n{x}_{k}p\left(x_k\right)$$

连续型

如果变量可以在某个区间内取任一实数，即变量的取值可以是连续的，这随机变量就称为连续型随机变量，连续型随机变量与离散型随机变量都是由随机变量取值范围(取值)确定，例如，公共汽车每15分钟一班，某人在站台等车时间$x$是个随机变量，$x$的取值范围是[0,15），它是一个区间，从理论上说在这个区间内可取任一实数。

设连续性随机变量$X$的概率密度函数为$f(x)$，若积分绝对收敛，其数学期望为：$$E(x)={\int }_{-\infty }^{+\infty }xf(x)\mathrm{d}x$$

期望与平均值的区别

均值是针对实验观察到的特征样本而言的。比如我们实验结果得出了$x_1,x_2,x_3,\dots ,x_n$这$n$个值，那么我们的均值计算是：$$\bar{X}=\frac{x_1+x_2+x_3+\dots +x_n}{n}$$

比如我们进行掷骰子，掷了六次，点数分别为2，2，2，4，4，4，这六次的观察就是我们的样本，于是我们可以说均值为(2+2+2+4+4+4)/6=3。这里就不能说期望是3。

期望是针对于随机变量而言的一个量，可以理解是一种站在“上帝视角”的值。是针对于他的样本空间而言的。

均值是一个统计量(对观察样本的统计)，期望是一种概率论概念，是一个数学特征。

还是以上面那个掷骰子案例为例子，对应的期望求法如下：$$\mathrm{E}(X)=1\cdot \frac{1}{6}+2\cdot \frac{1}{6}+3\cdot \frac{1}{6}+4\cdot \frac{1}{6}+5\cdot \frac{1}{6}+6\cdot \frac{1}{6}=\frac{1+2+3+4+5+6}{6}=3.5$$ 均值和期望可以依据大数定理联系起来，可得出结论：

• 概率是频率随样本趋于无穷的极限
• 期望就是平均数随样本趋于无穷的极限（参考掷骰子的例子，如果掷了无数次的骰子，然后将其中的点数进行相加并除以他们掷骰子的次数得到均值，这个有无数次样本得出的均值就趋向于期望）

---

方差（Variance)

除了期望，方差(variance)是另一个常见的分布描述量。如果说期望表示的是分布的中心位置，那么方差就是分布的离散程度。方差是在概率论和统计方差衡量随机变量或一组数据时离散程度的度量，方差越大，说明随机变量取值越离散。，方差在统计描述和概率分布中有不同的定义和计算公式。

案例

假设有这么两个集合：[0,8,12,20]和[8,9,11,12]，这两个集合对应均值都是10，但显然两者的差别很大，通过计算方差即可得出二者的差异：第一个集合表现的比较动荡，第二个集合表现比较平稳。

概率论方差

概率论中方差用来度量随机变量和其数学期望（即均值）之间的偏离程度。

设$X$是一个离散型随机变量，若 $E\left((X-E(X){)}^2\right)$ 存在，则称它为 $X$ 的方差，记为$D(X)$，$\mathrm{Var}(X)$ 或 $DX$，其中$E(X)$是$X$的期望值，$X$是变量值。

离散型随机变量方差计算公式：$$D(X)=E\left((X-E(X){)}^2\right)=E\left(X^2\right)-(E(X){)}^2$$ 若其定义域为(a,b)，概率密度函数为$f(x)$，连续型随机变量方差计算公式：$$D(X)={\int }_a^b(x-\mu {)}^{2}f(x)dx$$

统计学方差

统计中的方差(样本方差)是每个样本值与全体样本均值之差的平方值的平均数，代表每个变量（观察值）与总体均值间的离散程度。为避免出现离均差总和为零，另外离均差平方和会受样本含量的影响，所以统计学上采用平均离均差平方和来描述变量的变异程度。

总体方差计算公式为:$${\sigma }^2=\frac{{\sum }_{i=1}^N(X_i-\mu {)}^2}{N}$$ 其中${\sigma }^2$为总体方差，$X$为变量，$\mu$为总体均值，$N$为总体例数。

样本方差

由于在实际环境中没有办法穷举所有例子， 所以只能找出部分样本数据，基于这部分样本进行测算。用下面的$S^2$来近似${\sigma }^2$，另外实际应用中，往往连 $X$ 的期望 $\mu$ 也不清楚，所以往往用样本数据的均值来替代，首先求取样本数据总体均值：$$\bar{X}=\frac{x_1+x_2+x_3+\dots +x_n}{n}$$ 然后有：$$S^2=\frac{{\sum }_{i=1}^n{\left(X_i-\bar{X}\right)}^2}{n-1}$$ 其中$S^2$为样本的方差， $n$为样本的个数。

此处，将分母由 $n$ 变成 $n-1$ 是因为这样能使我们以较小的样本集更好地逼近总体的标准差，保证方差的估计是无偏的，具体的分析过程可以看为什么样本方差（sample variance）的分母是 n-1？

python实现代码

# -*- coding: utf-8 -*-

import math


def get_average(records):
    """
    平均值
    """
    return sum(records) / len(records)


def get_variance(records):
    """
    方差
    """
    average = get_average(records)
    return sum([(x - average) ** 2 for x in records]) / len(records)

---

标准差（Standard Deviation)

标准差也被称为标准偏差，在中文环境中又常称均方差，是数据偏离均值的平方和平均后的方根，用$\sigma$表示。标准差是方差的算术平方根。标准差能反映一个数据集的离散程度。

求取总体标准差: $$\sigma =\sqrt{方差}=\sqrt{\frac{1}{N}\sum _{i=1}^N{\left(X_i-\mu \right)}^2}$$ 其中， $\mu$ 代表总体$X$的均值。

求取样本标准差：$$S=\sqrt{\frac{1}{n-1}\sum _{i=1}^n{\left(X_i-\bar{X}\right)}^2}$$

方差和标准差的区别

由于方差出现了平方项造成量纲的倍数变化，造成与我们要处理的数据的量纲不一致，多了个平方，虽然能很好的描述数据与均值的偏离程度，但是处理结果是不符合我们的直观思维的。 比如身高（cm）的方差，变成了身高的平方，无法直观反映身高（cm）的偏离程度。而标准差的根号就抵消了这个平方，就能相对直观了描述数据与均值之间的偏离程度，在描述一个波动范围时标准差比方差更方便。标准偏差越小，这些值偏离平均值就越少，反之亦然。

python实现代码

# -*- coding: utf-8 -*-

import math

def get_standard_deviation(records):
    """
    标准差 == 均方差
    """
    variance = get_variance(records)
    return math.sqrt(variance)

---

协方差（Covariance）

定义

方差和标准差一般是用来描述一维数据的，但现实生活中我们常常会遇到含有多维数据的数据集，比如说上学时统计的多个学科的考试成绩。面对这样的数据集，我们当然可以按照每一维独立计算其方差，但是通常我们还想了解更多，比如，学生的数学成绩与英语成绩是否存在一些联系。协方差就是这样一种用来度量两个随机变量关系的统计量，在概率论和统计学中用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况，即当两个变量是同一个或者相同时的特殊情况。协方差表示的是两个变量的总体的误差，这与只表示一个变量误差的方差不同。 如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值，另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值。 如果两个变量的变化趋势相反，即其中一个大于自身的期望值，另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。我们可以仿照方差的定义：$$\mathrm{var}(\mathrm{X})=\frac{{\sum }_{i=1}^n\left(X_i-\bar{X}\right)\left(X_i-\bar{X}\right)}{n-1}$$ 来度量各个维度偏离其均值的程度，协方差可以这样来定义：$$\mathrm{cov}(\mathrm{X},\mathrm{Y})=\frac{{\sum }_{i=1}^n\left(X_i-\bar{X}\right)\left(Y_i-\bar{Y}\right)}{n-1}$$ $\mathrm{cov}(\mathrm{X},\mathrm{Y})$为$X$，$Y$的协方差。

从协方差的定义上可以看出一些性质，如：

• $\mathrm{cov}(\mathrm{X},\mathrm{X})=\mathrm{var}(\mathrm{X})$
• $\mathrm{cov}(\mathrm{X},\mathrm{Y})=\mathrm{cov}(\mathrm{Y},\mathrm{X})$

另外，协方差的结果有什么意义呢？：

• 当协方差$\mathrm{cov}(\mathrm{X},\mathrm{Y})$＞0时，$X$ 与 $Y$正相关
• 当协方差$\mathrm{cov}(\mathrm{X},\mathrm{Y})$ < 0时，$X$ 与 $Y$负相关
• 当协方差$\mathrm{cov}(\mathrm{X},\mathrm{Y})$ = 0时，$X$ 与 $Y$不相关，就是统计上说的“相互独立”

相关系数

协方差作为描述$X$ 和 $Y$相关程度的量，在同一物理量纲下有一定作用。但同样的两个量采用不同的量纲使他们的协方差在数值上表现很大的差异，故引入如下概念：$$\rho (X,Y)=\frac{\mathrm{cov}(X,Y)}{\sqrt{\mathrm{var}(X)}\cdot \sqrt{\mathrm{var}(Y)}}=\frac{\mathrm{cov}(X,Y)}{{\sigma }_X{\sigma }_Y}$$ 这个值就可以定量分析两个随机变量的相关程度。

• $\rho (X,Y)$=1，$X$ 和 $Y$完全正相关
• $\rho (X,Y)$=-1，$X$ 和 $Y$完全负相关
• 0＜|$\rho (X,Y)$|＜1，说明$X$ 和 $Y$存在一定程度的线性关系，但有强弱的区别
• $\rho (X,Y)$=0，表示$X$ 和 $Y$没有线性关系（但不一定没关系）

协方差矩阵

协方差只能处理二维问题，那维数多了自然就需要计算多个协方差，比如$n$维的数据集就需要计算$C_n^2=\frac{n!}{2!\ast (n-2)!}$ 个协方差，那自然而然我们会想到使用矩阵来组织这些数据。给出协方差矩阵的定义：$$C_{n\ast n}=\left(c_{i,j},c_{i,j}=\mathrm{cov}\left({\mathrm{Dim}}_i,{\mathrm{Dim}}_j\right)\right)$$ 举一个三维的例子，假设数据集有三个维度，则协方差矩阵为：$$\mathrm{C}=\left(\begin{array}{ccc}\mathrm{cov}(x,x)& \mathrm{cov}(x,y)& \mathrm{cov}(x,z)\\ \mathrm{cov}(y,x)& \mathrm{cov}(y,y)& \mathrm{cov}(y,z)\\ \mathrm{cov}(z,x)& \mathrm{cov}(z,y)& \mathrm{cov}(z,z)\end{array}\right)$$ 可见，协方差矩阵是一个对称的矩阵，而且对角线是各个维度的方差。

另外协方差矩阵作为一种数学工具，通常被用来计算特征之间的某种联系。在机器学习中，协方差矩阵用于降维的主成分分析法（PCA）。

案例实现

假设我们有4个样本，每个样本有两个变量，也就是两个特征。如：$a_1=(1,2),a_2=(3,6),a_3=(4,2),a_4=(5,2)$ ，则可以用一个矩阵来表示：$A=\left[\begin{array}{ll}1& 2\\ 3& 6\\ 4& 2\\ 5& 2\end{array}\right]$，那么就可以用两个变量空间X、Y来表示这两个特征：$X=\left[\begin{array}{l}1\\ 3\\ 4\\ 5\end{array}\right],Y=\left[\begin{array}{l}2\\ 6\\ 2\\ 2\end{array}\right]$，那么如何利用协方差矩阵来比较$X$ 和 $Y$之间的相关性呢？

由前面的协方差可以知道，协方差是表示所有变量之间的两两相关的关系。所以，包含两个特征的矩阵，其协方差矩阵应该是2x2的。$$\mathrm{cov}(A)=\left[\begin{array}{cc}\mathrm{cov}(X,X)& \mathrm{cov}(X,Y)\\ \mathrm{cov}(Y,X)& \mathrm{cov}(Y,Y)\end{array}\right]$$

第一步：计算出$X$、$Y$两个特征空间的平均值：$\bar{x}=3.25,\bar{y}=3$
第二步：逐一的计算：$$\begin{array}{l}\mathrm{Cov}(X,X)=\frac{(1-3.25{)}^2+(3-3.25{)}^2+(4-3.25{)}^2+(5-3.25{)}^2}{4-1}=2.9167\\ \mathrm{Cov}(X,Y)=\frac{(1-3.25)(2-3)+(3-3.25)(6-3)+(4-3.25)(2-3)+(5-3.25)(2-3)}{4-1}=-0.3333\\ \mathrm{Cov}(Y,X)=\frac{(2-3)(1-3.25)+(6-3)(3-3.25)+(2-3)(4-3.25)+(2-3)(5-3.25)}{4-1}=-0.3333\\ \mathrm{Cov}(Y,X)=\frac{(2-3{)}^2+(0-3{)}^2+(2-3{)}^2+(2-3{)}^2}{4-1}=4\end{array}$$ 最后得出协方差矩阵为：$$\mathrm{Cov}(A)=\left[\begin{array}{cc}2.9167& -0.3333\\ -0.3333& 4.000\end{array}\right]$$

---

残差

在实际数理统计中，观测值和估计值（拟合值）之间的差。反应的是数据的离散程度以及收敛性，越大则数据离散程度越大、越不收敛。

举个例子：在回归分析过程中，给出了样本的观测值$(x_i,y_i)$，构建出模型(回归方程)，将样本观测值$x_i$代入拟合得到的方程中，计算出估计值(又叫预测值，拟合值)为${\hat{y}}_i$，估计值${\hat{y}}_i$与观测值$y_i$之间的偏差叫做残差(residual)，$e$表示残差的话，则有$e_i=y_i-{\hat{y}}_i$。

总结残差：是因变量的观测值$y_i$与根据估计的回归方程求出的预测${\hat{y}}_i$之差。

---

均方误差（mean-square error, MSE）

均方误差是各数据偏离真实值的距离平方和的平均数，也即误差平方和的平均数。一般被用在机器学习的预测值与真实值之间的距离。均方误差对应的是最小二乘法。
$$MSE=\frac{1}{N}\sum _{t=1}^N{\left({\text{ observed }}_t-{\text{ predicted }}_t\right)}^2$$

python实现代码

# -*- coding: utf-8 -*-
import math

def get_mse(records_real, records_predict):
    """
    均方误差
    """
    if len(records_real) == len(records_predict):
        return sum([(x - y) ** 2 for x, y in zip(records_real, records_predict)]) / len(records_real)
    else:
        return None

---

均方根误差（root mean squared error，RMSE）

均方根误差亦称标准误差，是均方误差的算术平方根。换句话说，是观测值与真实值的平方与观测次数$n$比值的平方根，在实际测量中，观测次数$n$总是有限的，真实值只能用最可信赖（最佳）值来代替。标准误差对一组测量中的特大或特小误差反应非常敏感，所以，标准误差能够很好地反映出测量的精密度。这正是标准误差在工程测量中广泛被采用的原因。$$RMSE=\sqrt{\frac{1}{N}\sum _{t=1}^N{\left({\text{ observed }}_t-{\text{ predicted }}_t\right)}^2}$$

均方根误差与标准差的对比

均方根误差形式上和标准差很上接近，均方误差是数据序列与真实值之间的关系，而标准差是离均差平方和平均后的方根，是数据序列与均值的关系，所以只要搞清楚到底是和真实值还是自身均值之间的关系就可以区分，具体有：

• 均方根误差：是观测值与真实值的偏差的平方与观测次数$n$比值的平方根。均方根误差是用来衡量观测值同真值之间的偏差。
• 标准差：是观测值与其平均值之间的偏差的平方与观测次数$n$比值的平方根。标准差是用来衡量一组数自身的离散程度。

python实现代码

# -*- coding: utf-8 -*-
import math

def get_rmse(records_real, records_predict):
    """
    均方根误差
    """
    mse = get_mse(records_real, records_predict)
    if mse:
        return math.sqrt(mse)
    else:
        return None

---

均方根值（root-mean-square，RMES）

均方根值也称作为方均根值或有效值，在数据统计分析中，将所有值平方求和，求其均值，再开平方，就得到均方根值。在物理学中，我们常用均方根值来分析噪声。$$X_{rms}=\sqrt{\frac{{\sum }_{i=1}^N{X}_i^2}{N}}=\sqrt{\frac{X_1^2+X_2^2+\cdots +X_N^2}{N}}$$

python实现代码

# -*- coding: utf-8 -*-
import math

def get_rms(records):
    """
    均方根值
    """
    return math.sqrt(sum([x ** 2 for x in records]) / len(records))