方差标准差均方差均方误差的区别

1. 方差的目的是衡量一组数据离散程度的度量。

概率论中定义：在概率分布中，设X是一个离散型随机变量，若存在，则称为X的方差，记为D(X)，E(X)为随机变量X的期望（定义：离散型）

但是在现实世界计算E(X)中，因为X的值太多，计算E(X)不太可能，使用采样方式，即统计学如何定义方差。

统计学中的定义是：, 为总体或者样本方差，为总体或者样本均值，X为变量，N为总体例数或者样本数。

2. 标准差：标准差是方差的平方根,又称均方差。

概率论中的标准差公式：

统计学中的标准差公式：

方差与我们要处理的数据的量纲是不一致的，虽然能很好的描述数据与均值的偏离程度，但是处理结果是不符合我们的直观思维。举个例子：一个班级里有60个学生，平均成绩是70分，标准差是9，方差是81，假设成绩服从正态分布，那么我们通过方差不能直观的确定班级学生与均值到底偏离了多少分，通过标准差我们就很直观的得到学生成绩分布在[61,79]范围的概率为68%，即约等于下图中的34.2%*2：

为均值， 为标准差

标准差和均值的量纲即单位是一致的，在描述一个波动范围时标准差比方差更方便。

3. 均方误差（mean-square error, MSE）：各数据偏离真实值差值的平方和 的平均数。

维基百科中定义的公式如下：

MSE = 

为真实值，为预测值或者估计值

MSE理解

在回归问题中，MSE可以不除以n，但是需要在迭代w和b的时候，梯度除以n，或者学习率除以n都可以。