一种计算标准差的高效方法:Welford迭代法

标准差(Standard Deviation)是概率统计学上非常重要的概念,它被用来描述一组数据的离散程度。
根据标准差的定义,总体标准差σ表示为:一种计算标准差的高效方法:Welford迭代法_第1张图片而样本标准差S表示为:一种计算标准差的高效方法:Welford迭代法_第2张图片
总体标准差还有另外一种表示方式:一种计算标准差的高效方法:Welford迭代法_第3张图片

以上的两种总体标准差计算方法都有三个明显的问题:

  1. 代码实现时需要用一个数组来保存所有要计算的数据,如果数据比较大,那么会耗费非常大的空间。
  2. 计算时需要对数组总体进行两次遍历,一次计算平均值,一次计算平方,数据较多时耗时也非常大。
  3. 对于数据整体差距不大的情况,由于对接近0的浮点数做了平方计算,在数据非常多时累计损失的精度会较大,最终导致计算错误。

针对以上的3个问题,一个叫Welford的大神提出了一种迭代计算标准差的方法:
首先,将均值和方差初始化为0:M1 = x1,S1 = 0,
然后通过以下迭代公式计算每次来新的数据后的均值和标准差:
Mk = Mk-1+ (xk – Mk-1)/k
Sk = Sk-1 + (xk – Mk-1)*(xk – Mk)。
前k个数据的标准差为:s2 &#

你可能感兴趣的:(Matlab,工程数学,方差,标准差,MATLAB,高效方法,概率统计)