【数据异常校验】格拉布斯准则（Grubbs Criterion）处理数据异常

简介

Grubbs测试（以1950年发表测试的Frank E. Grubbs命名），也称为最大归一化残差测试或极端学生化偏差测试，是一种统计测试，用于检测假设的单变量数据集中的异常值来自正常分布的人口。

 

定义

格拉布斯的测试基于正态假设。也就是说，在应用Grubbs测试之前，应首先验证数据是否可以通过正态分布合理地近似。

格拉布斯的测试一次检测到一个异常值。从数据集中删除该异常值，并且迭代测试直到没有检测到异常值。但是，多次迭代会改变检测概率，并且测试不应该用于六个或更少的样本大小(n>6)，因为它经常将大多数点标记为异常值。

 

Grubbs测试是根据假设定义的：

：数据集中没有异常值

：数据集中只有一个异常值

 

公式

  和 分别表示样本均值和标准差。

Grubbs检验统计量是样本标准差的单位与样本均值的最大绝对偏差。

这是测试的双边版本。

 

Grubbs测试也可以定义为单侧测试。

要测试最小值是否为异常值

公式：

要测试最大值是否为异常值

公式：

 

表示最小值。

表示最大值。

 

 

对于双边测试，没有异常值的假设在显著级别a级被拒绝

表示的上临界值的的t分布与N - 2 自由度和 显着性水平a/(2N)。对于单侧检验，用a/N代替a/(2N)。

t分布可用于构建真实均值的置信区间。

 

缺点

格拉布斯和和狄克逊法均给出了严格的结果，但存在狄克逊法同样的缺陷。

 

优化

朱宏等人采用数据值的中位数取代平均值，改进得到了更为稳健的处理方法，有效消除了同侧异常值的屏蔽效应。

国际上常推荐采用格拉布斯准则法。

 

参考：https://en.wikipedia.org/wiki/Grubbs%27_test_for_outliers