异常数据检测 | Python基于Hampel的离群点检测

文章概述

在时间序列数据分析领域，识别和处理异常点是至关重要的任务。异常点或离群点是明显偏离预期模式的数据点，可能表明存在错误、欺诈或有价值的见解。

应对这一挑战的一种有效技术是汉普尔过滤器（Hampel Filter）。

模型描述

汉普尔滤波法（Hampel filter）是检测和处理时间序列数据中离群值的一种稳健的方法。它依赖于中位数绝对偏差（MAD）[2] 并采用滚动窗口来识别离群值。MAD 是一种稳健的数据离散度量，以偏离中值的绝对偏差的中值计算。推荐关注@公众号：数据STUDIO 更多优质好文~

• 配置汉普尔滤波器涉及两个参数：

  窗口大小：该参数决定用于评估每个数据点的移动窗口的大小。它基本上定义了我们查找异常值的范围。
  阈值：仔细选择阈值对于避免触发有价值数据的异常值检测至关重要。

源码分享

Hampel与 Python 的结合

要在 Python 项目中使用 Hampel 过滤器，首先要通过 pip 安装软件包：