异常数据检测 | Python实现基于高斯概率分布的异常数据检测

文章目录

      • 文章概述
      • 模型描述
      • 源码分享
      • 学习小结
      • 参考资料


异常数据检测 | Python实现基于高斯概率分布的异常数据检测_第1张图片

文章概述

高斯分布也称为正态分布。它可以被用来进行异常值检测,不过我们首先要假设我们的数据是正态分布的。不过这个假设不能适应于所有数据集。但如果我们做了这种假设那么它将会有一种有效的方法来发现异常值。

模型描述

Scikit-Learn的EllipticEnvelope[10]模型,它在假设我们的数据是多元高斯分布的基础上计算出高斯分布的一些关键参数过程。过程大致如下:

根据前面定义的类别创建两个不同的数据集 :search_Sat_night和Search_Non_Sat_night。
在每个类别应用EllipticEnvelope(高斯分布)。
我们设置contamination参数,它表示我们数据集中异常值的比例。
使用decision_function来计算给定数据的决策函数。它等于移位的马氏距离(Mahalanobis distances)。异常值的阈值为0,这确保了与其他异常值检测算法的兼容性。
使

你可能感兴趣的:(异常数据检测,python,异常数据检测,高斯概率分布)