异常检测—基于统计学方法

基于统计学的方法

1、概述

统计学方法对数据的正常性做出假定。它们假定正常的数据对象由一个统计模型产生，而不遵守该模型 的数据是异常点。统计学方法的有效性高度依赖于对给定数据所做的统计模型假定是否成立。

异常检测的统计学方法的一般思想是:学习一个拟合给定数据集的生成模型，然后识别该模型低概率区域中的对象，把它们作为异常点。

即利用统计学方法建立一个模型，然后考虑对象有多大可能符合该模型。

根据如何指定和学习模型，异常检测的统计学方法可以划分为两个主要类型:参数方法和非参数方法。

参数方法假定正常的数据对象被一个以 为参数的参数分布产生。该参数分布的概率密度函数 给 出对象 被该分布产生的概率。该值越小， 越可能是异常点。

非参数方法并不假定先验统计模型，而是试图从输入数据确定模型。非参数方法通常假定参数的个数和 性质都是灵活的，不预先确定(所以非参数方法并不是说模型是完全无参的，完全无参的情况下从数据 学习模型是不可能的)。

2、参数方法

3.使用混合参数分布 在许多情况下假定数据是由正态分布产生的。当实际数据很复杂时，这种假定过于简单，可以假定数据是被混合参数分布产生的。

3、非参数方法 在异常检测的非参数方法中，“正常数据”的模型从输入数据学习，而不是假定一个先验。通常，非参数方法对数据做较少假定，因而在更多情况下都可以使用。

例子:使用直方图检测异常点。

直方图是一种频繁使用的非参数统计模型，可以用来检测异常点。该过程包括如下两步:

步骤1:构造直方图。使用输入数据(训练数据)构造一个直方图。该直方图可以是一元的，或者多元的 (如果输入数据是多维的)。

尽管非参数方法并不假定任何先验统计模型，但是通常确实要求用户提供参数，以便由数据学习。例如，用户必须指定直方图的类型(等宽的或等深的)和其他参数(直方图中的箱数或每个箱的大小等)。与参数方法不同，这些参数并不指定数据分布的类型。

步骤2:检测异常点。为了确定一个对象是否是异常点，可以对照直方图检查它。在最简单的方法中，如 果该对象落入直方图的一个箱中，则该对象被看作正常的，否则被认为是异常点。

对于更复杂的方法，可以使用直方图赋予每个对象一个异常点得分。例如令对象的异常点得分为该对象落入的箱的容积的倒数。

使用直方图作为异常点检测的非参数模型的一个缺点是，很难选择一个合适的箱尺寸。一方面，如果箱 尺寸太小，则许多正常对象都会落入空的或稀疏的箱中，因而被误识别为异常点。另一方面，如果箱尺 寸太大，则异常点对象可能渗入某些频繁的箱中，因而“假扮”成正常的。

4、HBOS

HBOS全名为:Histogram-based Outlier Score。它是一种单变量方法的组合，不能对特征之间的依赖 关系进行建模，但是计算速度较快，对大数据集友好。其基本假设是数据集的每个维度相互独立。然后 对每个维度进行区间(bin)划分，区间的密度越高，异常评分越低。

5、总结

1.异常检测的统计学方法由数据学习模型，以区别正常的数据对象和异常点。使用统计学方法的一个优点是，异常检测可以是统计上无可非议的。当然，仅当对数据所做的统计假定满足实际约束时才为真。

2.HBOS在全局异常检测问题上表现良好，但不能检测局部异常值。但是HBOS比标准算法快得多，尤其 是在大数据集上

使用PyOD库生成toy example并调用HBOS：

https://blog.csdn.net/qq_35692819/article/details/112687881