数据分析——【统计学】异常值检测

阅读之前看这里：博主是正在学习数据分析的一员，博客记录的是在学习过程中一些总结，也希望和大家一起进步，在记录之时，未免存在很多疏漏和不全，如有问题，还请私聊博主指正。
博客地址：天阑之蓝的博客，学习过程中不免有困难和迷茫，希望大家都能在这学习的过程中肯定自己，超越自己，最终创造自己。

在训练机器学习算法或应用统计技术时，错误值或异常值可能是一个严重的问题，它们通常会造成测量误差或异常系统条件的结果，因此不具有描述底层系统的特征。实际上，最佳做法是在进行下一步分析之前，就应该进行异常值去除处理。在某些情况下，异常值可以提供有关整个系统中局部异常的信息；因此，检测异常值是一个有价值的过程，因为在这个工程中，可以提供有关数据集的附加信息。目前有许多技术可以检测异常值，并且可以自主选择是否从数据集中删除。

主要的方法如下：

1.简单统计

我们可以通过对数据进行描述统计分析，观察其方差、标准差、均值等是否和常规值有所差异。
通过散点图或者回归的方式可以看到异常值。

2.3$\sigma$方法

借助正态分布的优良性质，3σ准则常用来判定数据是否异常。由于正态分布关于均值μ对称，数值分布在（μ-σ，μ+σ）中的概率为0.6827，数值分布在（μ-3σ，μ+3σ）中的概率为0.9973。也就是说只有0.3%的数据会落在均值的±3σ之外，这是一个小概率事件。为了避免极端值影响到模型整体的鲁棒性，常将其判定为异常值并从数据中剔除。

局限：

1、要保证历史数据异常点较少（均值容易被异常点拉偏）

2、只能检测单维数据

3、需假定数据服从正态分布或近正态分布

3. 箱形图法

正态分布的参数μ和σ极易受到个别异常值的影响，从而影响判定的有效性，因此又产生了Tukey箱型图法。

箱线图法计算原理：
1、计算第一四分位数（Q1）及第三四分位数（Q3）
2、计算IQR （IQR = Q3 - Q1）

3、输出正常区间[Q1-1.5IQR，Q3+1.5IQR]

上图中IQR，即四分位间距Q3-Q1，(Q1, Q3)涵盖了数据分布最中间的50%的数据，具有稳健性。数据落在 (Q1-1.5$\times$IQR, Q3+1.5$\times$IQR) 范围内，则认为是正常值，在此范围之外的即为异常值。
局限：只能检测单维数据

4.离群点检测

4.1 基于模型检测

这种方法一般会构建一个概率分布模型，并计算对象符合该模型的概率，把具有低概率的对象视为异常点。如果模型是簇的集合，则异常是不显著属于任何簇的对象；如果模型是回归时，异常是相对远离预测值的对象。

离群点的概率定义：离群点是一个对象，关于数据的概率分布模型，它具有低概率。这种情况的前提是必须知道数据集服从什么分布，如果估计错误就造成了重尾分布。

比如特征工程中的RobustScaler方法，在做数据特征值缩放的时候，它会利用数据特征的分位数分布，将数据根据分位数划分为多段，只取中间段来做缩放，比如只取25%分位数到75%分位数的数据做缩放。这样减小了异常数据的影响。

优缺点：
（1）有坚实的统计学理论基础，当存在充分的数据和所用的检验类型的知识时，这些检验可能非常有效；
（2）对于多元数据，可用的选择少一些，并且对于高维数据，这些检测可能性很差。

4.2 基于近邻度的离群点检测

统计方法是利用数据的分布来观察异常值，一些方法甚至需要一些分布条件，而在实际中数据的分布很难达到一些假设条件，在使用上有一定的局限性。

确定数据集的有意义的邻近性度量比确定它的统计分布更容易。这种方法比统计学方法更一般、更容易使用，因为一个对象的离群点得分由到它的k-最近邻（KNN）的距离给定。

需要注意的是：离群点得分对k的取值高度敏感。如果k太小，则少量的邻近离群点可能导致较低的离群点得分；如果K太大，则点数少于k的簇中所有的对象可能都成了离群点。为了使该方案对于k的选取更具有鲁棒性，可以使用k个最近邻的平均距离。

优缺点：
（1）简单；
（2）缺点：基于邻近度的方法需要O(m2)时间，大数据集不适用；
（3）该方法对参数的选择也是敏感的；
（4）不能处理具有不同密度区域的数据集，因为它使用全局阈值，不能考虑这种密度的变化。

4.3 基于密度的离群点检测

从基于密度的观点来说，离群点是在低密度区域中的对象。基于密度的离群点检测与基于邻近度的离群点检测密切相关，因为密度通常用邻近度定义。一种常用的定义密度的方法是，定义密度为到k个最近邻的平均距离的倒数。如果该距离小，则密度高，反之亦然。另一种密度定义是使用DBSCAN聚类算法使用的密度定义，即一个对象周围的密度等于该对象指定距离d内对象的个数。

优缺点：
（1）给出了对象是离群点的定量度量，并且即使数据具有不同的区域也能够很好的处理；
（2）与基于距离的方法一样，这些方法必然具有O(m2)的时间复杂度。对于低维数据使用特定的数据结构可以达到O(mlogm)；
（3）参数选择是困难的。虽然LOF算法通过观察不同的k值，然后取得最大离群点得分来处理该问题，但是，仍然需要选择这些值的上下界。

4.4 基于聚类的方法来做异常点检测

基于聚类的离群点：一个对象是基于聚类的离群点，如果该对象不强属于任何簇，那么该对象属于离群点。

离群点对初始聚类的影响：如果通过聚类检测离群点，则由于离群点影响聚类，存在一个问题：结构是否有效。这也是k-means算法的缺点，对离群点敏感。为了处理该问题，可以使用如下方法：对象聚类，删除离群点，对象再次聚类（这个不能保证产生最优结果）。

优缺点：
（1）基于线性和接近线性复杂度（k均值）的聚类技术来发现离群点可能是高度有效的；
（2）簇的定义通常是离群点的补，因此可能同时发现簇和离群点；
（3）产生的离群点集和它们的得分可能非常依赖所用的簇的个数和数据中离群点的存在性；
（4）聚类算法产生的簇的质量对该算法产生的离群点的质量影响非常大。

—————————————————————————————————————————————————
博主码字不易，大家关注点个赞转发再走呗 ，您的三连是激发我创作的源动力^ - ^