Task01 异常检测概论

Task01概述

1、异常检测概念

异常检测(Outlier Detection)：
顾名思义，是识别与正常数据不同的数据，与预期行为差异大的数据
异常类别：
点异常、条件异常、群体异常
异常检测应用场景：
故障检测、医疗日常检测、网络入侵检测、欺诈检测、工业异常检测、时间序列异常检测、视频异常检测、日志异常检测
检测的难点：
负样本（异常样本）数据量少
噪音影响，异常和噪音有时难分清

2、异常检测方法

2.1 基础方法

2.1.1 基于统计学的方法
学习一个拟合给定数据集的生成模型，然后识别出该模型低概率区域中的对象，把他们作为异常点
2.1.2线性模型方法
PCA方法（principle component analysis 主成分分析):
应用场景是对数据集 进行降维。降维后的数据能够最大程度地保留原始数据的特征(以数据协方差为衡量标准)
2.1.3 基于邻近度方法
基于集群（簇）的检测，如：DBSCAN等聚类算法 （在专门的异常点检测中使用较少）
缺点：算法对簇个数的选择高度敏感，过小的簇个数导致较多正常值被划为离群点，过大的簇个数导致成小簇的离群点被归为正常；噪声和异常数据将一并作为异常数据被丢弃；
基于距离的度量，如 K近邻算法
基于密度的度量，如LOF（局部离群因子）算法

2.2 集成方法

常用的集成方法有feature bagging ，孤立森林等

2.3 机器学习

在有标签的的情况下，可以使用树模型（gbdt、xgboost）进行分类