Datawhale 异常检测学习之Task01----异常检测介绍(上)

文章目录

  • 前言
  • 一、什么是异常检测?
  • 二、异常检测常用的方法
    • 1.传统方法
      • 1.1 统计方法
      • 1.2 线性模型的方法
      • 1.3 基于相似度的方法
    • 2.集成方法
    • 3.机器学习的方法
  • 三、异常检测常用的开源库
    • scikit-learn
    • PyOD:
  • 总结


前言

Datawhale 异常检测学习之一

Task01:异常检测介绍(2天)

  1. 了解异常检测基本概念
  2. 了解异常检测基本方法

一、什么是异常检测?

异常检测是指识别出与正常数据或者预测结果相差较大的数据。在金融、医疗、和工业上都有着重要的应用价值,常应用的场景有:故障检测、物联网异常检测、欺诈检测、时间序列异常检测、日志异常检测、医疗异常检测等等。

二、异常检测常用的方法

异常检测上常用的方法主要分为三大类:

  1. 传统方法
  2. 集成方法
  3. 机器学习方法

1.传统方法

1.1 统计方法

利用数据的统计分布特征,将低概率区域的数据点视为异常值。

1.2 线性模型的方法

例如主成分分析方法(PCA),对数据集进行降维。而降维后的数据可以最大程度地保留原始数据的特征(以数据协方差为衡量标准)

1.3 基于相似度的方法

这类方法通过数据之间的某种相似度识别异常值,适用于数据的聚集程度高、离群点较少的情况。因其复杂的计算量,不适合数据量大、维度高的情况。 基于相似度的方法主要包括:
  • 基于集群的方法---------如聚类方法
  • 基于距离的方法---------如KNN
  • 基于密度的方法---------如LOF

2.集成方法

利用不同算法在不同数据分集上表现得效果不同,将其结果综合起来,如:
  • feature bagging
  • 孤立森林法

3.机器学习的方法

对于有标签的数据集来说,异常检测场景下数据标签是不均衡的代表性的方法如XGboost。

三、异常检测常用的开源库

scikit-learn

官网地址.

PyOD:

知乎教程.


总结

以上就是关于异常检测的概述内容,下文将简要介绍PyOD开源库的使用,以及task0的练习。

学习资源:https://github.com/datawhalechina/team-learning-data-mining/blob/master/AnomalyDetection/

你可能感兴趣的:(异常检测学习教程,数据分析)