【数据挖掘】异常检测

简介

异常检测的基本思想：若发生了小概率事件，就认为出现了异常。

常用的异常检测方法是利用高斯密度函数，计算数据出现的概率，如果发现了概率小于某个阈值的数据，就认为该数据是异常的。

异常检测也是一种模式二分类方法，但两类数据严重不平衡，异常数据要显著少于正常数据。异常检测通常只需要对正常数据进行建模。

异常检测还可以用于数据清洗或剪枝，减少过拟合提升性能。

基于高斯（正态）分布的异常检测

本节的主要内容来自Andrew NG的机器学习课程[1]。

根据异常检测的思想，若 x x出现的概率 p(x)<ε p(x)<ε，则认为 x x是异常点。因此，异常检测的重要内容是估计概率密度函数。

一元高斯分布

基于一元高斯分布的异常检测的前提条件是假设特征之间相互独立。

通常假设特征分量的数据集 X X满足均值为 μ μ，方差为 σ2 σ2的正态分布，

X∼N(μ,σ2)，(1) (1)X∼N(μ,σ2)，

因此有

p(x;μ,σ2)=12π−−√σexp(−(x−μ)22σ2)，(2) (2)p(x;μ,σ2)=12πσexp⁡(−(x−μ)22σ2)，

这需要估计均值 μ μ和方差 σ2 σ2，它们的极大似然估计为

μ=σ2=1m∑i=1mx(i)1m∑i=1m(x(i)−μ)2。(3) (3)μ=1m∑i=1mx(i)σ2=1m∑i=1m(x(i)−μ)2。

得到了概率密度函数，就容易利用概率判断异常。

一、异常检测

####异常检测算法

1. 选择能指示异常的特征 xj xj；
2. 利用公式 (3) (3)，估计每维特征的均值和方差 μ1,…,μn,σ21,…,σ2n μ1,…,μn,σ12,…,σn2；
3. 计算 x x的概率，
   p(x)=∏j=1np(xj;μj,σ2j)，(4) (4)p(x)=∏j=1np(xj;μj,σj2)，
   通过特征分量概率密度函数乘积计算 x x概率密度，需满足特征之间相互独立的假设；
4. 若 p(x)<ε p(x)<ε，则 x x为异常点。

异常检测的训练过程就是估计概率密度函数参数 μ μ和 σ2 σ2。通常情况，训练过程不需要异常数据。 60% 60%的正常数据作为训练集， 20% 20%的正常数据和 50% 50%的异常数据作为交叉检验集， 20% 20%的正常数据和 50% 50%的异常数据作为测试集。

通过交叉检验集可确定判定异常的阈值 ε ε，选择参数可利用分类器性能评价指标。

异常检测和监督学习存在不同的特点，应用在不同的场景：

异常检测	监督学习
正样本（异常数据， y=1 y=1）少，通常 0∼20 0∼20个正样本，负样本（正常数据， y=0 y=0）多；	正样本和负样本都较多；
可能存多种不同类型的异常数据，难以通过正样本学习；	大量的正样本数据，能通过训练集了解正样本特点；
应用领域：欺诈检测、故障诊断、数据中心设备监控等	应用领域：垃圾邮件分类、天气预测、癌症分类等。

二、特征变换

根据异常检测方法可知，运用异常检测有两个重要的前提条件：

1. 特征满足高斯分布（特征之间的相关性下节考虑）；
2. p(x) p(x)对正常数据很大，但对异常数据很小。

在实际应用中，原始特征可能并不满足这两个前提条件，需要将特征作一定变换或构造新的特征。

图 1: 原始特征通过变换满足高斯分布 [ PNG]

上图展示了通过函数 log x log⁡x 变换原始特征以满足高斯分布。也可以通过构造新的特征，比如数据中心监控，利用特征

CPU load

CPU load 和 network traffic

network traffic 构造新的特征 CPU loadnetwork traffic

CPU loadnetwork traffic ¹ ，使其在发生异常的时数据会变得很大或者很小。

多元高斯分布

实际应用中，特征之间可能存在相关性，需要采用多元高斯分布概率密度函数进行异常检测。

多元高斯分布的概率密度函数定义为

p(x;μ,Σ)=1(2π)n2|Σ|12exp(−12(x−μ)TΣ−1(x−μ))，(5) (5)p(x;μ,Σ)=1(2π)n2|Σ|12exp⁡(−12(x−μ)TΣ−1(x−μ))，

其均值向量和协方差矩阵的极大似然估计为

μ=Σ=1m∑i=1mx(i)1m∑i=1m(x(i)−μ)(x(i)−μ)T。(6)

图 2: 二元高斯分布 [PNG]

上图给出了不同参数的二元高斯密度函数图。图上排的协方差矩阵为对角阵，表示特征之间独立，可用一元高斯分布的方法进行异常检测；图下排的协方差矩阵是非对角阵，表示特征之间存在相关性，需借助多元高斯分布密度函数 (5) (5)进行异常检测。

基于一元高斯分布和多元高斯分布的异常检测有不同的应用场景：

一元高斯分布	多元高斯分布
根据先验知识构造新特征，手动处理相关性问题；	自动处理样本之间的相关性，计算 Σ Σ2；
计算复杂度较低；	计算复杂度较高；
能处理样本数 m m很少的情况。	需要 m>n m>n（一般 m>10n m>10n），否则 Σ Σ不可逆。

Σ

Σ不可逆，原因可能是不满足条件 m>n

m>n，或者存在冗余特征，也就是特征之间有相关性（比如 x1

= k

x2

x1=kx2或 x1

=

x2

＋

x3

x1=x2＋x3等）。

由此可见，特征之间是否具有相关性并非利用多元还是一元高斯分布进行异常检测的唯一条件，在必要的时候需要借助一元高斯分布对具有相关性特征的数据集进行异常检测。

具有相关性的特征数据，经过基于PCA的坐标变换（参考维数约减部分关于PCA的内容）消除相关性，也可以用一元高斯分布的方法处理。

参考文献

1. [1]A. Ng, “Anomaly detection.” Coursera, 2014. [Online]

脚注

1. 如何判断构造的新特征有价值？哪些特征加入会有助于提高性能？ ↩

2. 利用多元高斯分布也要将每维特征变换为高斯分布么？ 

原文地址：

http://qianjiye.de/2014/12/anomaly-detection