[深度之眼机器学习训练营第四期]异常检测

密度估计

如果随机变量$X$的概率分布函数满足
$$f(x)=\frac{1}{\sqrt{2\pi }\sigma }\exp \left(\frac{(x-\mu {)}^2}{2{\sigma }^2}\right)$$
其中$\mu$是均值，${\sigma }^2$是方差，我们就称$X$服从高斯分布，记作$X\sim \mathcal{N}(\mu ,{\sigma }^2)$。

对于数据集的每个特征，都拟合一个一元高斯分布分布函数，然后再把它们乘起来：

$$\begin{array}{rl}\mathbb{P}(x)& =\mathbb{P}(x_1;{\mu }_1,{\sigma }_1^2)\mathbb{P}(x_2;{\mu }_2,{\sigma }_2^2)\mathbb{P}(x_3;{\mu }_3,{\sigma }_3^2)\cdots \mathbb{P}(x_d;{\mu }_d,{\sigma }_d^2)\\ & =\prod _{j=1}^d\mathbb{P}(x_j;{\mu }_j,{\sigma }_j^2)\end{array}$$

密度估计的流程

• 选择一个与异常有关的特征 $x_d$。
• 拟合参数${\mu }_1,{\mu }_2,\cdots ,{\mu }_d;{\sigma }_1,{\sigma }_2,\cdots ,{\sigma }_d$:

$$\begin{array}{rl}{\mu }_j& =\frac{1}{n}\sum _{i=1}^n{x}_j^{(i)}\\ {\sigma }_j& =\frac{1}{n}\sum _{i=1}^n\left(x_j^{(i)}-{\mu }_j\right)\end{array}$$

• 对于给定的新样本 $x$, 计算$\mathbb{P}(x)$:

$$\mathbb{P}(x)=\prod _{j=1}^d\mathbb{P}(x_j;{\mu }_j,{\sigma }_j)=\prod _{j=1}^d\frac{1}{\sqrt{2\pi }{\sigma }_j}\exp \left(\frac{(x_j-{\mu }_j{)}^2}{2{\sigma }_j^2}\right)$$

构建异常检测系统

10000个正常样本：训练6000，验证集2000，测试集2000
20个异常样本：验证集10，测试集10

如何评估？

由于异常检测任务的数据集都比较偏斜，所以用之前介绍的混淆矩阵、精度/召回率和F1-Score来评估算法的效果。

异常检测 vs. 有监督学习

异常检测：

• 正常样本多，异常样本极少，数据偏斜严重
• 引起异常的原因可能多种多样，因此对正常样本建模要好于对异常样本建模

有监督学习

• 正负样本数量都比较大
• 未来的样本与训练集中的样本相似

特征处理

在运行异常检测算法前，一般都要画出直方图，观察数据的分布。如果某个特征的分布与高斯分布相差甚远，那么就要对特征进行处理（如对数转换），目的是让数据集的分布更接近高斯分布