深度自编码高斯混合模型无监督异常检测

1、背景

目前利用深度学习解决异常检测存在数据维度过高，容易将任何一个样本判断为未见过的异常样本的问题。针对这种情况，提出了降维的需求，将高维数据降维，然后在低纬度对其进行密度估计。但是这种方法存在前后不能结合的问题，例如降维的数据可能将重要性息都删减了，过于简化的密度估计模型没有足够的容量，或者不适合密度估计任务的训练策略。
本文提出深度自编码器高斯混合模型，从几个方面解决了上述挑战。

2、相关工作：

无监督异常检测主要使用到三种方法：
基于重建的方法假设异常是不可压缩的，因此不能在低维空间进行重建，基于重构的方法只能根据重构误差进行异常分析。虽然部分异常样本的压缩与正常样本不同，但是也有部分异常样本会潜伏在正常水平的误差中，但是异常仍然会存在于低密度区域中。针对这种情况，DAGMM从一个全面的角度，在由降维表示和降维导致的重构误差推导出的低维空间进行密度估计。
基于聚类的方法是先降维再聚类。存在的问题是降维的时候没有与聚类联系，很容易产生降维过程丢失聚类分析的关键信息。并且过于简化的聚类模型没有办法处理复杂数据结构的聚类或密度估计问题。DAGMM通过一个称为估计网络的子网络解决这些问题。该网络评估由其压缩网络产生的地位空间的样本密度，通过预测样品混合隶属度估计GMM参数。
第三种方法是一类分类法，通过算法学习正常实例周围的判别边界，但是维度增加时训练非常困难。
DAGMM模型通过深度自动编码器实现非线性降维提取有用特征，并通过混合隶属度在GMM框架下联合学习密度。

3、模型

分为两部分，压缩网络和估计网络。
压缩网络对输入样本进行降维，准备低维表示和重构误差特性。
估计网络接受上一步输入，在高斯混合模型框架下预测似然能量。

压缩网络提供的低维特征表示包含两个特征来源：深度自动编码器学习的降维表示和基于重构误差的特征。
样本x，重构x’，低维特征z由深度自动编码器学习到的低维表示zc和包含由重构误差导出的特征zr, f是计算重构误差特征的函数，h编码函数，g解码函数。

估计网络在GMM框架下进行密度估计。这里不使用EM交替过程，利用多层神经网络预测每个样本的混合隶属度实现估计GMM参数并评估样本的似然能量，根据预先选择的阈值将高能样本预测为异常。

目标函数：

N个样本数据集，构造指导DAGMM训练的目标函数如下

L(xi, x0i)是表征压缩网络中深层自编码器引起的重构误差的损失函数，我们总希望压缩网络的重构误差最低，则低维就能更好地代表原样本的信息。
E(zi)模拟了观察输入样本的概率。通过最小化样本能量，我们寻找压缩和估计网络的最佳组合，以最大化观察输入样本的可能性。
λ1和λ2是DAGMM的元参数。在实际应用中，λ1 = 0.1和λ2 = 0.005通常得到理想的结果。

训练策略

与现有的基于深度自动编码器的方法使用预训练不同，DAGMM使用端到端训练。在研究中发现经过预训练的深度自动编码器很难支持密度估计。而利用端到端可以使压缩网络和估计网络故乡联系提高性能。

结果评估

与一些相似的降维方法比较，同时分别改变模型，如使用预训练策略、不把重构误差作为输入的特征向量等等，与DAGMM进行比较，最终发现还是DAGMM方法性能最优。

总结

本文将利用自动编码器组建的压缩网络和利用高斯模型组建的评估网络进行无监督异常检测。
①利用端到端训练策略使得降维和分类相互联系，在整体上有串联，使得模型效果更优
②估计网络预测样本的混合隶属度，从而无需交替过程就可以估计出GMM中的参数;
②将重构误差和提取特征一起训练，有助于减少降维带来的信息量的损失。