DEEP AUTOENCODING GAUSSIAN MIXTURE MODEL FOR UNSUPERVISED ANOMALY DETECTION

ICLR-2018

摘要

对于多维或高维数据的无监督异常检测在基础机器学习研究和工业应用中都是非常重要的，其密度估计是核心。虽然先前基于维数降低随后密度估计的方法取得了丰硕成果，但它们主要受到模型学习的解耦，其优化目标不一致，并且无法在低维空间中保留基本信息。在本文中，我们提出了深度自动编码高斯混合模型（DAGMM）用于无​​监督异常检测。我们的模型利用深度自动编码器为每个输入数据点生成低维表示和重建误差，并进一步输入高斯混合模型（GMM）。 DAGMM不是使用解耦的两阶段训练和标准的期望最大化（EM）算法，而是以端到端的方式同时优化深度自动编码器和混合模型的参数，利用单独的估计网络来促进混合模型的参数学习。联合优化很好地平衡了自动编码重建，潜在表示的密度估计和正则化，有助于自动编码器逃离不太吸引人的局部最优，并进一步减少重建错误，避免了预训练的需要。几个公共基准数据集的实验结果表明，DAGMM明显优于最先进的异常检测技术，并且基于标准F1得分可实现高达14％的改进。

Introduction

在本文中，我们提出了深度自动编码高斯混合模型（DAGMM），这是一个深度学习框架，从几个方面解决了无监督异常检测中的上述挑战。

首先，DAGMM在低维空间中保留输入样本的关键信息，该低维空间包括由维数减少和诱导重建误差发现的减小维度的特征。从图1所示的例子中，我们可以看到异常在两个方面与正常样本不同：（1）异常可以在缩小的维度中显着偏离，其特征以不同的方式相关; （2）与正常样本相比，异常难以重建。与仅涉及具有次优性能的方面之一（Zimek等人（2012）; Zhai等人（2016））的现有方法不同，DAGMM利用称为压缩网络的子网络通过自动编码器执行降维，通过连接来自编码的减少的低维特征和来自解码的重建误差，为输入样本准备低维表示。

其次，DAGMM在学习的低维空间上利用高斯混合模型（GMM）来处理具有复杂结构的输入数据的密度估计任务，这对于现有工作中使用的简单模型来说相当困难（Zhai等人（2016） ））。虽然GMM具有强大的能力，但它也在模型学习中引入了新的挑战。由于GMM通常通过诸如期望最大化（EM）（Huber（2011））等交替算法来学习，因此难以进行维数降低和密度估计的联合优化，有利于GMM学习，GMM学习通常退化为传统的两步法做法。为了解决这一培训挑战，DAGMM利用称为估计网络的子网络，**该子网络从压缩网络获取低维输入并输出每个样本的混合成员预测。**利用预测的样本成员资格，我们可以直接估计GMM的参数，便于评估输入样本的能量/可能性。通过同时最小化来自压缩网络的重建误差和来自估计网络的样本能量，我们可以联合训练直接帮助目标密度估计任务的维数减少组件。

最后，DAGMM对端到端培训很友好。通常，通过端到端训练很难学习深度自动编码器，因为它们很容易陷入不那么有吸引力的局部最佳状态，因此广泛采用预训练（Vincent et al。（2010）; Yang et al。（ 2017a）;谢等人（2016））。但是，预训练限制了调整降维行为的可能性，因为很难通过微调对训练有素的自动编码器进行任何重大改变。我们的实证研究表明，DAGMM通过端到端训练得到了充分的学习，因为估计网络引入的正则化极大地帮助压缩网络中的自动编码器摆脱了不太吸引人的局部最优。几个公共基准数据集的实验表明，DAGMM具有优于现有技术的卓越性能，异常检测的F1得分提高了14％。此外，我们观察到端到端训练中DAGMM中自动编码器的重建误差与其预训练对应物的重建误差一样低，而来自估计网络没有正则化的自动编码器的重建误差保持不变高。此外，端到端训练的DAGMM明显优于依赖于预先训练的自动编码器的所有基线方法。

OVERVIEW

深度自动编码高斯混合模型（DAGMM）由两个主要部分组成：压缩网络和估计网络。 如图2所示，DAGMM的工作原理如下：（1）压缩网络通过深度自动编码器对输入样本进行降维，从缩小的空间和重建误差特征中准备它们的低维表示，并将表示提供给 随后的估算网络; （2）估计网络采用馈送，并在高斯混合模型（GMM）的框架中预测它们的似然/能量。