[文献阅读]Robust Anomaly Detection for Multivariate Time Series through Stochastic RNN

Robust Anomaly Detection for Multivariate Time Series through Stochastic Recurrent Neural Network
发表会议：2019 KDD

1 简介

1.由于以下原因，作者希望可以直接使用多元时间序列在实体级别检测实体异常，而不是使用单变量时间序列在度量级别检测实体异常。

1）在实践中，与每个构成指标相比，操作工程师更关心实体的整体状态。
2）在给定大量指标的情况下，为每个指标训练和维护一个单独的异常检测模型代价是很大的。
3）一个实体上的事件通常导致多个维度的异常。如果在指标级别检测到异常，则需要基于广泛的知识来做定义，以处理所有指标的异常结果，来确定实体是否异常。
4）直观的讲，对一个单变量时间序列的期望值建模可以受益于同一实体的多变量时间序列中的更多信息。

总而言之，在实体级别检测异常比在单个指标检测异常更加直观与高效。

2 背景 相关工作

1.基于LSTM检测航天器异常的方法，提出了一种基于LSTM的编码解码器，目的在于重构正常的时间序列。尽管LSTM可以处理时间序列的依赖性，但是它是确定性的，没有随机变量。

2.基于随机模型，有文献提出结合深度自动编码器和高斯混合模型。通过减少输入观测值的维数以获得AE的潜在表示，并使用GMM估计了表示的密度。但是，此方法设计用于多元变量，并且忽略了时间序列在内的时间依赖性。随机变量可以提高RNN的性能，因为它他们可以捕获时间序列的概率分布。通过将VAE中的前馈网络替换为LSTM。简单的将LSTM和VAE组合在一起，但是忽略了随机变量的依赖性。

3.作者提出的OmniAnomaly是一种随机递归神经网络，将VAE与GRU粘合在一起，从而可以明确的建模时间序列的时间依赖性与随机性。此外，OnmiAnomaly应用了诸如随机变量连接之类的技术对随机变量之间的时间依赖性进行建模。结果，随机变量可以从历史随机变量中捕获更多信息，并更好的表示输入数据。

3 挑战

由于异常多样性与缺乏标签，算法必须是无监督的。核心思想在于在考虑时间依赖性与随机性的同时，学习鲁棒的潜在表示，以捕获多元时间序列的正常模式。观察结果与正常模式的差异越多，就越有可能将其视为异常。

挑战1：在考虑时间依赖性和多元序列的随机性的同时学习鲁棒的潜在表示。
作者将GRU与VAE两个关键技术结合在一起，提出随机变量连接技术：线性高斯状态空间模型， 随机变量的连接，以及随机变量和GRU潜在变量的连接。为了帮助随机变量捕捉输入数据的复杂分布，采用平面归一化流，它使用一系列可逆映射来学习潜在空间中的非高斯后验分布。

挑战2：在给定随机深度学习方法的情况下，如何为检测到的实体级异常提供解释。
在作者的方法中，可以通过重构概率最低的几个单变量事件序列来检测到实体异常。

4.具体实现

4.1 问题概述

时间序列包含连续的观测值，多元时间序列异常检测，确定观测值xt是否异常，需要观察历史数据[xt…T]，然后异常检测系统返回xt的异常分数，通过与阈值进行比较来获得异常结果。

4.2 系统框架

4.3 Basics of GRU, VAE and Planar NF

作者使用LSTM的变体GRU来捕获时间序列中的复杂时间依赖性，数据集不是很大的时候，由于其参数较少且结构更简单，GRU更适合训练模型。

5.OmniAnomaly的设计

5.1网络结构

基本思想：
1）使用GRU捕获x空间中多变量观测值之间的复杂时间相关性。
2）接着使用VAE将观测值映射到随机变量。
3）为了显示地建模潜在空间中随机变量之间的时间依赖性，作者提出了随机变量的连接技术：线性高斯状态空间模型，串联随机变量和GRU隐藏变量。
4）帮助qnet捕获复杂的数据分布，采用平面NF，使用一系列可逆映射来学习潜在随机空间中的非高斯后验分布。

OmniAnomaly整体模型如图所示