Deep Variational Graph Convolutional Recurrent Network for Multivariate Time Series Anomaly Detect

多元时间序列异常检测是数据挖掘和服务质量管理的重要任务。最近的许多异常检测工作都集中在设计无监督概率模型，以提取MTS的鲁棒正常模式。将其与自适应变分图卷积循环网络(VGCRN)相结合，对MTS中的空间和时间细粒度相关性进行建模。为了探索分层的潜在表示，进一步将VGCRN扩展为一个深度变分网络，在不同层捕获多级信息，对噪声时间序列具有鲁棒性。提出了一种向上向下的变分推理方案，同时考虑了基于预测和基于重构的损失，以更好的MTS表示实现了潜变量的精确后验近似。实验验证了所提方法相对于现有方法的优越性。

注意：文中提到的主要是变分时间序列异常检测算法

背景：

在MTS中有两种现象难以有效处理：

1): MTS中的异常总是既体现了时序变化特性，又体现了关系特性（一句废话）。目前尚没有一种概率方法能够捕捉MTS在生成过程中的相关信息，并将其随机性考虑到鲁棒表示学习中，这可能会限制模型捕捉异常的能力，同时避免对波动的误判

2): MTS中总是存在一些噪声时间序列，如Fig. 1 (a)中的“Out rate”、“in rate”、“Hit TTFB”，这些噪声时间序列既会引起时间波动，也会引起关系波动，从而容易导致误判，如图1 (a) (b)中的区域4所示。

方法：

本文提出一种新的深度变分图卷积循环网络(DVGCRN)，由一个成熟的深度嵌入引导的概率生成网络(DEPN)来建模MTS中的分层不确定性相互关系，堆叠的图卷积循环网络(SGCRN)来建模多级时间依赖，以及高斯分布的信道嵌入来描述不同信道的相似性和随机性，如图6所示。为了高效推理，

we propose a novel Deep Variational Graph Convolutional Recurrent Network (DVGCRN) that consists of a developed Deep Embedding-guided Probabilistic generative Network (DEPN) to model hierarchical non-deterministic interrelationships within MTS, Stacked Graph Convolutional Recurrent Network (SGCRN) to model multilevel temporal dependencies, and Gaussian-distributed channel embeddings to characterize the similarity and stochasticity of different channels,

首先构建了一种向上向下的自编码推理方法;将参数自底向上的似然和自底向上的先验信息相结合，进行准确的后验推断。引入联合优化目标，将基于预测的SGCRN损失和基于重构的DEPN损失相结合，以确保更好的时间序列表示学习。

3. Proposed model

在此基础上，我们提出了一种融合了GCRN和EPN的VGCRN模型，该模型形成了一个统一的MTS异常检测框架。

 它包含三个组件。第一个算法对原始多元时间序列数据进行预处理，使其可以用于训练模型;具体来说，采用了归一化和滑动时间窗方法(Dai等人，2021)。然后利用DVGCRN学习MTS的表示，最后根据重建结果检测异常，并由DVGCRN推断的预测概率。

4.2. Anomaly score

 为了更好地利用多层表示并提高鲁棒性，本文将重建异常得分修改为联合条件概率

 各个部分详细的解释过程：

 3.3. Variational graph convolutional recurrent network

1）3.3.1. EMBEDDING-GUIDED PROBABILISTIC GENERATIVE NETWORK

本文提出EPN，通过在生成过程中引入通道嵌入来捕获MTS的相互依赖关系，如下:

 

 3.3.2. GRAPH CONVOLUTIONAL RECURRENT NETWORK

为了同时考虑时间依赖和相互关系，通过将图卷积和循环结构引入到一个组合框架中，引入GCRN模块。利用公式(4)中的潜表示和通道嵌入，首先采用数据自适应图卷积生成模块(Bai等人，2020)来自动推断数据的隐藏相互依赖关系

 

 3.4. Deep variational graph convolutional recurrent network

为了进一步提高泛化能力，VGCRN的一个直接扩展是在EPN模块上应用分层先验，在GCRN模块上应用堆叠结构。因此，如图2所示，我们构建了一个多层概率模型DVGCRN。 

 

 3.4.1. DEEP EMBEDDING-GUIDED PROBABILISTIC GENERATIVE NETWORK

为捕获层次结构和关系特征，如图2 (b)所示，将DEPN表述为一个层次生成过程，并在每一层纳入多级嵌入通道: 

 3.4.2. STACKED GRAPH CONVOLUTIONAL RECURRENT NETWORK

为了考虑多层时间依赖关系和相互关系，将GCRN扩展为多层网络SGCRN，如图2(c)所示。对于SGCRN的第一层，我们以与Eqs相同的方式表述它。(5)、(6)。则较高层的表示为:

 

 综上所述，DVGCRN集成了DEPN，通过分层先验来增强泛化能力并捕获嵌入空间中信道之间的依赖关系，以及SGCRN，将多级关系和时间依赖刻画为一个具有共享概率信道嵌入的定义良好的混合贝叶斯框架。

3.4.3. UPWARD-DOWNWARD INFERENCE SCHEME

 根据推理网络的结构，结合生成分布中的自下而上的似然和自下而上的先验信息来近似DVGCRN概率潜变量的后验，从而使DVGCRN具有更丰富的潜表示

3.5. Model training

将预测和重建任务结合到优化目标中。对于DVGCRN，给定信道嵌入α(1:L)和模型参数W(1;L)， MTS数据集D的边缘似然定义为

 

实验：