TranAD: Deep Transformer Networks for Anomaly Detection in Multivariate Time Series Data

对多元时间序列数据进行有效的异常检测与诊断对现代工业应用具有重要意义。然而，建立一个能够快速准确地定位异常观测的系统是一个具有挑战性的问题。这是由于在现代应用中缺乏异常标签、高数据波动性和超低推断时间的要求。尽管最近有了用于异常检测的深度学习方法，但只有少数方法能够解决所有这些挑战。在本文中，我们提出了TranAD，这是一个基于深度变压器网络的异常检测和诊断模型，它使用基于注意的序列编码器，根据数据中更广泛的时间趋势知识快速执行推断。TranAD使用基于焦点分数的自我调节来实现鲁棒的多模态特征提取和对抗训练以获得稳定性。此外，模型不可知元学习(MAML)允许我们使用有限的数据来训练模型。对6个公开数据集的大量实证研究表明，TranAD在数据和时间高效训练的检测和诊断性能方面优于最先进的基线方法。具体来说，TranAD使F1分数提高了17%，与基线相比减少了99%的训练时间

Our contributions. 包括Trans这项工作使用各种工具，former神经网络和模型不可知性元学习，作为构建模块。然而，这些不同的技术不能直接使用，需要进行必要的调整，以创建一个通用的异常检测模型。具体地说，我们提出了一种基于变压器的异常检测模型(TranAD)，该模型使用自适应和对抗训练过程。它的架构使其快速训练和测试，同时保持稳定的大输入序列。简单的基于变压器的编码器-解码器网络，如果偏差太小，即与正常数据相对接近，则容易遗漏异常。我们的贡献之一是表明这可以通过一种对抗性训练程序来缓解，这种程序可以放大重建误差。

利用自适应进行鲁棒多模态特征提取可以帮助获得训练稳定性，并允许泛化[32]。使用模型无关元学习(MAML)有助于保持最佳的检测性能，即使是在有限的数据[15]的情况下，正如我们在稍后的验证中展示的那样，使用简单变压器的方法比TranAD的性能差超过11%。我们在公开的数据集上进行了大量的实证实验，以比较和分析TranAD与最先进的方法。我们的实验表明，TranAD能够通过增加高达17%的预测分数，同时减少高达99%的训练时间开销，从而超越基线。

Evolving Training Objective

上述模型必然会遭受与其他对抗性训练框架类似的挑战。关键的挑战之一是保持训练的稳定性。为了解决这个问题，我们设计了一个对抗性训练过程，使用来自两个独立解码器(图1中的解码器1和2)的输出。最初，两个解码器都旨在独立地重构输入的时间序列窗口。在[45]和[39]中，我们使用使用第一阶段输出的l2范数定义每个解码器的重构损失

实验