Transformer模型 | iTransformer时序预测

Transformer 模型在自然语言处理和计算机视觉领域取得了巨大的成功，并成为了基础模型。然而，最近一些研究开始质疑基于Transformer的时间序列预测模型的有效性。这些模型通常将同一时间戳的多个变量嵌入到不可区分的通道中，并在这些时间标记上应用注意力机制来捕捉时间依赖关系。

近日，来自清华大学软件学院机器学习实验室和蚂蚁集团研究人员合作发布的一篇时间序列预测论文，试图打破质疑，引起业界热议。

鉴于对Transformer的预测模型的争议，研究者反思了为什么Transformer在时间序列预测中的表现甚至不如线性模型。因此，这篇论文里提出了iTransformer作为针对时间序列进行最小适应的基本骨干，其原生组件自然地处理了反转的维度，即讨论了倒置Transformer在时间序列预测方面的有效性。

iTransformer 将每个时间序列嵌入为变量令牌，并使用前馈网络进行序列编码，以捕捉多元相关性。iTransformer 模型在真实数据集上获得了更先进的性能，为改进基于Transformer的预测器提供了有希望的方向。

论文地址：https://arxiv.org/abs/2310.06625

论文源码：https://github.com/thuml/Time-Series-Library
该论文的问题背景是关于基于Transformer的时间序列预测模型的架构修改是否合理的讨论。

传统的Transformer模型在时间序列预测中存在性能下降和计算爆炸的问题，同时对于具有较大回溯窗口的序列预测也存在挑战。此外，传统的Transformer模型将每个时间步的多个变量嵌入到同一个标记中，可能导致学习到的注意力图无意义。

因此，该论文提出了一种称为iTransformer的新方法，通过重新设计Transformer架构，将注意力机制和前馈网络的