FEDformer: Frequency Enhanced Decomposed Transformer for Long-termSeries Forecasting（ICML2022）

尽管基于transformer的方法显著改善了长期序列预测的最新结果，但它们不仅计算成本高，更重要的是，无法捕捉时间序列的全局视图(例如总体趋势)。为了解决这些问题，我们建议将Transformer与季节趋势分解方法相结合，其中分解方法捕获时间序列的全局剖面，而Transformer则捕获更详细的结构。为了进一步增强Transformer在长期预测中的性能，我们利用了大多数时间序列往往在众所周知的基(如傅里叶变换)中具有稀疏表示的事实，并开发了一种频率增强Transformer。该方法被称为频率增强分解变压器(FEDformer)，除具有更高的效率外，还具有比标准变压器更高的效率，其复杂度与序列长度成线性关系。在6个基准数据集上的实证研究表明，与最新的方法相比，FEDformer对多变量和单变量时间序列的预测误差分别降低了14.8%和22.6%。

总结：文中的创新点1）将时间序列中的频域部分和transformer结合在一起，实现时间序列的预测；2）文中同时考虑了解分解时间序列，提取趋势项实现预测。但是对于频率很高的时间序列而言，提取时间序列的频域信息，导致较高的时间复杂度和成本，同时会产生大量的冗余信息。

 问题：主要关注在降低transformer的计算成本与内存

方法：1）采用季节趋势分解方法 ；2）将傅里叶分析与基于tranformer的方法相结合。

Combining both ideas, we propose a Frequency Enhanced Decomposition Transformer, or, FEDformer for short, for long-term time series forecasting.

框架：

 FEDformer Framework

including Frequency Enhanced Block (FEB), Frequency Enhanced Attention (FEA) connecting encoder and decoder, and the Mixture Of Experts Decomposition block (MOEDecomp). 

 

1）Mixture of Experts for Seasonal-Trend Decomposition 

混合专家分解块(MOEDecomp)。它包含一组不同大小的平均滤波器，从输入信号中提取多个趋势分量，以及一组数据相关的权重，将它们组合成最终的趋势。形式上,我们有 

 2）Fourier Enhanced Structure

(FEB-f) 

 

(FEA-f)

 

 Experiments

为了评估提出的federformer，我们在6个流行的真实世界数据集上进行了广泛的实验，包括能源、经济、交通、天气和疾病。

我们主要包括四种最先进的基于变压器的模型进行比较，即Autoformer (Wu等人，2021年)、Informer (Zhou等人，2021年)、LogTrans (Li等人，2019年)和Reformer (Kitaev等人，2020年)作为基准模型。