【ICML 2022】时间序列预测——FEDformer (Frequency Enhanced Decomposed Transformer)

摘要

  虽然基于Transformer的方法已经显著提高了长期序列预测的先进结果，但它们的计算代价是高昂的，更重要的是它们无法捕捉时间序列的全局视图。为了应对这一问题，文章提出将Transformer和季节趋势分解方法相结合，用分解方法捕捉世界序列的全局模式，而用Transformer捕捉更细节的结构。为了更好的提升Transformer在长期预测中的性能，我们利用了这样一个事实，即大多数时间序列倾向于在众所周知的基(如傅立叶变换)中具有稀疏表示，并提出一个增频Transformer。该方法被称为频率增强分解变压器(FEDformer)，不仅效率更高，而且其复杂度与序列长度呈线性关系，比标准Transformer的效率更高。实验在六个基准数据集上进行，与最先进的方法相比，FEDformer在多变量和单变量时间序列任务中能够分别降低预测误差14.8%和22.6%。
论文的代码链接

1 引言

  长期时间序列预测在各种应用中是一个长期的挑战，如能源、气象、交通、经济等。尽管RNN类型的方法取得了令人印象深刻的结果，但它们有梯度消失和梯度爆炸的问题，这显著限制了它们的性能表现。随着Transformer在NLP和CV领域的成功，它被用于捕捉时间序列预测中的长期依赖性并展示出有前景的结果。但Transformer较高的计算复杂度和内存需求使得它难以应用于长序列建模，因此大量的研究致力于降低Transformer的计算成本。

  尽管基于Transformer的时间序列预测方法取得了进展，但在某些情况下，它们往往无法捕捉到时间序列的总体特征或分布。图1中我们在真实数据集ETTm1上(Zhou et al., 2021)比较了真实值和vanilla Transformer(Vaswani et al., 2017) 方法的预测值，很显然预测的时间序列与真实值展现了不同的分布。这种真值和预测值之间的差异可以用Transfoemer中的point-wise注意力和预测来解释。由于每个时间步的预测是独立的，因此模型很可能无法保持时间序列作为一个整体的全局属性和统计特征。为了克服这个问题，我们在工作中利用了两个想法：

1. 结合季节性趋势分解方法
2. 将傅立叶分析与基于变换的方法结合起来（从时域到频域，有助于Transformer更好的捕捉时序全局特性）

  PEDformer的一个关键问题是傅里叶分析应该使用哪个频率分量子集来表示时间序列。一个常用做法是保留低频成分，丢弃高频成分，但是这可能不适用于时间序列预测，因为时间序列中的一些趋势变化与重要事件有关，如果我们简单地删除所有高频成分，这部分信息可能会丢失。我们通过有效利用时间序列倾向于在傅立叶基的基础上具有(未知的)稀疏表示这一事实来解决这个问题。根据我们的理论分析，随机选取频率分量子集，包括低频分量和高频分量，可以更好地表示时间序列。除了对长期预测更有效外，将Transformer与频率分析相结合还可以将Transformer的计算成本从二次复杂度降低到线性复杂度。我们注意到，这与以前加速Transformer的努力不同，后者通常会导致性能下降。本文工作的贡献如下：

• 为了更好地捕捉时间序列的全局特性，将季节趋势分解结合进来，提出了一种频率增强Transformer架构。
• 在Transformer结构中提出了傅立叶增强块和小波增强块，允许我们通过频域映射捕获时间序列中的重要结构。它们可以作为自我注意和交叉注意块的替代。
• 该模型通过随机选择固定数量的傅里叶分量，实现了线性计算复杂度和内存开销。从理论上和实证上验证了该选择方法的有效性。
• 我们在跨越多个领域(能源、交通、经济、天气和疾病)的6个基准数据集上进行了广泛的实验。实证研究表明，所提模型在多变量和单变量预测任务中分别提升先进方法的性能14.8%和22.6%。

2 频域中时间序列的紧凑表示

  本文工作区别于其他长期预测算法的一个关键贡献是使用神经网络进行频域运算。如何用傅立叶分析恰当地表示时间序列中的信息是至关重要的。

1. 只简单地保留所有的频率分量可能会导致较差的表示，因为时间序列中的许多高频变化是由于噪声输入引起的。
2. 仅保留低频分量也可能不适合用于序列预测，因为时间序列中的一些趋势变化代表了重要事件。
3. 使用少量选定的傅立叶分量保持时间序列的紧凑表示可使Transformer的计算变得高效，这对建模长序列至关重要。

  作者建议通过随机选择固定数量的傅立叶分量(包括高频和低频)来表示时间序列。
具体的，对每个时间序列进行傅里叶变换，例如：将一个时序转换为一个向量$X_i(t)\to a_i=(a_{i,1},...,a_{i,d}{)}^T$。然后通过把所有变换后的向量代入矩阵得到$A=(a_1,a_2,...,a_m{)}^T$。每一行对应不同的时间序列，每一列对应不同的傅里叶分量。尽管使用所有的傅里叶分量可以使我们最好地保存时间序列中的历史信息，但它可能会导致历史数据的过拟合，从而导致对未来信号的糟糕预测。因此，我们需要选择一个傅里叶分量的子集，一方面要足够小，以避免过拟合问题，另一方面要能够保留大部分的历史信息。于是文章提出从d个傅里叶分量(s < d)中均匀随机选取分量。具体的，我们用$i_1<i_2<...<i_s$来表示随计选择的分量。我们建立矩阵$S\in {0,1}^{s\times d}$，其中，$S_{i,k}=1ifi=i_{k}else{S}_{i,k}=0$。于是，多变量时序的表示就变成$A^{\prime }=A{S}^T\in {\mathbb{R}}^{m\times s}$。
  为了测量$A^{\prime }$保存来自A的信息的能力，将$A$的每个列向量投影到由A '中的列向量张成的子空间中。用$P{A}^{\prime }(A)$表示投影后的结果矩阵，其中$P{A}^{\prime }(\cdot )$表示投影算子。如果$A^{\prime }$保留了$A$的大部分信息，则$A$和$P{A}^{\prime }(A)$之间的误差预计是小的。让$A_k$用$A$的前k个最大的单值分解来表示$A$的近似。下述理论表明，如果随机采样的傅里叶成分$s$是$k^2$的数量级，那么$|A-P_{A^{\prime }}(A)|$和$|A-A_k|$是接近的。

• 理论1：假设矩阵$A$的coherence measure $\mu (A)$是$\Omega (k/n)$，那么如果$s=O(k^2/{ϵ}^2)$，我们很有可能得到：$|A-P_{A^{\prime }}(A)|\le (1+ϵ)|A-A_k|$。

  对于真实的多元时间序列，傅立叶变换对应的矩阵A往往表现出低秩性，因为多元时间序列中的单变量不仅依赖于其过去的值，而且变量的彼此之间存在依赖关系，共享相似的频率分量。因此，如理论1所示，随机选择傅里叶分量的子集可以在傅里叶矩阵$A$中恰当地表示信息。
  同样，小波正交多项式，如勒让德多项式，服从限制等距性(RIP)，可用于时间序列中的信息捕获与傅立叶基相比，小波表示更能有效地捕捉时间序列中的局部结构，因此在某些预测任务中更有效。

3 模型结构

  本节将介绍(1)FEDformer的总体结构，如图2所示，(2)信号处理的两种颠覆结构:一种是傅立叶基，另一种是小波基，(3)混合专家机制进行季节趋势分解，(4)提出的模型的复杂性分析。

3.1 FEDformer 架构

3.1.1 准备工作

  长时间序列预测是一个序列到序列的问题，我们用$I$表示输入长度，$O$表示输出长度，$D$表示序列的隐状态。编码器的输入为$I\times D$，而解码器的输入为$(I/2+O)\times D$。

3.1.2 FEDformer结构

  受第1节中讨论的季节趋势分解和分布分析的启发，作者将Transformer更新为如图2的深度分解架构，包括频率增强块（FEB）、连接编码器和解码器的频率增强注意力（FEA），混合专家分解块（MOEDecomp）。
  编码器采用多层结构：${\chi }_{en}^l=Encoder({\chi }_{en}^{l-1})$，$l\in 1,...,N$表示第$l$个编码层的输出，${\chi }_{en}^0$是嵌入的历史序列，$Encoder(\cdot )$形式化如下：

其中，$S_{en}^{l,i},i\in 1,2$分别表示第$l$层第$i$个分解块后的季节分量。对于FEB模块，它有两个不同的版本(FEB-f和FEB-w)是通过离散傅立叶变换(DFT)与离散小波变换(DWT)机制分别实现的，并可无缝替代自注意块。
  解码器也使用了一个多层结构：${\chi }_{de}^l,{\tau }_{de}^l=Decoder({\chi }_{de}^{l-1},{\tau }_{de}^{l-1})$，其中，$l\in 1,...,M$表示第l层解码器的输出。$Decoder(\cdot )$形式化如下：

$S_{de}^{l,i},i\in 1,2,3$分别表示第$l$层第$i$个分解块后的季节分量和趋势分量。$W_{l,i},i$表示提取的第$i$个趋势${\tau }_{de}^{l,i}$的映射。与FEB类似，FEA有两个不同的版本(FEA-f和FEA-w)，分别通过DFT和DWT投影实现，并具有注意设计，可替代交叉注意块。
  最后的预测是两个细化分量的和$W_S\times {\chi }_{de}^M+{\tau }_{de}^M$。

3.2 傅里叶增强结构

3.2.1 离散傅里叶变换

  所提结构使用离散傅里叶变换（DFT），用$F$表示傅里叶变换，$F^{-1}$表示傅里叶逆变换。给定时域实数序列$x_n$，其中$n=1,2\dots ,N$。DFT定义为$X_l={\sum }_{n=0}^{N-1}{x}_n{e}^{-iwln}$，其中$i$是虚数单位，$X_l,l=1,\mathrm{2..}L$是一个频域内的复数序列。相似的，DFT逆变换被定义为$x_n={\sum }_{l=0}^{L-1}{X}_l{e}^{iwln}$，其复杂度为$O(N^2)$。采用快速傅里叶变换，其计算复杂度可以被降低到$O(NlogN)$。这里使用的是傅里叶基的一个随机子集，子集的尺度由一个标量限定。当在DFT和DFT逆操作前选择模式模式时，计算复杂度可进一步降低到O(N)。

3.2.2 使用傅里叶变换的频率增强块（FEB-f）

  如图2所示，FEB-f在编码器和解码器中均被使用，该块的输入$x\in {\mathbb{R}}^{N\times D}$首先通过$w\in {\mathbb{R}}^{D\times D}$，然后KaTeX parse error: Undefined control sequence: \cdotw at position 4: q=x\̲c̲d̲o̲t̲w̲。然后将$q$从时域转换到频域。$q$的傅里叶变换表示为$Q\in {\mathbb{C}}^{N\times D}$。频域中，只有随机选择的$M$模式被保留，所以我们使用一个选择算子$\tilde{Q}=Select(Q)=Select(F(q))$。其中，$\tilde{Q}\in {\mathbb{C}}^{M\times D}$并且$M<<N$。
  然后，FEB-f模块被定义为:
$$FEB-f(q)=F^{-1}(Padding(\tilde{Q}\odot R))$$
其中，$R\in {\mathbb{C}}^{D\times D\times M}$是一个随机初始化的参数化内核。乘积算子$\odot$被定义为$Y_{m,d_o}={\sum }_{d_i=0}^D{Q}_{m,d_i}\cdot R_{d_i,d_o,m}$（$d_i$是输入通道，$d_o$是输出通道）。$Q\odot R$的结果在执行傅里叶逆变换回时域之前零填充为${\mathbb{C}}^{N\times D}$。结构如图3所示：

3.2.3 使用傅里叶变换的频率增强注意力（FEA-f）

  使用标准Transformer的表达，输入：queries、keys、values被表示为$q\in {\mathbb{R}}^{L\times D}$、$k\in {\mathbb{R}}^{L\times D}$、$v\in {\mathbb{R}}^{L\times D}$。在交叉注意力中，queries来自解码器并且可以由$q=x_{en}\cdot w_q$获得（$w_q\in {\mathbb{R}}^{D\times D}$）。keys和values来自编码器并且可以由$k=x_{de}\cdot w_k$和$v=x_{de}\cdot w_v$得到（$w_k,w_v\in {\mathbb{R}}^{D\times D}$）。于是形式化的标准注意力可写做：
$$Atten(a,k,v)=Softmax(\frac{q{k}^T}{\sqrt{d_q}})v$$
  FEA-f中，使用傅里叶变换转换queries、keys、values，并通过随机选择$M$个模式在频域中执行一个相似的注意力机制。用$\tilde{Q},\tilde{K},\tilde{V}$表示它们在经过傅里叶变换后的版本，则FEA-f可以被定义为：
  $\tilde{Q}=Selecet(F(q))$
  $\tilde{K}=Selecet(F(k))$
  $\tilde{V}=Selecet(F(v))$
  $FEA-f（q,k,v）=F^{-1}(Padding(\sigma (\tilde{Q}\cdot {\tilde{K}}^T)\cdot \tilde{V}))$
其中，$\sigma$是激活函数，文中将softmax或tanh用于激活，因为它们在不同数据集上的收敛性能不同。在执行傅里叶逆变换前，使$$且$$需要进行零填充为$$。其整体结构如图4所示：

3.3 小波增强结构

3.3.1 离散小波变换（DWT）

  傅里叶变换在频域创建信号的表示，而小波变换在频域和时域都创建表示，从而有效的获取信号的局部信息。多小波变换综合了正交多项式和小波变换的优点，对于给定的$f(x)$，尺度$n$下的多小波系数可被分别定义为$s_l^n=[<f,{\varphi }_{il}^n{>}_{{\mu }_n}{]}_{i=0}^{k-1},d_l^n=[<f,{\psi }_{il}^n{>}_{{\mu }_n}{]}_{i=0}^{k-1}$。
${\varphi }_{il}^n$是分段多项式的小波标准正交基。跨尺度的分解/重建可以被定义为：

其中，$(H^{(0)},H^{(0)},G^{(0)},G^{(1)})$是多小波分解滤波器的线性系数。它们是被用于小波分解的混合矩阵。信号的多小波表示可以通过多尺度和多小波基的张量积得到。注意，不同尺度下的基是由张量乘积耦合的，所以我们需要解开它。受到(Gupta et al., 2021)的启发，作者采用了非标准小波表示来降低模型的复杂性。对于一个映射函数$F(x)=x^{\prime }$，多小波域下的映射函数可被写作：
$$U_{dl}^n=A_n{d}_l^n+B_n{s}_l^n,U_{sl}^n=C_n{d}_l^n,U_{sl}^L=\bar{F}{s}_l^L$$
其中，$(U_{sl}^n,U_{dl}^n,s_l^n),d_l^n$是多尺度系数，$L$是递归分解下最粗的尺度，$A_n,B_n,C_n$是在分解和重建过程中用于处理不同信号的三个独立FEB-f模块。这里$\bar{L}$是一个单层感知器，它处理$L$分解步骤后剩下的最粗信号。

3.3.2 使用小波变化的频率增强块（FEB-w）

  FEB-w模块的整体架构如图5所示：

它不同于FEB-f的递归机制：***输入被分别分解为3部分并独立进行操作。***对于小波分解部分，我们使用固定的勒让德小波分解基分解矩阵。三个FEB-f模块被分别用于处理产生的高频部分、低频部分以及小波分解中遗留的部分。对于每一个周期$L$，它产生一个经过处理的高频张量$Ud(L)$，一个经过处理的低频张量$Us(L)$和一个原始低频张量$X(L+1)$。这是一种阶梯向下的方法，分解阶段执行1/2因子的信号抽取，运行最多$L$个循环，其中$L<lo{g}_2(M)$对于大小为$M$的给定输入序列。实际中$L$被设置为一个固定的参数，在不同的分解周期$L$中，三组FEB-f模块是共享的。

  小波重建部分同样递归的建立输出张量。每一个循环中我们结合分解部分产生的$X(L+1),Us(L),Ud(L)$。对于每一个循环，信号张量的长度维数增加2倍。

3.3.3 使用小波变化的频率增强注意力（FEA-w）

  FEA-w与FEB-w一样，包含分解阶段和重构阶段。这里保持重构部分不变，差异仅在分解阶段。用相同的分解矩阵分别对$q,k,v$信号进行分解，$q,k,v$共用同一组模块进行处理。由上文可知，一个带小波分解块的频率增强块(FEB-w)包含三个用于信号处理的FEB-f块。我们可以把FEB-f看作是一种自我注意机制的替代。我们用一个FEA-f模块代替每个FEB-f模块，用小波分解建立了频率增强交叉注意。另外，增加了一个FEA-f模块，对剩余最粗的$q(L),k(L),v(L)$信号进行处理。

3.4 用于季节性趋势分解的专家混合

  由于通常观察到的复杂周期模式与真实数据上的趋势成分相结合，因此在固定窗口的平均池化中提取趋势比较困难。为了克服这样一个问题，文章设计了一个混合专家分解块，它包含一组不同大小的平均滤波器，从输入信号中提取多个趋势成分，以及一组数据相关的权重，将它们组合成最终趋势。形式化如下：
$$X_{trend}=Softmax(L(x))\ast (F(x))$$
KaTeX parse error: Undefined control sequence: \codt at position 3: F(\̲c̲o̲d̲t̲)是一组平均池化过滤器和$Softmax(L(x))$是混合这些提取趋势的权重。

3.5 复杂度分析

  对于FEDformer-f，在FEB和FEA块中随机选择固定数量的模式时，时间和内存的计算复杂度为$O(L)$。将模式数64设为默认值。通过FFT的离散傅里叶变换的复杂度为$O(Llog(L))$，而所提方法通过使用预先选择的傅里叶基集来快速实现，其代价和内存复杂度仅需$Q(L)$。对于FEDformer-w，当我们将递归分解步骤设置为固定数目$L$，并使用与FEDformer-f相同的固定数目随机选择的模式时，时间复杂度和内存占用率也为O(L)。实际中，$L=3,M=64$。训练时的时间复杂度和内存使用情况以及测试中推理步骤的比较如表1所示。

4 实验

  为了评估所提FEDformer，文章在6个流行的真实数据集上进行了广泛实验（包括能源、经济、交通、天气和疾病）。由于经典模型如ARIMA和基本RNN/CNN模型的性能相对较差，如(Zhou et al.，2021)和(Wu et al.，2021)所示，我们主要包括四个最先进的基于Transformer的模型进行比较，即Autoformer (Wu et al.，2021)、Informer (Zhou et al.，2021)、LogTrans (Li et al.，2019)和Reformer (Kitaev et al.，2020)作为基线模型。由于Autoformer在所有六个基准测试中拥有最好的性能，因此它被用作主要基准模型进行比较。

4.1 主要结果

• 多变量
  与Autoformer相比，FEDformer的总体相对MSE降低了14.8%。值得注意的是对于部分数据集，如Exchange和ILI，其性能提升更为显著（超过20%）。Exchange数据集在其时间序列中没有明显的周期性，但FEDformer仍然可以获得优越的性能。具体结果如表2。
  
• 单变量
  与Autoformer相比，FEDformer得到了总体22.6%的MSE降低，并且在部分数据集如traffic和weather上，其改善程度大于30%。值得注意的是，**由于傅里叶基和小波基的不同，FEDformer-f和FEDformer-w在不同的数据集上表现良好，使它们成为长期预测的互补选择。**具体结果如表3。
  

4.2 消融实验

  使用消融实验目的在于比较频率增强块及其替代的性能。将使用自相关机制的Autoformer的SOTA结果作为基线，测试了FEDformer的三种变体：

1. V1: 仅使用FEB代替自注意力；
2. V2: 仅使用FEA代替交叉注意力；
3. V3: 使用FEA替代自注意力及交叉注意力；
     FEDformer-f的消融版本和SOTA模型在表4中进行了比较，如果消融版本带来了与Autoformer相比的改进，我们使用粗体数字。由于篇幅限制，我们在FEDformer-w中省略了类似的结果。从表4中可以看出，FEDformer V1改善了10/16例，而FEDformer V2改善了12/16例。我们使用了FEB和FEA块的FEDformer获得了最佳性能，此时所有16/16情况都有性能提升，验证了所设计的FEB、FEA对自我和交叉注意替换的有效性。此外，ETT和Weather数据集上的实验表明所采用的MOEDecomp(混合专家分解)方案比单一分解方案平均提高2.96%。
   

4.3 模式选择政策

  离散傅里叶基的选择是有效表示信号和保持模型线性复杂度的关键。**随机策略不需要输入的先验知识，很容易在新任务中泛化。**这里我们对随机选择策略和固定选择策略进行了实证比较，实验结果如图6所示。采用随机策略比只保留低频模态的常规固定策略性能更好。同时，随机策略表现出一定的模态饱和效应，说明适当的模态随机数而不是全部模态会带来更好的性能。

4.4 预测输出的分布分析

  本节定量地评估不同变压器模型的输入序列和预测输出之间的分布相似性。我们使用Kolmogrov-Smirnov测试检查在ETTm1和ETTm2上不同模型的预测结果是否与输入序列一致。特别地，我们测试固定96时间步长的输入序列是否来自与预测序列相同的分布，零假设是两个序列来自相同的分布。在两个数据集上，通过设置共同的p值为0.01，除了Autoformer，现有的各种Transformer基线模型的值都远小于0.01，这表明它们的预测输出相比于输入序列有更高的概率从不同的分布中采样。相比之下，Autoformer和FEDformer的p值要大得多，这主要与它们的季节趋势分解机制有关。虽然两种模型在ETTm2中得到了接近的结果，但所提出的FEDformer在ETTm1中具有更大的p值。并且它是唯一一个在两个数据集的所有情况下p值都大于0.01时零假设不能被拒绝的模型，这意味着由FEDformer生成的输出序列与输入序列相比具有更相似的分布，从而证明了我们在第1节中讨论的FEDformer的设计动机。

4.5 与Autoformer基线相比的差异

  由于我们使用分解的编码器-解码器整体架构如Autoformer，我们认为强调其差异是至关重要的。在Autoformer中，作者考虑了一个很好的想法，使用top-k子序列相关(自相关)模块，而不是点式注意，并且为了提高子序列级相似性计算的效率，采用了傅立叶方法。一般来说，Autoformer可以被认为是将序列分解为多个时域子序列进行特征提取。相反，我们采用频率变换将序列分解为多个频域模态来提取特征。特别是，我们在子序列选择中不使用选择性方法。而是所有的频率特征都是从整个序列中计算出来的，这种全局特性使我们的模型对长序列具有更好的性能。

5 总结

  文章提出了一种用于长期序列预测的频率增强变压器模型，该模型不仅具有最先进的性能，而且具有线性计算复杂度和存储成本。提出了一种频率低秩逼近和混合专家分解的注意机制来控制分布漂移。提出的频率增强结构将输入序列长度和注意矩阵维数解耦，从而拥有线性复杂度。文章在理论上和实证上证明了所采用的随机模式选择策略在频率上的有效性。最后，大量的实验表明，与四种先进的算法相比，该模型在6个基准数据集上获得了最佳的预测性能。

参考文献

• 此处只列出了翻译文章，其他参考请查阅论文原文中具体文献。
  [1] Zhou T, Ma Z, Wen Q, et al. FEDformer: Frequency enhanced decomposed transformer for long-term series forecasting[J]. arXiv preprint arXiv:2201.12740, 2022.