【文章学习系列之模型】SCALEFORMER

文章概况

《SCALEFORMER: ITERATIVE MULTI-SCALE REFINING TRANSFORMERS FOR TIME SERIES FORECASTING》是2023年发表于ICLR上的一篇论文。作者发现在对不同时间尺度预测的尝试下，逐渐细化预测颗粒有利于时序预测，因此在论文中提出了一种通用多尺度框架，实验表明显著提高前人Transformer系列模型的实验效果。

论文链接
代码链接

模型结构

$X^{enc}$经过池化层下采样得到$X_i^{enc}$，$X_{i-1}^{out}$经过上采样得到$X_i^{dec}$，$X_i^{enc}$和$X_i^{dec}$经过Cross-Scale Normalization后得到标准化之后的两组数据，随后将这两组数据输入预测模型中。需要注意的是$X_{i-1}^{out}$是上一个$ste{p}_{i-1}$步骤模型的输出，而当$i=1$时，$X_0^{out}$取0。

主要方法

多尺度框架

多尺度主要体现在两个地方，一个是模型中$step$迭代$m+1$次，遍历$S$中所有尺度因子，另一个是每次$step$包含一对上下采样AvgPool和Upsample。

跨尺度标准化

如上图所示，多尺度框架导致了数据分布将发生变化。因此为了缓解分布差距，作者将上下采样之后的数据进行联合标准化，换言之就是放一起算。

模型输入编码

常规三要素：数值编码、时间编码、位置编码

损失函数

使用MSE，对异常值敏感，MSELoss抛弃；
使用Huber，没异常值效果不佳，HuberLoss抛弃；
最后选择自适应损失函数

我还没看，有兴趣的可以去了解一下 论文链接

实验结果

以上对比了作者所提框架+前人模型的效果变化情况，实验表明效果提升显著。
（更多实验结果见附录）

消融实验

跨尺度标准化

有无标准化前后对比，可以看出确实标准化之后的曲线更加稳定，同时也更接近真实情况。

上表为无归一化和原始模型的实验对比，可以发现没有了跨尺度标准化操作，所提框架总体上并不如原始模型效果好。通过以上两种角度的对比，作者再一次确认了跨尺度标准化的重要性。

自适应损失函数

基准为前人原始结果，-A为使用自适应损失函数，-MS为使用多尺度框架和MSELoss，-MSA为本文所提方法。总体而言，红色竖条更短、MSE误差更小。由此可以一定程度上表明自适应损失函数和多尺度框架的的有效性。

总结

在文章的最后，作者还将所提方法应用于概率预测以及非Transformer系列的模型中，从实验结果看是可行的。这篇论文发现了多尺度采样在时序预测中的可探索性，刚好也印证了年初我写的一个时序模型的效果，同样也是类似多尺度采样建模，效果还不错，重要的是参数量很少、跑得很快。另外值得提出的是，作者没有按照以往构建新模型的方式进行创新探索，而是对前人模型的外围框架进行创新，在模型已经卷到现在的情况下，这无疑不是一个新的研究思路。