【论文阅读】Informer：Beyond Efficient Transformer for Long Sequence Time-Series Forecasting

【论文阅读】Informer：Beyond Efficient Transformer for Long Sequence Time-Series Forecasting

原文：https://arxiv.org/abs/2012.07436
code（pytorch实现）：https://github.com/zhouhaoyi/Informer2020

贡献

1. The quadratic computation of self-attention 解决自注意力二次计算
2. The memory bottleneck in stacking layers for long inputs 解决长序列的内存瓶颈
3. The speed plunge in predicting long outputs 解决长序列的速度瓶颈
   总之，提出ProbSparse self-attention，实现transformer在长时序的应用，以及改进一些性能问题。

informer整体结构

整体为encoder-decoder模型：

• 左侧为encoder部分
• 右侧为decoder部分
  

问题定义

LSTF问题：在滑动窗口固定的情况下，已知Xt预测Yt。

encoder

decoder