时间序列预测 | Python实现Transformer时间序列数据预测

时间序列预测 | Python实现Transformer时间序列数据预测

基本介绍

Transformer模型最初由Google团队于2017年提出并应于机器翻译，其抛弃了传统循环神经网络提取序列信息的方式，开创性的提出了注意力机制实现快速并行，改进了循环神经网络训练慢的缺点。
该模型的特点：完全基于注意力机制，完全摒弃了递归和卷积。

• 它是一种模型架构，避免了递归，而是完全依赖于注意力机制来绘制输入和输出之间的全局依赖关系。
  self-attention：有时也被称为内部注意，是一种将单个序列的不同位置联系起来以计算序列的表示形式的注意机制。
  较于传统基于RNN/CNN的网络，减少了内部特征，因此用多头注意来抵消该影响，但该模型仍采用encoder-decoder框架。