Domain Adaptation for Time Series Forecasting via Attention Sharing（ICML2022）

近年来，深度神经网络在时间序列预测领域得到了越来越广泛的应用。他们成功的一个主要原因是他们能够有效地跨越多个相关的时间序列捕捉复杂的时间动态。这些深度预测的优势只有在有足够数量的数据时才开始显现。这对实践中典型的预测问题提出了挑战，在这些问题中，每个时间序列或每个时间序列的观测数量有限，或两者兼有。为了解决数据稀缺的问题，我们提出了一种新的领域适应框架——领域适应预测器(domain adaptation Forecaster, DAF)。DAF利用具有丰富数据样本(源)的相关领域的统计优势，以提高具有有限数据(目标)的感兴趣领域的性能。特别地，我们使用了一个基于关注的共享模块，它带有跨域的域识别器，以及针对单个域的私有模块。我们同时诱导领域不变的潜在特征(查询和密钥)和再训练领域特定的特征(值)，以使预测者能够在源和目标领域上联合训练。一个主要的见解是，我们对键的设计允许目标域利用源时间序列，即使具有不同的特征。在各个领域的广泛实验表明，我们提出的方法在合成和真实数据集上优于最先进的基线，消融研究验证了我们设计选择的有效性

阅读总结：这篇论文的创新点：在领域自适应中应用了注意力机制，解决了目标域标签稀疏的问题。当然迁移学习本身就是为了解决目标域存在的标签问题。

这里有几点学习地方：1）attention 机制，迁移学习和对抗网络结合实现领域特征不变性的学习过程。2）将attention模块设计成共享性（当然文中没有给出为什么要设计成共享性的原因，但是猜测 设计成共享性可以降低内存计算成本，同时共享来自不同领域数据特征）

背景：

域适应(DA)方法试图通过比对源和目标域提取的特征来减轻域偏移的有害影响

挑战：

直接应用现有技术面临两大挑战：1）首先，由于时间序列的时间性质，时间序列中演变的模式不可能通过整个历史的表征来捕捉。未来的预测可能取决于不同时间段内的局部模式

2）预测任务的输出空间不是固定的。在预测领域相关属性模型时，需要提取领域不变特征和领域特定特征，以便适当地逼近各自领域的数据分布

研究问题：

 

 

 

Our goalis to produce an accurate forecast on the target domain T ,where little data is available, by leveraging the data in the source domain S.
 

 

 

 总之：利用生成对抗的实现领域自适应

 

 

 The Domain Adaptation Forecaster (DAF)（（有趣的部分）

我们提出了一种新的基于注意机制的领域适应预测策略。提出的解决方案，即域适应预测器(DAF)，利用序列生成器处理来自每个域的时间序列。 

 

 

 

1）Shared Attention Module

 

我们提出了一种新的基于注意机制的领域适应预测策略。提出的解决方案，即域适应预测器(DAF)，利用序列生成器处理来自每个域的时间序列。 

 

 

 

 2)Interpolation: Input Reconstruction

 

3）extrapolation: Future Predictions
 

 由于DAF是一个自回归预测器，它提前一步生成预测。在每个步骤中，我们通过从给定的历史值外推来预测下一个值。

 Domain Discriminator

为了使注意模块的查询和键具有域不变性，引入域鉴别器来识别给定查询或键的来源 

 

Adversarial Training
 

Experiments

 

 

 

 

 总结：

在本文中，我们旨在将域适应应用于时间序列预测，以解决数据稀缺问题。分析了预测任务与常见域适应场景的区别，提出了基于注意力共享的域适应预测器(domain adaptive Forecaster, DAF)。通过实证实验，我们证明了DAF在合成和真实数据集上优于最先进的单域预测器和各种域适应基线。我们通过广泛的消融研究进一步证明了我们设计的有效性。尽管有经验证据，但在注意模型中具有领域不变特征的理论证明仍然是一个开放的问题。扩展到多变量时间序列预测实验是今后研究的另一个方向。