＜论文＞如何将RAG和时序大模型相结合？

一、摘要

        本文介绍论文发表于2024年的论文《Retrieval Augmented Time Series Forecasting》，该论文提出了将RAG技术应用于时序大模型的策略，提升了时序大模型的性能。

译文：

        检索增强生成（RAG）是现代大型语言模型系统的核心组件，特别是在需要最新信息以准确响应用户查询或查询超出训练数据范围的情况下。时间序列基础模型（TSFM）的出现，如Chronos，以及在各种时间序列领域中实现有效零样本预测性能的需求，提出了一个问题：RAG的优势是否同样适用于时间序列预测？在本文中，我们主张时间序列数据的动态和事件驱动特性使得RAG成为TSFM的关键组件，并引入了一个用于时间序列预测的系统化RAG框架，称为检索增强预测（RAF）。在RAF中，我们开发了高效的策略来检索相关的时间序列示例并将其纳入预测中。通过实验和机制研究，我们证明了RAF确实提高了不同时间序列领域的预测准确性，并且对于较大的TSFM模型，改进更为显著。

二、核心创新点

1、索引及数据库构建

        为了检索出最佳匹配的时间序列，作者为每个数据域（数据集）构建了一个特定的数据库，这是考虑到不同的数据域具有不同的特征。作者将每个数据集中20%的时间序列用于测试，而剩下的80%则通过固定但随机的分割来形成数据库。

2、匹配和相似性度量

        选择与原始时间序列最匹配的时间序列是基于embedding的相似性的。作者首先使用所选模型的编码器来获得原始时间序列的embedding，接着通过计算原始时间序列与所分配的数据库中的时间序列之间的L2范数来确定前n个最佳的匹配：

        其中，m和y分别表示原始时间序列的embedding以及从数据库中匹配出来的时间序列对应的embedding。

3、实例归一化

        为了减轻训练数据和测试数据之间的分布偏移影响，作者应用了实例归一化（instance normalization），对每个时间序列实例归一化为均值为0，标准差为1的序列。对于baseline方法，作者在预测前对每个进行归一化处理，并将均值和偏差重新添加到输出预测中。另外，原始时间序列和检索到的时间序列在以检索查询构成（retrieval query formation）的形式输入模型之前分别进行归一化处理，最后将的均值和偏差重新添加到输出预测中。

4、检索查询构成

        查询构成（query formation）的初始步骤是使用相似度度量从数据库中识别出排名第一的最佳匹配时间序列。目标是找到一个与正在处理的时间序列的上下文（历史模式-主题）高度匹配的时间序列，这个检索到的时间序列成为检索到的上下文（retrieved context）。确定retrieved context后，作者关注其未来部分，即紧接在检索到的retrieved context之后的部分。这个部分的长度，称为检索到的未来部分（retrieved future），与要预测的序列长度完全对应。retrieved context和retrieved future的组合形成了论文中所说的检索到的时间序列（retrieved time series）。retrieved time series中包括retrieved context和retrieved future都进行实例归一化，确保检索到的序列中的数据得到适当的缩放，从而消除由于不同时间序列中幅度不同可能出现的差异。

        当原始上下文（original context）和retrieved time series都被归一化之后，需要确保它们之间的平滑过渡。为此，retrieved time series的终点和original context的起点对齐。这种对齐有助于防止可能对模型性能产生负面影响的任何突然的变化或者不连续性。对齐后，retrieved time series和归一化的original context相连接，这一个组合后的、增强的时间序列即为模型的输入。

5、时间序列模型

        论文中使用的是Chronos Mini和Base模型，并未进行其余的修改。最终建模的效果如下图。