TIME-LLM: TIME SERIES FORECASTING BY REPROGRAMMING LARGE LANGUAGE MODELS

本文是LLM系列文章，针对《TIME-LLM: TIME SERIES FORECASTING BY REPROGRAMMING LARGE LANGUAGE MODELS》的翻译。

摘要

时间序列预测在许多现实世界的动态系统中具有重要意义，并得到了广泛的研究。与自然语言处理(NLP)和计算机视觉(CV)不同，单个大型模型可以处理多个任务，时间序列预测模型通常是专门的，需要针对不同的任务和应用进行不同的设计。虽然预训练的基础模型在NLP和CV领域取得了令人印象深刻的进步，但它们在时间序列领域的发展受到数据稀疏性的限制。最近的研究表明，大型语言模型(llm)对复杂的符号序列具有强大的模式识别和推理能力。然而，挑战仍然存在，如何有效地将时间序列数据和自然语言的模式结合起来，以利用这些功能。在这项工作中，我们提出了time - llm，这是一个重编程框架，可以在主干语言模型保持完整的情况下，将llm重新用于一般时间序列预测。我们首先用文本原型重新编程输入时间序列，然后将其输入到冻结的LLM中以对齐两种模式。为了增强LLM对时间序列数据进行推理的能力，我们提出了提示作为前缀(PaP)，它丰富了输入上下文并指导了重编程输入补丁的转换。最后对LLM变换后的时间序列补丁进行投影，得到预测结果。我们的综合评估表明time - llm是一个强大的时间序列学习器，优于最先进的专业预测模型。此外，TIME-LLM在few-shot和zero-shot学习场景中都表现出色。

1 引言

2 相关工作

3 方法

4 主要结果

5 结论和未来工作

time - llm通过将时间序列数据重新编程为对llm来说更自然的文本原型，并通过Prompt-as-Prefix提供自然语言指导来增强推理能力，从而有望将冻结的大型语言模型用于时间序列预测。评估表明，经过调整的llm可以胜过专门的专家模型，表明它们作为有效的时间序列机器的潜力。我们的结果还提供了一种新颖的见解，即时间序列预测可以作为另一种“语言”任务，可以由现成的LLM处理，通过我们的time -LLM框架实现最先进的性能。进一步的研究应该探索最佳的重编程表示，通过持续的预训练，用明确的时间序列知识丰富llm，建立多模态模型，跨模态联合推理，并应用重编程框架为llm注入额外的新功能。